2. Основы генерации изображений
Если кратко, то для генерации изображений система начинает с шумового (пустого) изображения и постепенно его улучшает, чтобы соответствовать промпту, пока не получится изображение, отражающее заданный текст. На изображении ниже вы можете видеть, как это происходит.
2.1. Инструменты для генерации изображений
Системы ИИ, которые создают изображения на основании промпта (text2image), используют особую архитектуру, которая называется диффузионной моделью. Работает это следующим образом: начинается с изображения с шумом — это пиксели, заполненные случайными цветами. Затем ставится задача улучшить качества изображения на основании полученного промпта. Например, если промпт — "Симпатичный кот", то система пытается увидеть в шуме это изображение и улучшить так, чтобы этого кота стало лучше видно. Каждый подобный шаг приводит уменьшению шума и улучшению качества изображения согласно промпту, пока не получится изображение фотографического качества.
Kandinsky 3.0 — это нейросеть от Сбера, которая рисует картины по описанию на русском (и других) языке, умеет генерировать изображения с произвольным соотношением сторон, а также может повышать разрешение сгенерированных картинок. В результате получаются реалистичные изображения с качественной передачей текстуры, тени и отражения.
В рамках этого курса мы будем фокусироваться на таком инструменте, как Kandinsky 3.0.
Создание картинки происходит в три этапа: сначала Kandinsky генерирует несколько изображений, затем другая модель выбирает самые удачные, а после еще одна модель увеличивает разрешение результата.
Василий Васильевич Кандинский (1866-1944) был российским художником и теоретиком искусства. Он считается одним из основателей абстракционизма, стиля искусства, в котором художники не стремятся изображать реальные объекты, а используют цвета, формы и линии для передачи эмоций и идей.
Кандинский начинал свою карьеру как юрист, но в возрасте 30 лет решил посвятить себя искусству. Он изучал и работал в Москве и Мюнхене, а позднее стал одним из основателей группы художников "Синий всадник". В своих работах Кандинский стремился к освобождению искусства от ограничений видимого мира и созданию новых способов выражения.
Он разработал свою теорию о цвете и форме, считая их основными элементами искусства. Кандинский верил, что цвета и формы могут вызывать эмоции и духовные переживания у зрителя. Он использовал яркие цвета, абстрактные формы и геометрические элементы в своих работах, чтобы передать свои идеи о духовности и гармонии.
Кандинский также был активным преподавателем и писателем. Он написал книгу "Духовное в искусстве", в которой изложил свои идеи о роли искусства и его влиянии на человека.
Творчество Василия Васильевича Кандинского оказало значительное влияние на развитие современного искусства и абстракционизма. Его работы находятся во многих музеях и коллекциях по всему миру и продолжают вдохновлять художников и зрителей своей экспрессивностью и оригинальностью.
Больше информации есть в википедии.
Кандинский начинал свою карьеру как юрист, но в возрасте 30 лет решил посвятить себя искусству. Он изучал и работал в Москве и Мюнхене, а позднее стал одним из основателей группы художников "Синий всадник". В своих работах Кандинский стремился к освобождению искусства от ограничений видимого мира и созданию новых способов выражения.
Он разработал свою теорию о цвете и форме, считая их основными элементами искусства. Кандинский верил, что цвета и формы могут вызывать эмоции и духовные переживания у зрителя. Он использовал яркие цвета, абстрактные формы и геометрические элементы в своих работах, чтобы передать свои идеи о духовности и гармонии.
Кандинский также был активным преподавателем и писателем. Он написал книгу "Духовное в искусстве", в которой изложил свои идеи о роли искусства и его влиянии на человека.
Творчество Василия Васильевича Кандинского оказало значительное влияние на развитие современного искусства и абстракционизма. Его работы находятся во многих музеях и коллекциях по всему миру и продолжают вдохновлять художников и зрителей своей экспрессивностью и оригинальностью.
Больше информации есть в википедии.
Модель Kandinsky 2.1. получилась после дообучения ruDALL-E (это одна из первых русскоязычных моделей) на 179 млн изображений, снабженных текстовыми описаниями.
Kandinsky 2.2 – дообучен на наборе данных из 1,5 млрд пар «текст-изображение» — это на 300 млн больше пар, чем в дата-сете Kandinsky 2.1. Благодаря этому может создавать более фотореалистичные изображения с высоким разрешением, лучше справляется с портретами и умеет изменять соотношение сторон.
Kandinsky 3.0 была создана с использованием новейшей диффузионной архитектуры и обучена на огромном наборе данных в 2,3 млрд пар «текст-изображение». В отличие от предыдущих версий, где использовался двухэтапный подход к генерации, в Kandinsky 3.0 изображение генерируется непосредственно из текстовых токенов. Это позволило улучшить понимание естественного языка и качество генерируемых изображений. Кроме того, большое внимание было уделено адаптации модели для работы с российским культурным контекстом.
Kandinsky 2.2 – дообучен на наборе данных из 1,5 млрд пар «текст-изображение» — это на 300 млн больше пар, чем в дата-сете Kandinsky 2.1. Благодаря этому может создавать более фотореалистичные изображения с высоким разрешением, лучше справляется с портретами и умеет изменять соотношение сторон.
Kandinsky 3.0 была создана с использованием новейшей диффузионной архитектуры и обучена на огромном наборе данных в 2,3 млрд пар «текст-изображение». В отличие от предыдущих версий, где использовался двухэтапный подход к генерации, в Kandinsky 3.0 изображение генерируется непосредственно из текстовых токенов. Это позволило улучшить понимание естественного языка и качество генерируемых изображений. Кроме того, большое внимание было уделено адаптации модели для работы с российским культурным контекстом.
Как получить доступ к Kandinsky:
FussionBrain
fussionbrain.ai – основной инструмент, где доступна генерация по тексту, выбор стиля и режимы дорисовывания / замены части изображения.
Telegram‑бот
В Telegram‑боте доступны 4 режима генерации: генерация по тексту, смешивание, перенос стиля и вариации картинки. Для доступа можете отсканировать QR-код телефоном:
RuDalle
rudalle.ru - доступен только режим генерации изображений, при этом еще нужно вводить капчу.
Навык Салюта
В приложении Салют запускайте навык «Включи художника».
В GigaChat'е
В чат-боте GigaChat напишите промпт вида "Нарисуй ..." и вы получите в ответ сгенерированное изображение.
Stable Diffusion – генеративная система от Stability.ai с открытым исходным кодом, которая позволяет генерировать изображения на основе текстового запроса на английском языке. Важно, что код открыт и поэтому доступ к системе возможен разными вариантами, вплоть до установки на свой компьютер.
Рассмотрим другие популярные инструменты для генерации изображений.
Разработана группой компаний CompVis в Мюнхенском университете.
Обучена на ~2 млрд изображений из датасета картинок с аннотациями, а затем переобучена на фильтрованном датасете эстетичных картинок.
Модель весит порядка ~4.2 ГБ, находится в открытом доступе, поэтому широкий выбор вариантов обращения. Это:
Обучена на ~2 млрд изображений из датасета картинок с аннотациями, а затем переобучена на фильтрованном датасете эстетичных картинок.
Модель весит порядка ~4.2 ГБ, находится в открытом доступе, поэтому широкий выбор вариантов обращения. Это:
- Разнообразные онлайн-сервисы.
- Запуск модели в Google Colab.
- Запуск модели на своем компьютере (требуется хороший игровой компьютер).
Midjourney – это генеративная система (и одновременно это название компании), позволяющая получать изображений на основе текстовых описаний. Промпты на английском языке.
О Midjourney
Используется профессиональными дизайнерами, так как выдает результат высокого качества. Работа ведется через Discord. На данный момент является платной.
Midjourney - это исследовательская компания, которая разрабатывает программное обеспечение искусственного интеллекта с тем, чтобы создавать изображения на основе текстовых описаний.
С начала июля 2022 года компания находится в стадии открытого бета-тестирования для широкой аудитории пользователей. Пользователи могут создавать изображения, отправляя команды боту в мессенджере Discord. Они вводят сообщение "/imagine" и затем описывают желаемое изображение. После этого пользователю предлагается выбрать лучшее из четырех сгенерированных изображений и получить его в высоком разрешении. Компания регулярно выпускает новые версии своего программного обеспечения, и в ноябре 2022 года была доступна альфа-версия четвертой версии. В марте 2023 года компания объявила о запуске закрытого тестирования и скором выходе пятой версии. Также планируется выпуск веб-интерфейса.
С начала июля 2022 года компания находится в стадии открытого бета-тестирования для широкой аудитории пользователей. Пользователи могут создавать изображения, отправляя команды боту в мессенджере Discord. Они вводят сообщение "/imagine" и затем описывают желаемое изображение. После этого пользователю предлагается выбрать лучшее из четырех сгенерированных изображений и получить его в высоком разрешении. Компания регулярно выпускает новые версии своего программного обеспечения, и в ноябре 2022 года была доступна альфа-версия четвертой версии. В марте 2023 года компания объявила о запуске закрытого тестирования и скором выходе пятой версии. Также планируется выпуск веб-интерфейса.
Задание
Если у вас нет опыта генерации изображений в Кандинском, то предлагаем попробовать. Проще всего это сделать с помощью fussionbrain.ai или бота в Telegram.
Попробуйте любой промпт, который приходит в голову. Например, это может быть "Кот из брокколи". Если результат вам не очень понравился, попробуйте снова с тем же промптом или немного его измените.
Ниже возможный пример генерации.
Попробуйте любой промпт, который приходит в голову. Например, это может быть "Кот из брокколи". Если результат вам не очень понравился, попробуйте снова с тем же промптом или немного его измените.
Ниже возможный пример генерации.
