Генеративное искусство
Онлайн-курс Сберуниверситета
Перейти к обучению
В связи с развитием генеративных подходов в ИИ происходит демократизация создания визуального контента: для создания изображений и видеороликов достаточно владеть инструментами генерации и необязательно многолетнее художественное образование. Для формирования навыков написания вручную и генерации промтов для генеративного ИИ; создания видеороликов по серии текстовых запросов; создание музыкального видеоклипа с помощью генеративного ИИ; стилизации изображений и видео; улучшений сгенерированного видео и создан курс "Генеративное искусство"
Чему вы научитесь
Создавать промпты для эффективной генерации текстов и изображений используя системы на основе искусственного интеллекта, таких как GigaChat, ChatGPT, Kandisky и Stable Diffusion.
Структура программы
Введение в Prompt Engineering: принципы и основы
Инструменты для генерации текстовых ответов (GagaChat и ChatGPT) и изображений (Stable Diffusion и Kandinsky 2.1)
Примеры написания текстовых запросов в GagaChat и ChatGPT для задач генерирования текстов
Примеры использования Kandinsky 2.1 для генерации изображений
1
2
3
4
1. Введение в генеративное искусство
1.1. О курсе
В рамках этого курса вы научитесь применять современные инструменты искусственного интеллекта, которые позволят вам генерировать содержимое. Они позволят выполнять многие ваши задачи на работе быстрее и эффективнее. Кроме того, вы научитесь составлять текстовые запросы к этим инструментам, чтобы достигать лучшего результата.

Этот курс является базовым и рассчитан на начинающих пользователей, которые имеют мало (или не имеют вовсе) опыта работы с генерацией контента. Если у вас уже есть существенный опыт в этой сфере, то, вполне может быть, что вы узнаете не очень много нового (мы не хотим не оправдать ваших ожиданий). В планах есть разработка более продвинутых курсов по этой теме.

Условие для успешного завершения курса – прохождение тестов в конце первого и второго разделов.
О ссылках
В ходе курса мы предложим ссылки на дополнительные материалы. Пожалуйста, убедитесь, что ваше Интернет-соединение позволяет просматривать внешние ссылки. Кибербезопасность банка может блокировать ресурсы, представленные в курсе. Для вашего удобства размещены QR коды и для просмотра ссылок вы можете воспользоваться личным устройством.

1.2. Что можно создавать с помощью ИИ?
Используя системы искусственного интеллекта, можно генерировать следующее:
    Звуки
    – Голос
    – Музыка
    Тексты
    – Диалоги
    – Книги
    – Нейрофентези
    – Рерайт
    – Саммари
    Изображения
    – Изображения по описанию
    – Смешивание картинок
    – Вариации картинок
    – Анимация по описанию
    3D
    – Варианты дизайна одежды
    – Наложение текстуры на 3D-объект
    – Перенос текстуры на 3D-объект
    – Генерация 3D-объектов
    Звуки
    Генерация голоса
      SaluteSpeech – технологическая платформа для синтеза и распознавания речи от SberDevices.
        Используя эту платформу вы можете как озвучить текст в аудио (доступно на выбор 7 голосов) до 200 знаков, так и распознать речь с аудио в текст длительностью до 20 секунд.

        Также стоит обратить внимание на семейство виртуальных ассистентов Салют, у которых разные характеры, разные голоса, но одинаково много способностей.
          Прослушайте как звучат голоса этих персонажей
            1. Сбер - деловой стиль общения.
              Слушать онлайн
              2. Афина - умеренный тон, понимающий собеседник для любых задач.
                Слушать онлайн
                3. Джой - легкий стиль общения и бодрое настроение.
                  Слушать онлайн
                  Музыка
                  Маэстро — сервис генерации музыки по названию артиста и произведению (можно вымышленному).
                    Скажите ассистенту в приложениях Салют или СберБанк Онлайн - "Салют, запусти Маэстро".

                    На основании полученной информации нейросеть SymFormer генерирует генерирует несколько вариантов композиции, а потом отбирает лучший вариант. Получается уникальное музыкальное произведение.

                    Вы можете послушать нейросетевой альбом Thriving Machine (исполнитель Aiphoria).
                      Тексты
                      Генеративная диалоговая модель Gigachat, который генерирует осмысленный текст на заданную тематику, в том числе диалоги, сюжеты на русском языке. Умеет отвечать на вопросы, поддерживать беседу, создавать изображения и выполнять инструкции.
                        Для Алисы от Яндекса есть режим генерации текстов, который включается, если сказать или написать «Алиса, давай придумаем».
                          Нейросеть пишет книги
                          В этой книге 24 рассказа, половину из них написал Павел Пепперштейн, другую — НейроПепперштейн, лингвистическая модель ruGPT-3, обученная на корпусе текстов Павла и способная имитировать его стиль. Интервью Павла Пепперштейна с нейронной сетью — о писательстве и гендере
                            Нейрофэнтези
                            Навык Салюта "Нейрофентези".
                              Рерайт текста
                              Рерайтер – инструмент, который способен переписать любой текст, другими словами, с сохранением смысла.
                                Оригинал текста:
                                Сказка — один из жанров фольклора либо литературы. Эпическое, преимущественно прозаическое произведение с волшебным, героическим или бытовым сюжетом. Сказку характеризует отсутствие претензий на историчность повествования, нескрываемая вымышленность сюжета.
                                Вариант рерайта:



                                Сказка — жанр фольклора или литературы. Эпическое повествование с волшебным сюжетом и выдуманной историей. Творческий характер сказки характеризует отсутствие претензий на достоверность события, нескрываемая фантазия автора.
                                Саммари
                                Саммари - это краткое описание содержания и основных идей текста, предназначенное для обзора или ознакомления с ним без полного чтения.

                                Суммаризатор - cокращает большой текст, убирает незначительные детали, выделяя ключевые тезисы и оставляя только суть. Можно попробовать сервис суммаризации от Яндекса, который на основании ссылки делает краткий тезисный пересказ содержания страницы.
                                  Изображения
                                  Изображения по описанию
                                    Нейросеть Kandinsky создает изображения по описанию. Один из вариантов – использовать для генерации сервис Fusionbrain.ai.
                                      Смешивание картинок
                                        На основании изображения того, что должно быть нарисовано и изображения со стилем создается новая картинка, где нарисован оригинал в новом стиле.
                                          Вариация картинки
                                            Но основании изображения получаются несколько новых, которые похожи и по содержанию, и по стилю.
                                              Анимация по описанию
                                              На основании текстового описания генерируется анимация. Например:
                                                Заброшенный сад
                                                  Северное сияние
                                                    3D
                                                    Варианты дизайна одежды
                                                      Нейросеть может создавать на лету варианты дизайна одежды.
                                                        Наложение текстуры на 3D-объект
                                                          Наложение текстуры на 3D-объекты с помощью нейросети.
                                                            Перенос текстуры на 3D-объект
                                                            Генерация 3D-объектов
                                                            На основании текстового описания генерируется 3D версия объекта.
                                                              Плитка шоколада
                                                                Колбаса Краковская

                                                                  1.3. Промпт и Промпт инжиниринг
                                                                  Генеративная модель искусственного интеллекта (модель) – система, позволяющая на основании запроса и параметров генерировать новое содержание.
                                                                    Промпт – это текстовый запрос для генеративной модели. Чем точнее промпт, тем лучше результат, который выдаст система.
                                                                      Промпт инжиниринг (prompt engineering) – это процесс создания и оптимизации текстовых запросов (промптов) для генеративных моделей с целью получения желаемых ответов.
                                                                        С промпт-инжинирингом непосредственно связана новая профессия — промпт-инженера.
                                                                        Правильно сформулированный промпт может существенно повысить качество результата. При этом необходимо учитывать различные факторы, такие как контекст задачи, ее стиль и условия, а также особенности применяемой модели.

                                                                        До тех пор, пока не получите нужный контент, вы можете пробовать промпты, анализировать результат и вносить правки в формулировку запроса. Хорошей идеей может быть сохранение полезных вам промптов на будущее — например, в сервис заметок или в текстовый документ.
                                                                          Токен – это минимальная единица промпта, это отдельное слово (или его смысловая часть), знак препинания.
                                                                            Как правило, генеративные системы обучены на англоязычных текстах или подписях к изображениям, поэтому часто более качественный результат получается, если вы задаете промпт на английском языке.

                                                                              1.4. Особенности доступа к генеративным моделям (памятка)
                                                                              Нужно понимать, что генеративные модели делятся на два типа. Внутренние — GigaChat и Kandinsky— будут доступны на внутренних устройствах.

                                                                              Внешние, которые мы упоминаем, — ChatGPT и Stable Diffusion — могут быть недоступны изнутри, поэтому работать с ними, возможно, придется с личных устройств.
                                                                                Внимание
                                                                                Нужно соблюдать правила безопасности и не передавать банковские, персональные и прочие чувствительные данные внешним генеративным ресурсам, так как к вашим промптам имеют доступ разработчики этих инструментов, а в случае применения каких-нибудь промежуточных дополнительных ресурсов типа чат-ботов доступ к данным получат и владельцы этих ресурсов.
                                                                                Поэтому мы рекомендуем по возможности использовать внутренние модели. Однако какого-то функционала и возможностей у них может не хватить, поэтому в рамках этого курса мы рассматриваем дополнительно открытые внешние ресурсы как альтернативные.
                                                                                  1.5. Тестирование
                                                                                  1. Текстовый запрос для генеративной модели - это...
                                                                                    Приказ
                                                                                      Промпт
                                                                                        Декрет
                                                                                          Директива
                                                                                            2. Послушайте фрагмент аудио ниже и угадайте, голос какого ассистента в нем звучит?
                                                                                              Сбер
                                                                                                Афина
                                                                                                  Джой
                                                                                                    Марфа
                                                                                                      3. Послушайте три музыкальных аудио ниже и определите, какое из них создана искусственным интеллектом (может быть несколько)?
                                                                                                        The Merriest Christmas (1)
                                                                                                          Morning by the Sea (2)
                                                                                                            Despite the Storm (3)
                                                                                                              4. Рерайтер – это приложение, которое может:
                                                                                                                Перевести текст на другой язык
                                                                                                                  Переписать текст другими словами с сохранением смысла
                                                                                                                    Преобразовать текст в числа
                                                                                                                      Убрать из текста знаки препинания
                                                                                                                        2. Основы генерации изображений
                                                                                                                        Если кратко, то для генерации изображений система начинает с шумового (пустого) изображения и постепенно его улучшает, чтобы соответствовать промпту, пока не получится изображение, отражающее заданный текст. На изображении ниже вы можете видеть, как это происходит.
                                                                                                                          2.1. Инструменты для генерации изображений
                                                                                                                          Kandinsky 2.2 — это нейросеть от Сбера, которая рисует картины по описанию на русском (и других) языке, умеет генерировать изображения с произвольным соотношением сторон, а также может повышать разрешение сгенерированных картинок. В результате получаются реалистичные изображения с качественной передачей текстуры, тени и отражения.
                                                                                                                            В рамках этого курса мы будем фокусироваться на таком инструменте, как Kandinsky 2.2.
                                                                                                                              Создание картинки происходит в три этапа: сначала Kandinsky генерирует несколько изображений, затем другая модель выбирает самые удачные, а после еще одна модель увеличивает разрешение результата.
                                                                                                                                Как получить доступ к Kandinsky:
                                                                                                                                    FussionBrain
                                                                                                                                    fussionbrain.ai – основной инструмент, где доступна генерация по тексту, выбор стиля и режимы дорисовывания / замены части изображения.
                                                                                                                                    Telegram‑бот
                                                                                                                                    В Telegram‑боте доступны 4 режима генерации: генерация по тексту, смешивание, перенос стиля и вариации картинки. Для доступа можете отсканировать QR-код телефоном:
                                                                                                                                    RuDalle
                                                                                                                                    rudalle.ru - доступен только режим генерации изображений, при этом еще нужно вводить капчу.
                                                                                                                                    Навык Салюта
                                                                                                                                    В приложении Салют запускайте навык «Включи художника».
                                                                                                                                    В GigaChat'е
                                                                                                                                    В чат-боте GigaChat напишите промпт вида "Нарисуй ..." и вы получите в ответ сгенерированное изображение.
                                                                                                                                    Stable Diffusion – генеративная система от Stability.ai с открытым исходным кодом, которая позволяет генерировать изображения на основе текстового запроса на английском языке. Важно, что код открыт и поэтому доступ к системе возможен разными вариантами, вплоть до установки на свой компьютер.
                                                                                                                                      Рассмотрим другие популярные инструменты для генерации изображений. Имейте в виду, что это внешние ресурсы.
                                                                                                                                        Midjourney – это генеративная система (и одновременно это название компании), позволяющая получать изображений на основе текстовых описаний. Промпты на английском языке.
                                                                                                                                          О Midjourney
                                                                                                                                            Используется профессиональными дизайнерами, так как выдает результат высокого качества. Работа ведется через Discord. На данный момент является платной.
                                                                                                                                              Задание
                                                                                                                                              Если у вас нет опыта генерации изображений в Кандинском, то предлагаем попробовать. Проще всего это сделать с помощью fussionbrain.ai или бота в Telegram.

                                                                                                                                              Попробуйте любой промпт, который приходит в голову. Например, это может быть "Кот из брокколи". Если результат вам не очень понравился, попробуйте снова с тем же промптом или немного его измените.

                                                                                                                                              Ниже возможный пример генерации.

                                                                                                                                              Результат генерации изображения почти полностью зависит от промпта, поэтому важно научится его составлять.

                                                                                                                                              Промпты на разных языках могут выдавать разный результат. Kandinsky хорошо работает с русским языком, в отличии от других генеративных моделей.

                                                                                                                                              Давайте попробуем постепенно усложнять промпт, формулируя более точно, что должно получится. Попробуйте что-то сгенерировать аналогичное, чтобы попрактиковаться.
                                                                                                                                                2.2. Промпты для генерации изображений
                                                                                                                                                Объект
                                                                                                                                                Укажите в промпте, что должно быть нарисовано. Например:
                                                                                                                                                Шаги по уточнению промпта
                                                                                                                                                  Кот
                                                                                                                                                  Фон
                                                                                                                                                  На фоне чего находится ваш объект? Например:
                                                                                                                                                  Кот на фоне леса
                                                                                                                                                  А еще фоном может быть стена, город, лес, горы, небо, море или что-то еще.
                                                                                                                                                  Стиль
                                                                                                                                                  Стиль можно выбрать из списка, а можно прописать прямо в промпте.
                                                                                                                                                  Кот на фоне леса, картина маслом
                                                                                                                                                  Есть много вариантов стиля: Аниме, Киберпанк, Кандинский, Картина маслом, Портретное фото, Мультфильм и многие другие.
                                                                                                                                                  Другие подробности
                                                                                                                                                  В случае необходимости можно подробнее расписать детали объекта, цвета, материалы, особенности расположения камеры и освещения, форма результата и многие прочие подробности, которые вы научитесь применять с опытом. Например:
                                                                                                                                                  Рыжий кот с желтыми глазами на фоне леса, картина маслом, классицизм, цифровое искусство
                                                                                                                                                  Задание
                                                                                                                                                  Используя Kandinsky, сгенерируйте любимое животное.

                                                                                                                                                  Поэкспериментируйте с деталями, фоном и стилем изображения.

                                                                                                                                                  Ниже список типичных частей промпта, которые можно использовать: списки художников под разные стили, списки дополнительной детализации, (акварель, масляные краски, акрил, съемка на пленку, портретная фотография), репозитории (Devian Art, Flickr или Artstation), а также инструменты для рендеринга, которые тоже влияют на визуальную составляющую итогового изображения.
                                                                                                                                                    2.3. Модификаторы промптов для генерации изображений
                                                                                                                                                    Задание
                                                                                                                                                    Попробуйте сгенерировать альтернативное изображения для СберКота.

                                                                                                                                                    Подумайте, какие модификаторы из списка выше могут пригодится для вашего изображения.

                                                                                                                                                    Если возникнут сложности, ниже есть подсказки.

                                                                                                                                                    Сгенерированные изображения имеют некоторую специфику, которую можно прочувствовать.

                                                                                                                                                    Обычно есть проблемы с изображениями, где есть человек. Это странные (и иногда лишние) руки и пальцы (например, кривые), конечности «не из тех мест», странные глаза (разного цвета или неодинаковые, косят, смотрят не туда), зубы (слишком много — акулья улыбка) и прочие подобные детали. На лицах либо странная симметричность, либо явная асимметричность — когда одно ухо сильно больше другого. Кроме того, часто на сгенерированных изображениях размытый фон. Или фоновые объекты странные или явно искаженные.

                                                                                                                                                    Проблемы могут быть у людей в аксессуарах: очки, серьги, которые в сгенерированных изображениях могут быть представлены в виде цветных пятен или прочих странностей.

                                                                                                                                                    Иногда применяют отдельные модели для доработки изображения человека с артефактом так, чтобы оно выглядело нормально.
                                                                                                                                                      2.4. Проблемы в сгенерированных изображениях
                                                                                                                                                      Обычно для попытки решения проблемы в некоторых генеративных моделях указывают негативный промпт, который содержит перечисления того, что не должно быть на картинке: уродливости, лишних голов, пальцев и прочего.
                                                                                                                                                        Один из вариантов решения проблемы — описывать в промпте положение человека так, чтобы не было видно кистей и лица. Также довольно убедительно получаются портреты, где только лицо.

                                                                                                                                                        Чем больше деталей на изображении, тем больше шансов, что машина не справится. Изображение с человеком в полный рост получается качественным гораздо реже, чем хотелось.

                                                                                                                                                        Есть проблемы с рисованием текстов — например, на экране компьютера или вывески — они получаются на странном языке и странно выглядят. Один из возможных признаков сгенерированного изображения — отсутствие знакомых надписей брендов на одежде и обуви. То же касается бытовой техники и гаджетов, которые на изображениях смотрятся нестандартно (там несуществующие бренды).

                                                                                                                                                        Часто бывает, что на картинке все вроде бы хорошо, но бессознательно чувствуется странность. Хотя вы не можете объяснить, но что-то там не так – это эффект зловещей долины.

                                                                                                                                                        Со временем подобные проблемы все реже и реже встречаются, в частности Kandinsky 2.2 вполне качественно рисует людей. Однако, все-так артефакты в сгенерированных изображениях встречается.
                                                                                                                                                          Задание 1
                                                                                                                                                          Давайте немного развлечемся. Ваша задача угадать по изображениям ниже, создано ли оно человеком или сгенерировано машиной.
                                                                                                                                                          Задание 2
                                                                                                                                                          Сгенерируйте изображение, из которого явно будет понятно, что оно создано машиной. То есть там должны быть какие-то артефакты.

                                                                                                                                                          2.5. Правила составления промптов для генерации изображений
                                                                                                                                                          Сформулируем правила, которые позволят более эффективно генерировать изображения.

                                                                                                                                                          А значит сможем получать более качественный результат за меньшее количество проб.
                                                                                                                                                          Центральный объект
                                                                                                                                                          Выберите центральный объект для генерации: предмет, животное, человек. Дефис позволяет объединить несколько объектов, при этом, если объекты потенциально совместимы, результат будет лучше.
                                                                                                                                                          Конкретика
                                                                                                                                                          Опишите объект конкретными (не абстрактными) прилагательными (1–3 слова).
                                                                                                                                                          Описание образа
                                                                                                                                                          Описывайте образ на изображении, не абстракцией и не действиями.
                                                                                                                                                          Позиция
                                                                                                                                                          Опишите позицию (или место) объекта с указанием подробностей (например, фона, на котором находится объект).
                                                                                                                                                          Реальность
                                                                                                                                                          Чем реальнее дополнительные объекты на изображении и чем их меньше, тем лучше будет результат.
                                                                                                                                                          Проще всего считать, что вы в промпте расписываете техническое задание для исполнителя: чем подробнее и конкретнее опишете, что должно получиться, тем точнее будет результат к вашим представлениям. Если будете в промпте применять абстрактные понятия, то результат будет непредсказуемым.
                                                                                                                                                            Задание
                                                                                                                                                            Подумайте, как вы можете использовать генерацию изображений в своей жизни, работе?

                                                                                                                                                            Какие объекты и стили будут нужны в этих изображениях?

                                                                                                                                                            2.6. Отрисовка части или снаружи изображения
                                                                                                                                                            Используя fusionrain.ai вы можете редактировать существующие изображения. Как исправить сгенерированное, так и загрузить для правок свое изображение.

                                                                                                                                                            Доступны следующие полезные механики:
                                                                                                                                                              1. Inpainting - перерисовка части изображения.
                                                                                                                                                                2. Outpainting - дорисовывание отсутствующей части изображения.
                                                                                                                                                                  Процесс перерисовки части или дорисовывания изображения вы можете увидеть ниже.
                                                                                                                                                                    Задание
                                                                                                                                                                    Сделайте на основании своей фотографии, используя отрисовку части или снаружи изображения, картинку для профиля в соцсети.

                                                                                                                                                                    2.7. Задания для практики по генерации изображений
                                                                                                                                                                    Предлагаем вам попрактиковаться в генерации изображений используя Kandinsky.
                                                                                                                                                                      Задание 1
                                                                                                                                                                      Нарисуйте космонавта в скафандре на коне на другой планете. Опытным путем определите, в каком стиле это будет наиболее интересно
                                                                                                                                                                      Задание 2
                                                                                                                                                                      Сгенерируйте фотореалистичное изображение дома, в котором вы хотели бы жить
                                                                                                                                                                      Задание 3
                                                                                                                                                                      Сгенерируйте логотип несуществующей организации. Например, "Рога и копыта".
                                                                                                                                                                      Задание 4
                                                                                                                                                                      Дорисуйте СберКоту ноги.
                                                                                                                                                                      Задание 5
                                                                                                                                                                      Дорисуйте СберКоту какой-то аксессуар. Корону на голову, очки или что-то еще.

                                                                                                                                                                      Изображение можете взять из предыдущего задания или изначальную версию.
                                                                                                                                                                      2.8. Тестирование
                                                                                                                                                                      1. Какая часть промпта при генерации изображений является обязательной?
                                                                                                                                                                        С помощью какого средства должен быть создан объект на картинке
                                                                                                                                                                          Субъект, что конкретно мы хотим видеть на картинке
                                                                                                                                                                            Художник (один или несколько)
                                                                                                                                                                              Описание деталей
                                                                                                                                                                                Ресурс источника изображений
                                                                                                                                                                                  2. Какой промпт для генерации изображения даст более точный результат?
                                                                                                                                                                                    Безмятежность, печаль, даль
                                                                                                                                                                                      Человек держит в руках электрическую дрель на фоне забора
                                                                                                                                                                                        Человек идёт в сторону банка, вокруг снуют прохожие
                                                                                                                                                                                          Дата саентист пилит новую нейросетку
                                                                                                                                                                                            3. При генерации изображения с человеком какой из промптов даст меньшее количество аномалий?
                                                                                                                                                                                              Портрет человека, где видно только лицо
                                                                                                                                                                                                Человек в полный рост
                                                                                                                                                                                                  Человек, где видны конечности и пальцы
                                                                                                                                                                                                    Человек в брендовой одежде в очках
                                                                                                                                                                                                      4. По какому из промптов вероятнее всего сгенерировано изображение ниже?
                                                                                                                                                                                                        Портрет милой кошки. Стиль: Картина маслом
                                                                                                                                                                                                          Милый кот с большими глазами. Стиль: Аниме
                                                                                                                                                                                                            Кот-космонавт, космос, яркий свет, детали, высокая детализация, яркие цвета, 4k
                                                                                                                                                                                                              Кот космонавт. Стиль: Кандинский
                                                                                                                                                                                                                3. Основы генерации текста
                                                                                                                                                                                                                3.1. Введение в генерацию текстов
                                                                                                                                                                                                                Большие языковые модели — это системы на основе ИИ, которые обучаются на больших объемах текста и используются для генерации текста, ответа на вопросы, перевода языка и других задач, связанных с естественным языком.
                                                                                                                                                                                                                  В рамках курса мы будем изучать подобные системы в основном на примере GigaChat от Сбера. Будет упоминаться и ChatGPT от OpenAI.

                                                                                                                                                                                                                  Такие системы получают на вход промпт, из которого извлекают «понимание» того, что именно хочет пользователь, подробности задачи и возвращают в текстовом виде результат своей работы.
                                                                                                                                                                                                                    GigaChat — языковая модель от Сбера, которая грамотно общается на русском языке, умеет отвечать на вопросы, поддерживать диалог, писать программный код.
                                                                                                                                                                                                                      Более подробно узнать о GigaChat вы можете здесь.

                                                                                                                                                                                                                      Также рекомендуем ознакомится со справкой по GigaChat.
                                                                                                                                                                                                                        Заходите на сайт (внешняя ссылка)
                                                                                                                                                                                                                        Регистрируйтесь с помощью Сбер ID
                                                                                                                                                                                                                        Принимайте условия пользовательского соглашения
                                                                                                                                                                                                                        При необходимости подтверждайте почту
                                                                                                                                                                                                                        Инструкция по подключению GigaChat
                                                                                                                                                                                                                        Общайтесь с GigaChat
                                                                                                                                                                                                                        Если возникли проблемы с регистрацией, то ознакомьтесь с инструкцией.

                                                                                                                                                                                                                        Кроме того, GigaChat доступен на умных устройствах с ассистентом Салют - SberBoom и SberBoom Mini. Для запуска диалога произнесите "Салют, включи GigaChat".
                                                                                                                                                                                                                        Задание
                                                                                                                                                                                                                        Задайте свой вопрос языковой модели. Любой вопрос

                                                                                                                                                                                                                        3.2. Галлюцинации языковых моделей
                                                                                                                                                                                                                        Галлюцинации языковых моделей — это когда система генерирует текст, который не имеет смысла или не соответствует действительности. Это может происходить в случаях, когда модель пытается создать текст, но не имеет достаточной информации. Подобное же может произойти в силу случайных сбоев системы.
                                                                                                                                                                                                                          Поэтому сгенерированный текст нужно обязательно проверять на наличие «фантазий» и дорабатывать или перегенерировать в случае обнаружения неточностей. Если смотреть полученный текст, то вы не найдете в нем никаких признаков, которые указывали бы на то, что это галлюцинация.

                                                                                                                                                                                                                          Можно сказать, что подобная система как стремящийся сдать экзамен студент: она будет рассказывать правду, если знает ее, но и вполне правдоподобно наврать, если знаний по этому вопросу у нее нет. Пример галлюцинации приведен на картинке ниже.
                                                                                                                                                                                                                            Задание
                                                                                                                                                                                                                            Заставьте языковую модель выдать заведомо неправильную информацию — галлюцинацию.

                                                                                                                                                                                                                            Проверьте с помощью поиска, что это неправда.

                                                                                                                                                                                                                            3.2. Основные типы промптов
                                                                                                                                                                                                                            С описанием контекста
                                                                                                                                                                                                                            С описанием инструкции
                                                                                                                                                                                                                            С использованием ролей
                                                                                                                                                                                                                            Промпты можно разбить на следующие группы
                                                                                                                                                                                                                              С использованием примеров
                                                                                                                                                                                                                              Промпты для задач генерации текстов могут быть короткими и простыми, а могут — сложными и объемными.
                                                                                                                                                                                                                              Стандартные (вопрос, задание)
                                                                                                                                                                                                                              Стандартный промпт содержит некий прямолинейный вопрос или задание.
                                                                                                                                                                                                                                Вполне могут быть и комбинации из этих групп в одном промпте.
                                                                                                                                                                                                                                  Промпт: Расскажи, что такое ChatGPT.
                                                                                                                                                                                                                                    Ответ: ChatGPT — это программное обеспечение для чат-ботов, которое используется для создания и управления ботами с различными целями, включая обслуживание клиентов, автоматизацию процессов и многое другое. ChatGPT использует искусственный интеллект и машинное обучение для обработки запросов пользователей и предоставления им ответов и решений. Он может быть настроен для работы на различных платформах, таких как Facebook Messenger, Slack, Telegram и другие. ChatGPT позволяет создавать персонализированные боты, которые могут адаптироваться к нуждам каждого клиента и повышать уровень обслуживания.
                                                                                                                                                                                                                                      Промпт: Напиши короткую заметку в соцсети о возможностях генерации текстов с помощью GigaChat.
                                                                                                                                                                                                                                        Ответ: Привет! Я хочу поделиться с тобой интересной информацией о возможностях генерации текстов с помощью GigaChat. Это очень увлекательно и позволяет создавать уникальные тексты на любую тему. Кроме того, я могу помочь тебе написать код для автоматизации процесса генерации текста или даже создать презентацию с использованием готовых шаблонов. В общем, это очень полезный инструмент для работы с текстом!
                                                                                                                                                                                                                                          Вы можете указать, какой тип контента должно получиться в результате генерации.
                                                                                                                                                                                                                                            Задание 1
                                                                                                                                                                                                                                            Попросите генеративную систему написать эссе на интересующую вас тему. Если нет идей, то посмотрите пример ниже.
                                                                                                                                                                                                                                            Результат также может быть представлен в различных "форматах".
                                                                                                                                                                                                                                              Задание 2
                                                                                                                                                                                                                                              Сгенерируйте таблицу на любую тему.
                                                                                                                                                                                                                                              Если есть сложности с идеями, то можете попробовать пример ниже.
                                                                                                                                                                                                                                              Промпт с описанием контекста (суммаризация) – задача, когда модели нужно кратко описать основные идеи, которые присутствуют в тексте.
                                                                                                                                                                                                                                                Промпт: В ноябре 2022 года мы выпустили свою первую диффузионную модель для синтеза изображений по текстовым описаниям Kandinsky 2.0, которая собрала как положительные, так и отрицательные отклики. Ее ключевой особенностью была мультиязычность и использование двойного текстового энкодера на входе сети: XLMR-clip и mT5-small. Рефлексия после релиза подтолкнула нас к перестройке планов по развитию архитектуры и к сильному стремлению получить буст в качестве генераций, чтобы выйти на уровень аналогичных решений, названия которых слишком хорошо известны, чтобы их называть. В то же время мы могли наблюдать за появлением новых генеративных моделей и их файнтюнов, таких как ControlNet, GigaGAN, GLIGEN, Instruct Pix2Pix и др. В этих работах представлены и новые взгляды на генерацию, и новые возможности использования латентного пространства для внесения контролируемых изменений через текстовые запросы, а также для смешивания изображений — возможности использования генеративных моделей расширяются постоянно. Бурное развитие прикладных кейсов привело к интенсивно нарастающему числу различных привлекательных для пользователей реализаций этих функций: визуализация городов, изображения известных личностей в нетипичных ситуациях и многие друг
                                                                                                                                                                                                                                                Резюмируй этот текст в пару предложений.
                                                                                                                                                                                                                                                  Ответ: В ноябре 2022 года была выпущена первая диффузионная модель для синтеза изображений по текстовым описаниям Kandinsky 2.0, которая имела мультиязычность и использовала двойной текстовый энкодер на входе сети. После релиза было принято решение перестроить планы по развитию архитектуры и улучшить качество генераций, учитывая новые возможности и тенденции в развитии генеративных моделей.
                                                                                                                                                                                                                                                    Вполне можно попросить сделать саммари статьи по ссылке.
                                                                                                                                                                                                                                                      Задание 3
                                                                                                                                                                                                                                                      Сгенерируйте логотип несуществующей организации. Например, "Рога и копыта".
                                                                                                                                                                                                                                                      Промпт с описанием инструкций – задача, когда с текстом нужно провести некоторые действия, которые описываются в инструкции.
                                                                                                                                                                                                                                                        Промпт: В письме ниже замени контактные данные на соответствующую вставку, например: Симонов нужно заменить на [Имя], а К. Т. Плешко заменить на [ФИО]. Сделай это для имен, названия компании, ФИО в подписи, телефона и почты.

                                                                                                                                                                                                                                                        Уважаемый господин Симонов!


                                                                                                                                                                                                                                                        Деревообрабатывающая компания «ДРЕВО» заинтересовалась Вашими исследованиями по технологии сушки древесины. Поэтому мы крайне заинтересованы в приобретении проектной документации на сушильные камеры Вашей фирмы.

                                                                                                                                                                                                                                                        Убедительно просим выслать информацию о комплектах проектной научно-технической документации на оборудование сушки древесины, а при наличии — рекламные проспекты на все виды производства.
                                                                                                                                                                                                                                                        Ваш незамедлительный ответ ускорит нашу заявку на приобретение.

                                                                                                                                                                                                                                                        С уважением,


                                                                                                                                                                                                                                                        Генеральный директор подпись К. Т. Плешко

                                                                                                                                                                                                                                                        Почта: pleshko@mail.ru
                                                                                                                                                                                                                                                        Телефон: +79876543210
                                                                                                                                                                                                                                                          Ответ: Уважаемый [Имя]!

                                                                                                                                                                                                                                                          Деревообрабатывающая компания «ДРЕВО» заинтересовалась Вашими исследованиями по технологии сушки древесины. Поэтому мы крайне заинтересованы в приобретении проектной документации на сушильные камеры Вашей фирмы.
                                                                                                                                                                                                                                                          Убедительно просим выслать информацию о комплектах проектной научно-технической документации на оборудование сушки древесины, а при наличии — рекламные проспекты на все виды производства.
                                                                                                                                                                                                                                                          Ваш незамедлительный ответ ускорит нашу заявку на приобретение.

                                                                                                                                                                                                                                                          С уважением,
                                                                                                                                                                                                                                                          Генеральный директор подпись [ФИО]
                                                                                                                                                                                                                                                          Почта: [почта]
                                                                                                                                                                                                                                                          Телефон: [телефон].

                                                                                                                                                                                                                                                            На данный момент GigaChat имеет сложности с такими задачами. Со временем научится хорошо это делать.

                                                                                                                                                                                                                                                            Промпты с использованием ролей – задача, при которой вы назначаете искусственному интеллекту некую роль, и он должен выдать ответ, исходя из своей роли. Например, ваш промпт может начинаться со слов «Ты бухгалтер» или «Ты разработчик», а затем попросить ИИ ответить на какой-нибудь вопрос с учетом той роли, которая ему определена.
                                                                                                                                                                                                                                                              Кроме того, можно добавить креативности, указав в промпте «уровень температуры 39» или «напиши абсурдный ответ».
                                                                                                                                                                                                                                                                Промпт: Представь, что ты профессиональный юрист. Что ты сделаешь, если соседи сверху будут ночью шуметь и мешать тебе спать?
                                                                                                                                                                                                                                                                  Ответ: Как юрист, я бы посоветовал выполнить следующие действия:

                                                                                                                                                                                                                                                                  1. Собрать доказательства: записать звуки, сделать фотографии или видео, которые подтвердят нарушение права на спокойный отдых.

                                                                                                                                                                                                                                                                  2. Попробовать разрешить конфликт мирным путем: поговорить с соседями, объяснить им свою ситуацию и попросить уважать право на спокойный отдых.

                                                                                                                                                                                                                                                                  3. Если мирное урегулирование не помогло, обратиться к управляющей компании или жилищной инспекции с жалобой на нарушение правил проживания в многоквартирном доме.

                                                                                                                                                                                                                                                                  4. Если все вышеперечисленные меры не привели к результату, можно обратиться в суд с иском о защите прав на спокойный отдых и требованием принять меры к нарушителям.
                                                                                                                                                                                                                                                                    Задание 5
                                                                                                                                                                                                                                                                    Сгенерируйте поздравление в стихах для какого-нибудь вашего знакомого в стиле вашего любимого поэта.
                                                                                                                                                                                                                                                                    Промпт с использованием примеров — задача, включающая примеры того, что должно получиться в результате работы.
                                                                                                                                                                                                                                                                      Промпт: В формуле 2**2 = 4, 3**2 = 9, 2**3 = 8, сколько будет 3**3 = ? Объясни, что значит ** и как получился ответ.
                                                                                                                                                                                                                                                                        Ответ: ** в данном контексте означает возведение в степень. То есть 2**2 означает «2 в степени 2», что равно 4. Аналогично, 3**2 означает «3 в степени 2», что равно 9. И 2**3 означает «2 в степени 3», что равно 8.
                                                                                                                                                                                                                                                                        Чтобы найти 3**3, нужно возвести 3 в третью степень:
                                                                                                                                                                                                                                                                        3**3 = 3 * 3 * 3 = 27
                                                                                                                                                                                                                                                                        Ответ равен 27.
                                                                                                                                                                                                                                                                          На данный момент языковые модели работают с математикой не очень хорошо. Поэтому результат вычислений может быть не верным.

                                                                                                                                                                                                                                                                            3.4. Примеры полезных промптов
                                                                                                                                                                                                                                                                            В промпте важно четко определить цель, стараться не использовать открытых или чрезмерно широких формулировок. Чем конкретнее в промпте описывается то, что должно получиться, тем точнее будет ответ. Избегайте двусмысленных или жаргонных выражений. Мы исходим из того, что вы добиваетесь каких-то конкретных целей в процессе взаимодействия, а не развлечения.

                                                                                                                                                                                                                                                                            Ниже примеры промптов, просмотрев которые вы, возможно, проникнетесь полезными идеями о возможностях применения языковых моделей в вашей деятельности.
                                                                                                                                                                                                                                                                              Кроме того, результат работы одного промпта может быть основой для другого. Например, это может быть промпт «Напиши 10 вариантов заголовка для поста в соцсети», а потом, когда будет выбран нужный заголовок, — «Напиши текст поста в соцсети на 1000 знаков на тему _выбранный_заголовок_».

                                                                                                                                                                                                                                                                              Рекомендуем также посмотреть материал: Примеры удачных промптов для GigaChat.

                                                                                                                                                                                                                                                                                3.5. Задания для практики по генерации текстов полезных промптов
                                                                                                                                                                                                                                                                                Давайте потренируемся в генерации текстов. Пробуйте, экспериментируйте. Если не получается, то есть подсказки.
                                                                                                                                                                                                                                                                                  Задание 1
                                                                                                                                                                                                                                                                                  Узнайте, кто такие реликтовые животные.
                                                                                                                                                                                                                                                                                  Задание 2
                                                                                                                                                                                                                                                                                  Сгенерируйте варианты заголовков для поста в социальные сети на тему реликтовых животных.
                                                                                                                                                                                                                                                                                  Задание 3
                                                                                                                                                                                                                                                                                  Выберите из результатов предыдущего задания любой заголовок и сгенерируйте для него короткий пост для социальных сетей.
                                                                                                                                                                                                                                                                                  Задание 4
                                                                                                                                                                                                                                                                                  Сгенерируйте план по освоению тайм-менеджмента.
                                                                                                                                                                                                                                                                                  Задание 5
                                                                                                                                                                                                                                                                                  Сгенерируйте краткий пересказ содержимого страницы https://ru.wikipedia.org/wiki/Мечехвосты
                                                                                                                                                                                                                                                                                  3.6. Тестирование
                                                                                                                                                                                                                                                                                  1. Как называется процесс, при котором система генерирует текст, который не имеет смысла или не соответствует действительности?
                                                                                                                                                                                                                                                                                    Галлюцинация
                                                                                                                                                                                                                                                                                      Бред
                                                                                                                                                                                                                                                                                        Психоз
                                                                                                                                                                                                                                                                                          Озарение
                                                                                                                                                                                                                                                                                            2. Какой тип промпта используется, если с текстом нужно провести некоторые действия, которые описываются в инструкции?
                                                                                                                                                                                                                                                                                              Промпт с описанием контекста
                                                                                                                                                                                                                                                                                                Промпты с использованием ролей
                                                                                                                                                                                                                                                                                                  Промпт с использованием примеров
                                                                                                                                                                                                                                                                                                    Промпт с описанием инструкций
                                                                                                                                                                                                                                                                                                      3. Какой из вариантов промпта выдаст более качественный результат для поста в соцсети?
                                                                                                                                                                                                                                                                                                        Напиши, что такое искусственный интеллект.
                                                                                                                                                                                                                                                                                                          Напиши, что такой искусственный интеллект так, чтобы понял ребенок 7 лет.
                                                                                                                                                                                                                                                                                                            Напиши пост на тему искусственного интеллекта.
                                                                                                                                                                                                                                                                                                              Напиши заметку для поста в соц. сети о том, что такое искусственный интеллект просто на 800-1000 знаков.
                                                                                                                                                                                                                                                                                                                4. Какой из промптов позволит сгенерировать текст, представленный ниже?
                                                                                                                                                                                                                                                                                                                  Придумай имена героев для игры
                                                                                                                                                                                                                                                                                                                    Придумай 10 имен героев для ролевой игры
                                                                                                                                                                                                                                                                                                                      Сгенерируй 10 произвольных имен
                                                                                                                                                                                                                                                                                                                        Что такое RPG и какие там бывают имена?
                                                                                                                                                                                                                                                                                                                          5. Какой из промптов позволит сгенерировать текст, представленный ниже?
                                                                                                                                                                                                                                                                                                                            Что такое катаральный гастрит
                                                                                                                                                                                                                                                                                                                              Объясни просто, что такое стойкая постуральная тахикардия
                                                                                                                                                                                                                                                                                                                                К кому обращаться, если есть проблемы с сердцем?
                                                                                                                                                                                                                                                                                                                                  Подробно объясни механизм появления стойкой постуральной тахикардии при катаральном гастрите.
                                                                                                                                                                                                                                                                                                                                    Итоги
                                                                                                                                                                                                                                                                                                                                    В рамках настоящего курса вы:
                                                                                                                                                                                                                                                                                                                                    Разобрались с основными понятиями промпт-инжиниринга.
                                                                                                                                                                                                                                                                                                                                    Познакомились с инструментами для генерации контента.
                                                                                                                                                                                                                                                                                                                                    Узнали о проблемах, связанных с генераций материалов.
                                                                                                                                                                                                                                                                                                                                    Ознакомились с правилами составления промптов для генерации.
                                                                                                                                                                                                                                                                                                                                    Мы рекомендуем все вышеупомянутое попробовать на практике.

                                                                                                                                                                                                                                                                                                                                    Если вы прошли курс, но его статус так и не стал "Полностью изучено", то проверьте, что вы прошли тесты в конце первого и второго разделов.
                                                                                                                                                                                                                                                                                                                                      Как пройти курс с генерацией другого?
                                                                                                                                                                                                                                                                                                                                      Если хотите переключить этот курс на другой тип контента (например, вы выбрали генерацию текста, а хотите изучить генерацию изображений), то вернитесь в начало курса.

                                                                                                                                                                                                                                                                                                                                      Там, где вопрос "Вы хотите генерировать тексты или изображения?" нажмите кнопку "Пройти опрос повторно" и выберите другой вариант.
                                                                                                                                                                                                                                                                                                                                      Сейчас в процессе разработки находится новый, более продвинутый курс про генерацию текстов. В планах курсы по генерации видео, музыки, веб-сайтов и прочего разнообразного контента.

                                                                                                                                                                                                                                                                                                                                        Итоговое задание (по желанию)
                                                                                                                                                                                                                                                                                                                                        Задания не являются обязательным и не проверяется. Если у вас есть рабочие задачи, где можно использовать генеративные системы, то предлагаем сразу попробовать применить их в своей профессиональной деятельности.

                                                                                                                                                                                                                                                                                                                                        Предлагаем попрактиковаться и получить реальный опыт, выполняя задания ниже.

                                                                                                                                                                                                                                                                                                                                          Задание 1
                                                                                                                                                                                                                                                                                                                                          Сделайте поздравительную открытку, например, можно поздравить коллегу с днём рождения. Сгенерируйте для неё поздравительный текст (можно в виде стихов) и изображения.
                                                                                                                                                                                                                                                                                                                                          Задание 2
                                                                                                                                                                                                                                                                                                                                          Создайте иллюстрированную детскую сказку, например, «Красная Шапочка» (можно взять и не классическую тему), где текст генерируется с помощью текстовых моделей, а изображения иллюстраций — с помощью моделей, генерирующих изображения.

                                                                                                                                                                                                                                                                                                                                          Ваша задача — подобрать промпты для получения нужного результата, из составленных текстов и изображений выбрать подходящие и собрать это все в одном документе офисного формата.

                                                                                                                                                                                                                                                                                                                                          4.3. Полезные ссылки
                                                                                                                                                                                                                                                                                                                                          Здесь - полезные ссылки и материалы, в том числе и те, которые не вошли в основной текст курса, но могут пригодится. Если у вас есть какие-то полезные ссылки, то вы можете поделится, и мы добавим их сюда. Присылайте ссылки на почту BAShrayner@sberbank.ru.

                                                                                                                                                                                                                                                                                                                                          Имейте в виду, что ссылки могут быть не доступны или не работать по независящим от нас обстоятельствам.
                                                                                                                                                                                                                                                                                                                                            Ссылки, связанные со Сбером:

                                                                                                                                                                                                                                                                                                                                            1. Fusionbrain.ai - сервис генерации изображений на основе Kandinsky.
                                                                                                                                                                                                                                                                                                                                            2. Чат-бот от Kandinsky в telegram.
                                                                                                                                                                                                                                                                                                                                            3. Rudalle.ru - сервис для генерации изображений от Сбера, не только Kandinsky.
                                                                                                                                                                                                                                                                                                                                            4. GigaСhat - генеративная диалоговая модель от Сбера, генерирует осмысленный текст на заданную тематику.
                                                                                                                                                                                                                                                                                                                                            5. Инструкция по регистрации в GigaChat - поможет в регистрации в GigaChat.
                                                                                                                                                                                                                                                                                                                                            6. Примеры удачных промптов для GigaChat - можно найти интересные варианты промптов и новые идеи.
                                                                                                                                                                                                                                                                                                                                            7. Справка по GigaChat - подробная документация по сервису и по промптам.
                                                                                                                                                                                                                                                                                                                                            8. SaluteSpeech - про синтез и распознавание речи от Сбера.
                                                                                                                                                                                                                                                                                                                                            9. Синтез речи виртуальных ассистентов Салют: как мы отошли от классических научных статей, чтобы сделать его человеческим - статья на Хабре, где разработчики рассказывают про разработку виртуальных ассистентов.
                                                                                                                                                                                                                                                                                                                                            10. Маэстро — сервис генерации музыки по названию артиста и произведению (можно вымышленному).
                                                                                                                                                                                                                                                                                                                                            11. Интервью Павла Пепперштейна с нейронной сетью — о писательстве и гендере - статья о процессе написания текстов совместно с ИИ.
                                                                                                                                                                                                                                                                                                                                            12. Рерайтер - сервис от Сбера для автоматического переписывания текстов.
                                                                                                                                                                                                                                                                                                                                                Генерация изображений:

                                                                                                                                                                                                                                                                                                                                                1. PlayGroundAi.com - сервис для генерации изображений на основе Stable Diffusion, дается 1000 генераций в день.
                                                                                                                                                                                                                                                                                                                                                2. Lexica.art — поиск промптов для генерации изображений по ключевым словам.
                                                                                                                                                                                                                                                                                                                                                3. thisimagedoesnotexist.com - игра, где предлагается угадать, нарисовал изображение человек или генеративная модель.
                                                                                                                                                                                                                                                                                                                                                4. whichfaceisreal.com - игра, где предлагается угадать, какое лицо реального человека, а какое - сгенерированное.
                                                                                                                                                                                                                                                                                                                                                5. Midjourney Prompt Generator - генератор промптов.
                                                                                                                                                                                                                                                                                                                                                6. Stable Diffusion Modifired Studies - конструктор промптов с примерами результатов из работы.
                                                                                                                                                                                                                                                                                                                                                7. Переводчик DeepL - для перевода промпта на английский язык.

                                                                                                                                                                                                                                                                                                                                                Генерация текстов:

                                                                                                                                                                                                                                                                                                                                                1. Tokenizer - сервис для оценки количества токенов промпта.
                                                                                                                                                                                                                                                                                                                                                2. 300.ya.ru - сервис суммаризации от Яндекса, на основании ссылки делает краткий пересказ содержания.
                                                                                                                                                                                                                                                                                                                                                3. poe.com - сервис для работы с различными ИИ-ботами, подробности - в статье.
                                                                                                                                                                                                                                                                                                                                                4. you.com - поисковая система с чат-ботом.
                                                                                                                                                                                                                                                                                                                                                5. GPT4Telegrambot - бот для на основе ChatGPTв Telegram, дает бесплатно 20 запросов в день.
                                                                                                                                                                                                                                                                                                                                                6. ChatGPT | Bard | Poe - публичный бот на основе ChatGPT в Telegram.
                                                                                                                                                                                                                                                                                                                                                  Вы можете скачать документ с этими ссылками для дальнейшего ознакомления.