Если модель не может правильно ответить на специальный вопрос или решить практическую задачу, скорее всего, ей не хватает знаний уровня L2 и L1. Вот как в общем виде выглядит её «интеллект»:

Чтобы модель умела решать прикладные задачи (L2), например, анализировать кредитную историю заёмщика, она должна иметь доменные знания (L1) в области кредитных операций, то есть уметь отвечать на конкретные вопросы, а не просто генерировать текст.

Дообучение модели будет выглядеть так:

1. Предоставить модели массив данных в доменной области: базовые понятия и термины, правила и нормативы, статистику типичных кредитных историй, информацию о заёмщиках, алгоритмы и методы анализа и т. д.
2. Разметить (классифицировать) данные с помощью экспертов-аналитиков;
3. Поэкспериментировать с системным промптингом: подобрать роль для модели, корректно поставить ей задачу (ты — кредитный аналитик; ты оцениваешь кредитоспособность заёмщика).
4. Настроить системные параметры (предсказуемость, словарь, длину) ответа в GigaChat API.

Подробнее о том, что такое системный промптинг и настройка системных параметров ответа GigaChat, вы узнаете дальше.

Когда не стоит дообучать модель

• Мало данных: 10 или 50 документов недостаточно, если только эти документы не содержат огромный массив данных.
• Данные динамически меняются. Скажем, новости появляются каждый день, а дообучение занимает от недели до нескольких месяцев.
• Персональные данные и конфиденциальная информация. Модели не нужно знать, кто такой заёмщик по имени Иванов Иван Иванович и сколько он потратил за год.

Если после обучения ответ модели всё ещё не подходит, можно дообогатить свой запрос информацией от заказчика.

Хотя мы не можем использовать конфиденциальную информацию для дообучения, мы можем добавить её в сам запрос модели. Допустим, мы спрашиваем GigaChat: «Дай краткую сводку кредитной истории Иванова Ивана Ивановича, номер паспорта 0123 456789». Ответа на этот вопрос модель, разумеется, не даст: она не знает ни заёмщика, ни его кредитной истории, ни откуда взять эту информацию.

Будем исправлять ситуацию.

1. Обратимся к базе данных на стороне бизнес-заказчика, где есть нужная информация (кредитная история Иванова, методология расчёта, инструкция).
2. Получаем её, отправляем модели и меняем исходный запрос: «Сообщи краткую сводку кредитной истории Иванова Ивана Ивановича, номер паспорта 0123 456789, используя информацию ниже».
3. Получаем релевантный ответ.

Так выглядит алгоритм обучения и настройки GigaChat для решения практических задач.

Резюмируем:

• GigaChat стабильно хорошо справляется с аналитикой данных, обработкой текстов, генерацией текста, изображений и кода, генерацией идей, автоматизацией диалогов с пользователями — и уже используется в разных областях науки, бизнеса и производства.
• По сравнению с веб-версией GigaChat, которая помогает решать разовые задачи, версия GigaChat API позволяет производить тонкие настройки ответов, чтобы решать задачи систематически с предсказуемыми ответами.
• Если вы сходу попробуете решить специальную задачу с помощью GigaChat API, ответ может разочаровать — это потому, что у модели «из коробки» пока что нет специальных знаний, и её нужно доучить или дообогатить информацией.
• Для дообучения нужен массив специальных данных в доменной области знаний и их разметка (классификация) с помощью эксперта этой области. Если данных недостаточно, а так же, если они динамически меняются или содержат персональную информацию, дообучить модель не получится. В этом случае подходит метод дообогащения, когда информация для обработки подаётся вместе с запросом-промптом.