2.4 Как работать с API: Служебные параметры
Если роль задаёт базовое «поведение» и содержание ответов модели, то служебные параметры позволяют более тонко настраивать её ответы: контролировать уникальность и предсказуемость ответа, его длину и повторение в нём одних и тех же слов.
Рассмотрим шесть базовых параметров ответов и на что влияет каждый из них:
Рассмотрим шесть базовых параметров ответов и на что влияет каждый из них:
Чтобы проиллюстрировать, как работает настройка параметров, зададим GigaChat вопрос: «Что делать при простуде?». В первом случае оставим значение температуры ответа, заданное по умолчанию «0,87». Модель даст максимально предсказуемый и даже осторожный ответ. А во втором случае поставим значение «2» — и модель сгенерирует явную чушь. Сравните:
Зададим другой вопрос: «У меня болит голова. Что делать?», но теперь покрутим значения параметра «top_p» (он задаёт вероятностную массу токенов словаря модели). Значение температуры оставим предзаданным «0,87».
В первом случае оставим значение top_p также предзаданным — «0,47». Модель даёт чёткий ответ по существу.
Во втором случае поставим значение «1» — и оценим ответ. Он начинается нейтрально, но дальше модель делает предположение, что головная боль может быть признаком серьёзного заболевания.
В первом случае оставим значение top_p также предзаданным — «0,47». Модель даёт чёткий ответ по существу.
Во втором случае поставим значение «1» — и оценим ответ. Он начинается нейтрально, но дальше модель делает предположение, что головная боль может быть признаком серьёзного заболевания.
Второй ответ — не совсем удачный, ведь тревожного человека такое предположение может взволновать.
Поэтому базовые настройки модели выставлены на средние значения, но вы всегда можете поэкспериментировать и найти подходящие значения для ваших задач.
Резюмируем:
Поэтому базовые настройки модели выставлены на средние значения, но вы всегда можете поэкспериментировать и найти подходящие значения для ваших задач.
Резюмируем:
- GigaChat API — системный интерфейс для интеграции продвинутых возможностей GigaChat на вашу платформу, сайт, в рабочий инструмент.
- Чтобы начать работу с GigaChat API, авторизуйтесь на сайте и создайте одноимённый проект.
- Протестировать возможности GigaChat API можно на тестовой платформе Postman, для этого на ней тоже нужно авторизоваться.
- GigaChat API позволяет проводить тонкую настройку ответов GigaChat: задавать роль (общее «поведение») модели и регулировать параметры ответов: длину, креативность и предсказуемость, повторяемость слов и другие.