Температура — разброс ответов модели
Параметр генерации, задающий, насколько модель склонна выбирать менее вероятные продолжения. Ниже — предсказуемее, выше — разнообразнее.
Также встречается как: temperature, параметры генерации
Коротко. Температура — число, управляющее случайностью генерации. При низком значении модель почти всегда выбирает самое вероятное продолжение, при высоком — чаще берёт менее вероятные варианты.
Как выбирать значение
- Около нуля — задачи с одним правильным ответом: извлечение данных, классификация, генерация структурированного вывода, работа с цифрами.
- Среднее — диалог, объяснения, ответы поддержки: нужна естественность, но не фантазия.
- Высокое — черновики текстов, варианты названий, брейншторм: разнообразие важнее точности.
Рядом обычно живут другие параметры генерации (top-p, штрафы за повторы). Менять их все одновременно не стоит: сначала температура.
Зачем фаундеру
Это самая дешёвая настройка качества. Половина жалоб вида «модель отвечает по-разному на один и тот же вопрос» лечится снижением температуры, а не сменой модели или переписыванием промпта.
Важное следствие для тестирования: при ненулевой температуре ответ не воспроизводится дословно. Значит, проверять качество нужно по смыслу или по проверяемым признакам, а не сравнением строк.
Где ошибаются
Ставят высокую температуру там, где нужен точный ответ. Разнообразие в извлечении данных из документа — это просто ошибки.
Считают, что ноль даёт полную детерминированность. На практике совпадение не гарантировано: влияют версия модели и особенности вычислений.
Разобрать это на своём проекте
Мы доводим идеи фаундеров до работающего MVP за долю в компании. Расскажите про свою — посмотрим на цифры вместе.