Почему ответы каждый раз разные
Урок 5 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
У каждого слова свой шанс
Модель не выбирает одно слово сразу. Сначала она даёт каждому варианту вероятность, то есть шанс. Пример с картинки, фраза «Небо сегодня…»: «голубое» 62%, «серое» 21%, «ясное» 9%, «фиолетовое» 2%. Оставшиеся 6% делят все прочие слова: 100 − 62 − 21 − 9 − 2 = 6. Числа придуманы для примера, но схема настоящая.
Модель бросает кубик
Дальше идёт сэмплинг (sampling): модель вытягивает слово случайно, но с учётом шансов. Из 100 запусков «голубое» выпадет примерно 62 раза, «серое» около 21 раза, потому что такие у них шансы. Вот почему один и тот же вопрос даёт разные ответы: стоит в начале выпасть другому слову, и весь текст едет своей дорогой. Это не баг, это фича.
Температура: ползунок риска
Температура: настройка, которая меняет эти шансы. Низкая делает высокие столбики ещё выше: модель почти всегда берёт «голубое», ответы предсказуемые. Высокая выравнивает столбики: даже «фиолетовое» получает шанс, текст становится смелее и случайнее. Похожая настройка top-p: модель выбирает только из самых вероятных слов, пока их общий шанс не наберёт заданную долю.
Когда холодно, а когда жарко
Низкая температура подходит для задач с одним верным ответом: посчитать бюджет поездки, оформить таблицу, перевести инструкцию. Высокая подходит для идей: названия для канала, сюжет для видео, подарок другу. В обычных чат-приложениях ползунка часто нет. Тогда попроси «дай 5 очень разных вариантов» или нажми кнопку «перегенерировать»: модель заново вытянет слова.
Один ответ ещё не истина
Раз ответ это случайная выборка по шансам, один ответ ещё не «тот самый» ответ. Перегенерируй его 2–3 раза. Если факты в ответах расходятся, модель не уверена: проверь по надёжному источнику. Ловушка тут в том, что даже при низкой температуре модель может уверенно повторять одну и ту же ошибку. Предсказуемо не значит правильно.
Проверь себя
- Почему на один и тот же вопрос модель отвечает по-разному?
Правильный ответ: Она выбирает слова случайно с учётом шансов. Это сэмплинг: слова тянутся случайно, но по вероятностям. Другое слово в начале меняет весь дальнейший текст. - Какая температура лучше, чтобы придумать название для канала?
Правильный ответ: Повыше: будет больше разных вариантов. Для идей нужен разброс. Высокая температура выравнивает шансы, и менее очевидные слова тоже попадают в ответ. - Ты перегенерировал ответ 3 раза, и год события каждый раз разный. Что это значит?
Правильный ответ: Модель не уверена, год надо проверить. Разброс в фактах значит, что у модели нет уверенного ответа. Ни последний, ни самый частый вариант не гарантирует правду: проверь источник.