Спроси трижды: лучший ответ
Урок 23 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Один вопрос, разные ответы
Помнишь температуру? Модель вытягивает слова по шансам, поэтому один и тот же вопрос может дать разные ответы. Это называют непостоянством. Бывает и хуже: чуть другая формулировка, например другой порядок слов, и ответ меняется сильно. Для идей это плюс. А если нужен один точный результат, например ответ к задаче по алгебре на завтра, это уже проблема.
Потрать больше сил на ответ
Сделать ответ лучше можно и без модели побольше. Можно потратить больше вычислений в момент ответа: получить несколько вариантов вместо одного. Это называют вычислениями во время ответа (test-time compute). Самый простой способ: лучший из N, то есть N попыток и выбор лучшей. Выбирать можешь ты, простая проверка или ИИ-судья. Минус: 3 попытки стоят примерно в 3 раза больше времени и денег.
Голосование: где сходятся
Для задач с одним точным ответом есть приём проще: голосование большинства. На картинке: одна задача, три попытки, ответы 42, 42 и 38 (числа для примера). Две попытки из трёх совпали, значит берём 42. Логика: случайные ошибки обычно разные, а верный ход решения чаще ведёт к одному числу. Подходит для математики, тестов с вариантами, поиска цифры в тексте. В эссе голосовать не за что: там выбирают лучшее.
Режим «думать» делает похожее
Рассуждающие модели из урока про шаги тоже тратят больше сил перед ответом. Они пишут черновик, пробуют разные пути решения, проверяют себя и только потом отвечают. По сути та же идея: больше работы в момент ответа вместо модели побольше. Поэтому они медленнее и обходятся дороже. Включай такой режим для сложной задачи или плана, а не для вопроса «как сказать спасибо по-японски».
Откуда берутся выдумки
Почему ИИ галлюцинирует, то есть уверенно пишет неправду? Модель продолжает текст правдоподобно и не всегда отличает то, что знает, от того, что угадала. А всё, что она уже написала, она читает как факт. Пример: в первой фразе модель перепутала автора книги, а дальше сочиняет его биографию, чтобы всё выглядело складно. Это называют снежным комом: одна неверная догадка тянет за собой следующие.
Совпадение ещё не доказательство
Рецепт для важных цифр и фактов. Спроси 2–3 раза: перегенерируй ответ или открой новый чат, там старая ошибка из истории не потянет за собой новую. Ответы расходятся? Это красный флаг: модель не уверена, проверь по надёжному источнику. Ответы совпали? Шанс ошибки ниже, но не ноль: модель может трижды повторить одну и ту же популярную ошибку. База: совпадение это подсказка, а доказательство даёт источник.
Проверь себя
- Три попытки дали 42, 42 и 38. Что выберет голосование большинства?
Правильный ответ: 42, потому что так ответили две попытки из трёх. Голосование берёт ответ, в котором сходится большинство попыток: 2 из 3 дали 42. Среднее тут бессмысленно, ведь верный ответ один. - Почему для перепроверки факта лучше открыть новый чат?
Правильный ответ: Старая ошибка из истории не повлияет на новый ответ. Модель читает всё, что уже написано в чате, как факт. В новом чате нет её прежней ошибки, поэтому проверка честнее. - Модель три раза подряд дала один и тот же ответ на важный вопрос. Что верно?
Правильный ответ: Ошибка менее вероятна, но факт всё равно стоит проверить. Совпадение повышает шанс, что ответ верный, но модель может стабильно повторять популярную ошибку. Доказательство даёт источник.