ИИ проверяет ИИ
Урок 22 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
ИИ ставит оценки
ИИ-судья: модель, которая оценивает ответы другой модели или твои тексты. Пример: ты написал два варианта сопроводительного письма, то есть короткого рассказа о себе для работодателя, на летнюю подработку в кофейне. Судью можно попросить о трёх вещах: поставить оценку от 1 до 5, выбрать лучший из двух (А или Б) или сравнить текст с образцом. Компании так проверяют тысячи ответов: это быстрее и дешевле, чем люди.
Три слабости судьи
Судья не нейтрален, у него есть перекосы. Первый: эффект позиции, то есть он чаще выбирает ответ, который стоит первым. Второй: любовь к длине, длинный ответ кажется ему лучше, даже если в нём ошибки. Третий: любовь к себе, модель выше ценит тексты в своём собственном стиле. На картинке это подпись: судья любит первый и длинный ответ. Это не злой умысел, а побочный эффект того, как модель училась.
Поменяй местами А и Б
Простой приём против эффекта позиции: задай вопрос дважды. Сначала письмо А стоит первым, потом Б, лучше в новом чате. Судья оба раза выбрал одно и то же письмо? Такому вердикту можно верить больше. Выбор поменялся вместе с порядком? Значит, судья на самом деле не видит разницы: считай, что ничья. Против любви к длине прямо напиши «длина не важна» или сравнивай тексты похожего объёма.
Судья = модель + промпт
Оценка зависит не только от текста, но и от того, кто и как судит. Поменяй модель или пару слов в промпте, и это уже другой судья. Даже тот же судья на тот же текст может дать разную оценку, ведь ответы ИИ случайны. Пример: «7 из 10» в одном чате и «9 из 10» в другом сравнивать нельзя. Чтобы оценки были ровнее, дай судье задачу, критерии, то есть по чему судить, и шкалу 1–5 с описанием каждой оценки.
Рейтинг из тысяч поединков
Так же сравнивают и сами модели. Людям показывают два ответа на один вопрос, часто не говоря, какая модель что написала, и они выбирают лучший. Каждый выбор как матч. Из множества матчей считают рейтинг, как в шахматах или онлайн-играх: победа над сильным соперником даёт больше очков. Ловушка тут в том, что голосование хорошо для вкуса и стиля. Верен ли факт, решают не голоса, а проверка.
Последнее слово за тобой
Как использовать судью для себя. Попроси разобрать эссе по нескольким понятным критериям, например: ясная главная мысль, примеры, грамотность. Лучше 3–4 чётких пункта, чем 15 размытых. Попроси сначала объяснить, потом поставить оценку. Сравниваешь два варианта? Прогони их в обоих порядках. База: ИИ-судья это второе мнение, а не учитель с журналом. Факты проверяй сам, а решаешь ты.
Проверь себя
- Судья выбрал письмо А. Ты поменял порядок, и он выбрал Б. Что это значит?
Правильный ответ: Судья не видит явной разницы, считай это ничьей. Если выбор меняется вместе с порядком, судья реагирует на позицию, а не на качество текста. Честнее считать это ничьей. - Почему нельзя сравнивать «7 из 10» из одного чата с «9 из 10» из другого?
Правильный ответ: Другой промпт или модель дают уже другого судью. Судья это модель вместе с промптом. Поменял одно из них, и шкала уже другая, а тот же судья ещё и может колебаться от раза к разу. - Для какого вопроса голосование «какой ответ лучше» подходит хуже всего?
Правильный ответ: В каком году произошло историческое событие. Голоса хорошо меряют вкус и стиль. Дата либо верна, либо нет, и это решает проверка по источнику, а не большинство.
← Почему модели такие огромные Спроси трижды: лучший ответ →