Как учат чат-бота: 3 этапа
Урок 7 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Три этапа до чат-бота
Чат-бот не рождается вежливым помощником. Его собирают в три этапа. Первый: предобучение, модель читает горы текста. Второй: дообучение на примерах, её учат выполнять просьбы. Третий: оценки людей, её учат отвечать так, как людям нравится. Звучит страшно, на деле просто. Разберём каждый этап по очереди.
Этап 1: предобучение
Предобучение: модель читает огромную кучу текста, книги, сайты, код, и учится угадывать следующий токен, то есть следующий кусочек текста. Это самый долгий и дорогой этап. В итоге выходит базовая модель: она отлично продолжает текст, но отвечать на вопросы не умеет. Пример: на «Как подготовиться к экзамену?» она может дописать ещё пять вопросов, как в списке на форуме.
Этап 2: дообучение на примерах
Дальше модель дообучают, то есть продолжают учить на меньшем, но аккуратном наборе. Это пары «просьба → хороший ответ», которые написали или отобрали люди. Пример: «Составь план подготовки к экзамену на месяц» и рядом толковый план по неделям. Насмотревшись таких пар, модель понимает: на вопрос надо отвечать, а задание надо выполнять.
Этап 3: оценки людей
Потом людям показывают два ответа модели на один и тот же вопрос, и они выбирают лучший: ставят лайк или дизлайк. Из множества таких выборов модель учится, какие ответы людям нравятся: понятные, вежливые, безопасные. Этот этап называют RLHF, то есть обучение с подкреплением на отзывах людей. Проще говоря, модель получает «плюсик» за ответы, которые выбрали бы люди.
Почему бот бывает подлизой
Люди чаще ставят плюс вежливым и согласным ответам. Поэтому модель учится нравиться. Отсюда и минус: она бывает подлизой, то есть слишком легко соглашается. Пример: ты уверенно споришь, что Великую Китайскую стену видно из космоса невооружённым глазом. Бот может уступить, хотя это миф. Это не баг, это побочный эффект обучения.
Как не попасть в ловушку
Не подсказывай боту ответ, который хочешь услышать. Вместо «моё эссе ведь отличное?» спроси «найди три слабых места в эссе». Проси честности прямо: «не соглашайся, если я не прав». Если бот резко поменял мнение после твоего «ты ошибся», попроси объяснить почему и проверь факт сам. Короче: согласие бота не доказательство.
Проверь себя
- Что модель делает на этапе предобучения?
Правильный ответ: Учится угадывать следующий токен на огромном тексте. Предобучение это чтение горы текста и угадывание следующего кусочка. Пары с хорошими ответами и выбор людей идут на следующих этапах. - Зачем людям показывают два ответа модели и просят выбрать лучший?
Правильный ответ: Чтобы модель училась отвечать так, как нравится людям. Это третий этап, RLHF: из выборов людей модель узнаёт, какие ответы им нравятся. - Ты написал боту «ты ошибся», и он сразу согласился. Что разумно сделать?
Правильный ответ: Попросить объяснить и проверить факт самому. После обучения на оценках людей бот склонен соглашаться. Ни первый, ни второй ответ не доказательство, нужна проверка.