Как понять, что ИИ хорош
Урок 9 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Проверка на новом
Модель честно проверяют на примерах, которых она не видела при обучении. Это как экзамен, а не задачи из учебника, которые ты уже решал. На рисунке: на учебных примерах модель набирает 100%, а на новых 70%. Процент тут: доля правильных ответов, числа условные, для примера. Верить стоит второй цифре: она показывает, как модель справится в реальной жизни.
Переобучение: выучил, но не понял
Переобучение: модель так хорошо запомнила учебные примеры, что на новых теряется. Как одноклассник, который вызубрил ответы из сборника, а на экзамене не может решить ту же задачу с другими числами. Поэтому большой разрыв между учебником и экзаменом это тревожный знак. Хорошая модель ловит общий принцип, а не зубрит конкретные ответы.
Точность может врать
Точность: доля правильных ответов. Звучит надёжно, но есть ловушка. Пример: ты подрабатываешь в онлайн-магазине кроссовок, и ИИ сортирует письма клиентов. Из 100 писем 95 обычные вопросы и 5 жалоб. ИИ, который всё подряд называет «вопросом», прав в 95 случаях из 100, его точность 95%. Но ни одной жалобы он не нашёл. Смотри, как ИИ справляется с редкими, но важными случаями.
Рейтинги моделей не про тебя
Компании хвастаются результатами на бенчмарках. Бенчмарк: общий набор тестовых задач, например по математике или программированию, на котором сравнивают модели. Это полезно, но твоей задачи там нет. Модель-отличница по олимпиадной математике может путаться в размерах и правилах возврата твоего магазина. Спойлер: первое место в рейтинге не значит лучшая для тебя.
Твой мини-экзамен
Собери 5–10 настоящих примеров из своей задачи, для начала этого хватит. Например, реальные письма клиентов: обычный вопрос, жалоба, письмо на сленге, письмо с кучей опечаток. Для каждого запиши, какой ответ считаешь правильным. Прогони их через ИИ и сверь. Это и есть твой экзамен: на нём сразу видно, где модель ошибается, и он честнее любого рейтинга.
Сравни бок о бок
Хочешь понять, какой промпт или какая модель лучше? Дай обоим вариантам одни и те же примеры из своего мини-экзамена и положи ответы рядом. Оценивай по простому списку: верно ли, по делу ли, нужный ли тон. Меняй одну вещь за раз, иначе не поймёшь, что сработало. И помни: ответы каждый раз немного разные, так что прогони каждый пример пару раз.
Проверь себя
- Модель отлично решает учебные примеры, но плохо справляется с новыми. Как это называется?
Правильный ответ: Переобучение. Переобучение: модель зазубрила учебные примеры вместо общего принципа, поэтому на новых ошибается. - У ИИ точность 95%, но он не нашёл ни одной из 5 жалоб среди 100 писем. Как так?
Правильный ответ: Жалоб мало, и он всё подряд называет обычным вопросом. 95 обычных писем он назвал верно, и это уже 95 из 100. Точность прячет провал на редких, но важных случаях. - Как лучше всего выбрать ИИ для своей задачи?
Правильный ответ: Проверить на 5–10 своих реальных примерах. Рейтинги проверяют общие задачи, а не твою. Свой мини-экзамен сразу покажет, где модель ошибается именно у тебя.