ИИ в жизни: модель стареет
Урок 19 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Модель: снимок прошлого
Пример: в приложении банка работает фильтр, который ловит мошеннические СМС. Его обучили на старых сообщениях с метками «мошенник» или «нормальное». Метка: правильный ответ к примеру, который поставил человек. Фильтр выучил только то, что было в этих данных. Если метка стояла неверно, он повторит ошибку. Если какой-то схемы в данных не было, он о ней не знает.
Мир меняется, качество падает
Прошёл год. Мошенники придумали новое: «подработка, ставь лайки за деньги». Таких сообщений в обучении не было, и фильтр их пропускает. Это дрейф данных: реальные данные со временем всё сильнее отличаются от тех, на которых учили модель. Модель сама не портится, это мир ушёл вперёд. Так же устаревают сленг, цены и тренды, а с ними и ответы модели.
Следить и обновлять
Поэтому за моделью в продукте следят. Это называют мониторингом: команда смотрит, сколько мошенников проскочило и сколько пришло жалоб. Качество упало? Собирают свежие примеры с метками и переобучают модель, то есть снова учат её, уже на новых данных. На графике это скачок вверх. С чат-ботами похоже: выходят новые версии, потому что знания старых устаревают.
Человек в цикле и кнопка отзыва
Человек в цикле: схема, где важные или спорные решения ИИ проверяет живой человек. Например, блокировку карты или отказ в кредите. Твоя кнопка «это не спам» или «плохой ответ» тоже часть цикла. Такие отзывы становятся новыми метками для проверки и обучения. Модель от одного нажатия сразу не меняется, но к следующему обновлению отзывы помогают исправить её ошибки.
Ответственный ИИ
Ответственный ИИ держится на трёх вещах. Справедливость: если в данных мало людей с каким-то акцентом или цветом кожи, модель будет хуже работать именно для них. Приватность: личные данные пользователей защищают и не раздают. Прозрачность: люди знают, что с ними говорит бот, и могут узнать, почему он так решил. База: если ИИ решил что-то важное о тебе, проси, чтобы это проверил человек.
Проверь себя
- Что такое дрейф данных?
Правильный ответ: Реальные данные со временем уходят от тех, на которых учили. Модель не портится сама. Меняется мир: новые схемы, сленг, цены, и старое обучение перестаёт им соответствовать. - Почему фильтр мошенничества пропустил новую схему?
Правильный ответ: Таких примеров не было в данных для обучения. Модель знает только то, что было в её данных. Новую схему она увидит, только когда её переобучат на свежих примерах. - Зачем нажимать «это не спам» или «плохой ответ»?
Правильный ответ: Отзывы становятся новыми метками для проверки и обучения. Отзывы собирают и используют, чтобы найти ошибки и переобучить модель. Эффект виден к следующему обновлению, а не сразу.
← Безопасность: данные и prompt injection Где ИИ реально помогает →