Данные решают
Урок 6 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Модель = её данные
Данные: примеры, на которых учится модель. Тексты, фото, записи. Готовых правил модель не получает, она сама ищет в примерах шаблоны. Пример: ты хочешь фильтр для комментов под своими видео. Ты даёшь ему 10 000 старых комментов, и он учится отличать токсичные от нормальных. Что было в примерах, то он и умеет. Чего не было, того он не знает.
Метки: правильные ответы
Чтобы фильтр понял, что такое токсичный коммент, к каждому примеру нужна метка. Метка: правильный ответ, который приписал человек, например «токсичный» или «нормальный». Модель учится повторять эти метки. Ловушка тут в том, что метки ставят люди, а люди ошибаются. Если злой коммент помечен как «нормальный», модель выучит и эту ошибку, и потом повторит её.
Мусор на входе, мусор на выходе
У программистов есть правило: мусор на входе, мусор на выходе. Модель не умнее своих данных. Ошибочные метки, дубли, случайный спам среди примеров: всё это она впитает и повторит в ответах. И просто добавить побольше данных не поможет, если они тоже кривые. Короче: небольшой, но чистый набор примеров часто полезнее огромного и грязного.
Перекос в данных
Если в данных одних примеров намного больше, чем других, модель это повторит. Такой перекос называют предвзятостью, по-английски bias. Пример: твой фильтр учился в основном на англоязычных комментах и пропускает грубость на русском сленге. С чат-ботами так же: в интернете больше всего текстов на английском, поэтому на нём модели часто отвечают лучше и смотрят на мир глазами англоязычных стран.
Старые данные, старая модель
Данные собирают в какой-то момент, а дальше мир меняется уже без модели. Через год появится новый сленг, и твой фильтр его не поймёт: свежее оскорбление пролетит мимо. У чат-ботов это та самая дата среза знаний из первого урока: о том, что случилось позже неё, модель может не знать. Вывод: свежие тренды, цены и новости проверяй в актуальных источниках.
Данные это чьи-то тексты
В обучающих данных бывают личные вещи: имена, посты, переписки, которые кто-то выложил в открытый доступ. Модель обычно не хранит их дословно, но иногда может повторить кусочек. Твои собственные чаты тоже могут попасть в обучение. Многие чат-приложения позволяют отключить это в настройках, проверь у себя. База: не отправляй в чат то, что не готов отдать в чужие руки.
Проверь себя
- Почему модель повторяет ошибку, которая была в её примерах?
Правильный ответ: Она учится на данных и перенимает их ошибки. Мусор на входе, мусор на выходе: неверная метка в примерах превращается в неверный ответ модели. - Фильтр комментов учили почти только на английских примерах. Что вероятнее всего?
Правильный ответ: Он хуже поймает грубость на других языках. Это перекос в данных: чего в примерах мало, то модель знает хуже. - Что такое метка в обучающих данных?
Правильный ответ: Правильный ответ к примеру, который поставил человек. Метка говорит модели, какой ответ правильный для этого примера, например «токсичный» или «нормальный».
← Почему ответы каждый раз разные Как учат чат-бота: 3 этапа →