Почему модели такие огромные
Урок 21 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Параметр: одна ручка настройки
Внутри модели миллиарды чисел. Каждое такое число называют параметром. При обучении модель читает текст, угадывает следующее слово и, ошибаясь, чуть-чуть подкручивает параметры, как ручки на пульте диджея. Одна ручка сама по себе ничего не значит, но вместе они хранят выученные шаблоны языка. Больше ручек: больше места для тонких вещей, вроде сарказма или стиля.
Три ингредиента большой модели
Размер модели держится на трёх вещах. Параметры: сколько у неё ручек. Данные: сколько текста она прочитала, их считают в токенах, тех самых кусочках текста. Вычисления: сколько расчётов сделали при обучении, то есть сколько чипов и как долго они работали. Это тысячи мощных чипов, море электричества и огромные деньги. Одного ингредиента мало: большая модель на крохе данных выйдет слабой.
Каждый шаг даёт меньше
Если нарастить все три ингредиента, модель обычно становится лучше. Эту закономерность называют законом масштабирования. Но кривая на картинке сначала круто растёт, а потом выравнивается. Как прокачка в игре: первые уровни берёшь быстро, а каждый следующий требует всё больше опыта. Пример: подтянуть модель с «так себе» до «хорошо» проще, чем с «хорошо» до «почти без ошибок».
Хорошие тексты заканчиваются
Модели уже прочитали огромную часть открытого интернета, а новых качественных текстов от людей появляется не так много. Многие сайты теперь запрещают брать свои тексты для обучения. Плюс в сети всё больше текстов, написанных самим ИИ. Если учиться на них, модель может перенять чужие ошибки, как на схеме. Вывод для тебя: всё, что ты выкладываешь публично, может попасть в обучение.
Английского в данных больше всего
Больше всего текстов в интернете на английском, на других языках их заметно меньше. Поэтому модели часто сильнее в английском, а на других языках хуже ловят нюансы и тратят больше токенов на тот же смысл. Без паники: по-русски они тоже работают хорошо. Но если ответ на сложный вопрос вышел слабым, попробуй задать его по-английски и сравни.
Зачем нужны маленькие модели
Большая модель умнее, но на каждый ответ ей нужно больше расчётов. Значит, она медленнее и каждый её ответ дороже. Маленькие модели быстрые, дешёвые и иногда работают прямо в телефоне, даже без интернета. Например, переводчик в поездке. Помнишь кривую: на простых задачах маленькой часто хватает. Короче: быстрый режим для мелочей, большой для сложного разбора.
Проверь себя
- Что такое параметр модели?
Правильный ответ: Число внутри модели, которое подстраивается при обучении. Параметры: миллиарды чисел, которые модель подкручивает, пока учится. Вместе они хранят выученные шаблоны. - Модель уже большая. Её нарастили ещё по всем трём ингредиентам. Чего ждать?
Правильный ответ: Обычно станет лучше, но прибавка будет скромнее. Масштаб обычно помогает, но кривая выравнивается: каждый следующий шаг даёт меньше, а ошибки не исчезают. - Зачем делают маленькие модели, если большие умнее?
Правильный ответ: Они быстрее, дешевле и могут работать в телефоне. Каждый ответ большой модели требует больше расчётов. Маленькая отвечает быстрее и дешевле, а простым задачам её часто хватает.