Токены и окно контекста
Урок 3 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Как текст режут на кусочки
Прежде чем модель прочтёт твоё сообщение, его режет токенизатор: программа, которая делит текст на токены. Токен: кусочек текста, целое слово или его часть, иногда пробел или знак препинания. Каждый токен получает свой номер (id) из словаря модели. Модель видит не буквы, а цепочку этих номеров. Счётчик на картинке показывает, сколько токенов вышло из фразы.
Одно слово, несколько токенов
Частые слова обычно влезают в один токен, а редкие и длинные режутся на части: «нейросетевой» вполне может стать тремя кусками. Тот же смысл на русском, арабском и многих других языках часто занимает больше токенов, чем на английском: словари моделей собирали в основном на английских текстах. Бонус: модели трудно сосчитать буквы в слове, ведь букв она не видит.
Окно контекста
Окно контекста: сколько текста модель видит за один раз. Его меряют в токенах. В окно входит всё сразу: твои сообщения, её ответы, вставленные файлы и скрытые настройки чата. То, что не влезло, для модели просто не существует. Она не листает чат назад, как ты: она видит только то, что сейчас внутри окна, как яркие сообщения на картинке.
Длинный чат теряет начало
Представь чат на неделю про подготовку к экзамену. Когда текста становится больше окна, самые старые сообщения выпадают или сжимаются, как бледные сообщения за рамкой на картинке. Даже внутри окна модель иногда хуже замечает детали из середины длинного текста. Что делать: попроси краткое резюме, начни новый чат, вставь резюме туда и повторяй важные условия.
Почему лимиты считают в токенах
Каждый токен, прочитанный или написанный, стоит модели времени и мощности компьютеров. Поэтому лимиты сообщений, длина ответа и цены у ИИ-сервисов считаются в токенах. Правило на глаз: в английском тексте один токен в среднем около 3/4 слова, в других языках слов на токен обычно меньше. База: лишняя «вода» в промпте съедает и окно, и лимиты, а пользы не даёт.
Проверь себя
- Что такое окно контекста?
Правильный ответ: Сколько токенов модель видит за один раз. Окно контекста: объём текста в токенах, который модель видит сразу. Всё, что за его границей, для неё не существует. - Почему один и тот же смысл на русском часто занимает больше токенов, чем на английском?
Правильный ответ: Словарь токенов собирали в основном на английском. Частые английские куски чаще попадают в словарь целиком, а слова других языков режутся на больше частей. - Чат идёт неделю, и модель забыла условие из первого сообщения. Что разумно сделать?
Правильный ответ: Сделать резюме и продолжить в новом чате. Старые сообщения выпали из окна, и просьба «вспомни» их не вернёт. Резюме в новом чате снова кладёт важное внутрь окна.