Как думает нейросеть
Урок 2 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
Угадывает следующее слово
Нейросеть: программа, которая научилась на примерах, а не по готовым правилам. ChatGPT и Claude это языковые модели, то есть нейросети для текста. Они пишут ответ по кусочку: каждый раз выбирают самое подходящее продолжение. Пример: после «Биткоин часто называют цифровым…» модель скорее выберет «золото», чем «пицца». И так слово за словом.
Токен: кусочек текста
Модель работает не с буквами и не всегда с целыми словами, а с токенами. Токен: кусочек текста. Это может быть короткое слово, часть длинного слова или знак препинания. Длинное слово часто делится на несколько токенов. Ловушка тут в названии: это не крипто-токен и не деньги, а просто единица текста. Платные ИИ-сервисы считают в токенах длину чата и цену.
Училась на горах текста
До запуска модель прошла обучение: прочитала огромное количество книг, сайтов и кода. Страницы целиком она не хранит. Она выучила шаблоны: как люди обычно продолжают мысль, как пишут письма, как устроен код. Поэтому пишет она гладко. Но это не библиотека с точными цитатами, так что дословно пересказать источник она может с ошибками.
Знания с датой
Обучение когда-то заканчивается, и после этого модель сама ничего нового не узнаёт. Эту границу называют датой среза знаний. О событиях позже неё модель может не знать или выдумать ответ. Некоторые чат-боты умеют искать в интернете, но не всегда это делают и не всегда находят верное. Короче: свежие новости, курсы валют и цены проверяй сам.
Не поисковик и не человек
Модель подбирает правдоподобный ответ. Она не достаёт его из базы и сама не сверяется с источником. Поэтому она может звучать уверенно и при этом ошибаться. Пример: спроси, сколько лун у Марса, и уверенный ответ может оказаться неверным. Правильно: две, Фобос и Деймос. База: уверенно не значит правильно. Важное всегда проверяй.
Проверь себя
- Что модель делает, когда пишет ответ?
Правильный ответ: Выбирает подходящий следующий кусочек текста. Ответ собирается по кусочкам, токен за токеном. Готовых ответов в модели нет, есть выученные шаблоны. - Что такое токен в языковой модели?
Правильный ответ: Слово или кусочек слова. Токен тут это единица текста: слово, часть слова или знак. С крипто-токенами не путай. - Ответ звучит очень уверенно. Что это значит?
Правильный ответ: Его всё равно стоит проверить. Уверенный тон ничего не говорит о точности. Модель подбирает правдоподобное, поэтому важное проверяй.