Картинки, голос, видео
Урок 16 из 23 курса «ИИ: курс с нуля». Бесплатно, с анимациями и тестом.
ИИ, который видит и слышит
Многие модели работают не только с текстом. Их называют мультимодальными: «модальность» значит вид данных, например текст, картинка или звук. На схеме четыре направления: картинка в текст, текст в картинку, голос в текст, текст в голос. Пример: ты в поездке, фоткаешь меню на незнакомом языке и спрашиваешь, что тут без мяса. Видео для модели обычно это много кадров-картинок плюс звук.
Как модель «смотрит» на фото
Звучит как магия, на деле просто. Картинку режут на маленькие квадратики (их называют патчами), каждый превращают в набор чисел, и модель обрабатывает их так же, как токены, то есть кусочки текста. Поэтому она может описать фото, прочитать вывеску или объяснить график со слайда. В примере с меню: модель видит текст на фото, переводит его и отвечает на твой вопрос.
Текст в картинку, голос туда-обратно
Генератор картинок не ищет готовое фото: он рисует новое по твоему описанию. Пример: «афиша для вечеринки в стиле пиксельной игры». Голосовой помощник часто работает цепочкой: распознаёт речь в текст, модель пишет ответ, синтез речи читает его вслух. Некоторые модели работают со звуком напрямую, но смысл тот же: звук в числа, числа в ответ.
Смотрит не как человек
Модель угадывает правдоподобное, а не проверяет, поэтому ошибается предсказуемо. Типичные ляпы генераторов: буквы на картинке превращаются в кашу, у людей лишние или кривые пальцы. При разборе фото: неверно считает предметы (сколько людей в кадре), путает мелкий или размытый текст, уверенно описывает то, чего на фото нет. Важное на картинке всегда проверяй своими глазами.
Дипфейки: как не попасться
Дипфейк: фото, видео или голос, сделанные ИИ так, чтобы выглядеть как настоящий человек. Голос можно подделать по записям из соцсетей. Пример: голосовое от «брата»: «срочно скинь денег, потом объясню». Правило: срочность плюс деньги значит стоп. Перезвони на номер, который знаешь сам, задай вопрос, ответ на который знает только он. Для фото найди первоисточник через поиск по картинке.
Проверь себя
- Как мультимодальная модель разбирает фото?
Правильный ответ: Режет его на квадратики и превращает их в числа, как токены. Картинка делится на патчи, и каждый становится набором чисел. Дальше модель работает с ними так же, как с кусочками текста. - Где модели с картинками ошибаются чаще всего?
Правильный ответ: Буквы на картинке, пальцы рук, подсчёт предметов. Модель рисует и описывает правдоподобное, а не проверяет детали. Поэтому текст, пальцы и точный счёт её слабые места. - Голосовое от «брата»: срочно скинь денег. Голос похож. Что делать?
Правильный ответ: Перезвонить ему на знакомый номер и проверить. Голос можно подделать, и второе голосовое тоже. Проверка через другой канал, например звонок на знакомый номер, ломает схему.