Звук и речь
Урок 7 из 22 курса «ИИ-видео без кринжа: курс с нуля». Бесплатно, с анимациями и тестом.
Четыре слоя звука
Звук — половина реализма. Беззвучный ИИ-ролик ощущается мёртвым, даже если картинка идеальна. В кино звук собирают из четырёх слоёв: речь, атмосфера (гул улицы, ветер, тишина комнаты), шумы и фоли (шаги, ткань, удары) и музыка. Раньше всё это делали отдельно, а сейчас Veo 3.1, Kling 3.0 и Seedance 2.0 генерируют звук вместе с картинкой. Это удобно, но звук тоже надо режиссировать словами, иначе модель подложит что-то случайное. В этом уроке разберём каждый слой и решим, что генерировать, а что добавлять на монтаже.
Фоли: звук, у которого есть вес
Фоли назван в честь Джека Фоли, звукорежиссёра Universal, который ещё в эпоху раннего звукового кино начал озвучивать шаги и шорох одежды прямо под изображение. Секрет в синхроне: звук случается ровно в момент контакта. Нога касается бетона — скрип. Рука поднимается — шорох худи. Мозг склеивает звук и движение, и тело в кадре сразу кажется тяжелее и реальнее. Поэтому в промпте пиши звук вместе с действием и материалом: не «шаги», а «кроссовки скрипят по мокрому бетону». Материал подсказывает модели, каким должен быть звук.
Реплика в кавычках
Модели со звуком понимают простой формат: кто говорит, каким тоном и сама фраза в кавычках. Например: Mira says: “Drop’s live. Grab it before I do.” Главное правило — длина. Человек говорит примерно 2–3 слова в секунду, значит, в 8-секундный шот влезает до 20 слов, а комфортно 10–15. Длинная реплика либо обрежется, либо модель начнёт тараторить. Одна реплика и один говорящий на шот, а диалог собирай из нескольких шотов. Если модель сама рисует субтитры прямо в кадре, добавь слово «subtitles» в negative prompt.
Музыка — на монтаже
Модель может сочинить музыку под шот, но для рекламы это ловушка. В каждом шоте будет своя мелодия, и на стыках музыка будет обрываться. Сгенерированный трек нельзя нормально порезать по битам, а с правами на него часто непонятно. Профи делают так: в промпте описывают только атмосферу и шумы, например «Audio: street ambience, footsteps, distant traffic», а один трек кладут сверху уже на монтаже. Для брендов у TikTok есть Commercial Music Library — музыка, которую можно законно ставить в рекламу. Ещё варианты — свой трек или сток с лицензией.
Липсинк и перевод
Если нужна точная фраза или твой собственный голос, есть путь надёжнее генерации речи: записать голос (или синтезировать) и наложить на видео через липсинк, тогда губы подстроятся под звук. Тот же приём делает переводы: Higgsfield Translate переводит ролик на 18 языков и двигает губы под новый текст. Так один ролик Миры превращается в версии для Бразилии, Мексики и Турции. Два правила. Первое: перевод проверяет носитель языка, потому что машинный сленг легко звучит кринжово. Второе: чужой голос клонируем только с письменного согласия владельца. Свой — пожалуйста.
Звук в конце промпта
Когда в одном абзаце перемешаны свет, камера и звуки, модель путается: шум может стать картинкой, а картинка — звуком. Надёжный порядок такой: сначала кадр и действие, потом камера, потом свет и цвет, и последней строкой — звук с пометкой «Audio:». Так делают и в официальных примерах промптов к Veo: звук выносят отдельно. Плюс у такого порядка есть и для тебя: аудио-строку легко найти и поменять, не трогая картинку. Посмотри на промпт Миры на схеме: четыре блока, каждый про своё.
Субтитры для тех, кто без звука
Большая часть ленты листается в метро, на паре и ночью, то есть без звука. Ещё в 2016 году Digiday писал, что до 85% видео в Facebook смотрят с выключенным звуком. Если смысл ролика держится на реплике, без субтитров его просто не поймут. Субтитры делай на монтаже, а не генерацией: модель нарисует каракули. Ставь их крупно, в 1–2 строки, в середину экрана. Низ и правый край в TikTok и Reels закрыты подписью, кнопками и названием музыки, поэтому там текст теряется.
Проверь себя
- Мира вписала в 8-секундный шот реплику на 40 слов. Модель тараторит и обрывает фразу. Что делать?
Правильный ответ: Сократить до 10–15 слов или разбить на два шота. Человек говорит 2–3 слова в секунду, значит, в 8 секунд комфортно влезает 10–15 слов. Остальное — в следующий шот. - В рекламе из пяти шотов модель в каждом сгенерировала свою музыку. На стыках мелодия рвётся. Как правильно?
Правильный ответ: В промптах оставить только атмосферу и шумы, а один лицензированный трек положить на монтаже. Один трек сверху связывает ролик и даёт резать по битам, а лицензия снимает вопрос с правами. - Мира хочет английскую версию ролика голосом подруги Лены. Лена сейчас в отпуске. Как поступить?
Правильный ответ: Написать Лене и получить письменное согласие, а до тех пор взять свой голос или синтез. Голос — часть личности. Клонировать его для рекламы можно только с явного согласия владельца, и лучше письменного. - Субтитры в ролике Миры стоят внизу экрана, и в Reels их закрывает подпись. Что поменять?
Правильный ответ: Поднять крупные субтитры в середину экрана, подальше от правого края. Середина экрана свободна от интерфейса, а крупный текст читается даже на бегу.