声音和对白
“AI 视频不扑街”课程第 7 课,共 22 课。免费,有动画和小测验。
声音的四层
声音是真实感的一半。没声音的 AI 视频,画面再完美也像死的。电影里的声音分四层:对白、环境音(街道底噪、风声、房间的安静)、音效和拟音(脚步、衣料、撞击),还有音乐。以前这些都要单独做,现在 Veo 3.1、可灵 3.0 和 Seedance 2.0 能跟画面一起生成声音。很方便,但声音也得用文字来导演,不然模型会随便塞点什么进去。这一课我们逐层拆开,决定哪些让模型生成、哪些剪辑时再加。
拟音:有分量的声音
拟音(Foley)这个名字来自环球影业的声音师杰克·弗利。早在有声电影刚出现的年代,他就开始对着画面现场配脚步声和衣服摩擦声。秘诀是同步:声音要正好落在接触的那一刻。脚踩到水泥上,吱的一声;手一抬,卫衣沙沙响。大脑会把声音和动作粘在一起,画面里的人立刻显得更有分量、更真实。所以提示词里要把声音和动作、材质写在一起:不是“脚步声”,而是“球鞋在湿水泥上吱吱响”。材质会告诉模型声音应该是什么样。
台词放进引号
带声音的模型能看懂一个简单格式:谁在说、什么语气,再加上放在引号里的台词。比如:Mira says: “Drop’s live. Grab it before I do.” 最重要的规矩是长度。人每秒大约说 2–3 个英文单词,所以 8 秒的镜头最多塞 20 个词,10–15 个最舒服。台词太长,要么被截断,要么模型开始抢着念。一个镜头只放一句台词、一个说话人,对话用几个镜头拼起来。如果模型自己在画面里加了字幕,就把“subtitles”写进负面提示词。
音乐留到剪辑时加
模型能给镜头配乐,但做广告这是个坑:每个镜头一段不同的旋律,剪到一起音乐就一截一截地断。生成的曲子没法好好卡点剪,版权也常常说不清。专业的做法是:提示词里只写环境音和音效,比如“Audio: street ambience, footsteps, distant traffic”,剪辑时再在上面铺一首曲子。品牌账号可以用 TikTok 的商用音乐库(Commercial Music Library),里面的音乐能合法用在广告里。也可以用自己的曲子,或者有授权的素材库音乐。
对口型和翻译
如果需要一字不差的台词,或者要用你自己的声音,有比直接生成语音更稳的办法:先录音(或用语音合成),再用对口型工具贴到视频上,让嘴型去对声音。翻译也是同样的思路:Higgsfield Translate 能把视频翻成 18 种语言,嘴型也跟着新台词动。米拉的一条视频就这样变成了巴西版、墨西哥版和土耳其版。两条规矩:第一,翻译要让母语者检查,机器翻出来的俚语很容易尬;第二,别人的声音只有拿到本人书面同意才能克隆,自己的声音随便用。
声音写在提示词最后
光线、运镜和声音全搅在一段里,模型就会搞混:噪音可能变成画面,画面也可能变成声音。可靠的顺序是:先写镜头和动作,再写运镜,然后是光线和色调,最后一行写声音,前面标上“Audio:”。Veo 官方的提示词示例也是这么做的:声音单独写。这个顺序对你自己也方便:音频那一行很好找,改声音不用动画面。看看图里米拉的提示词:四个模块,各管各的。
给静音观众加字幕
大部分人刷视频是在地铁上、课堂上、半夜里,也就是静音刷。早在 2016 年,Digiday 就报道过:Facebook 上多达 85% 的视频是静音观看的。如果片子的意思全靠一句台词,不加字幕就没人看得懂。字幕要在剪辑时加,别让模型生成,不然出来的是乱码。字要大,1–2 行,放在屏幕中间。TikTok 和 Reels 的底部和右侧会被文案、按钮和音乐名挡住,字幕放那里就看不见了。
自测一下
- 米拉在 8 秒的镜头里塞了 40 个词的台词,模型念得飞快还被截断了。怎么办?
正确答案: 删到 10–15 个词,或者拆成两个镜头. 人每秒说 2–3 个词,8 秒舒服地放 10–15 个词,剩下的放到下一个镜头。 - 五个镜头的广告里,模型每个镜头都生成了不同的音乐,一剪就断。正确做法是?
正确答案: 提示词里只留环境音和音效,剪辑时铺一首有授权的曲子. 一首曲子贯穿全片,能卡点剪,有授权也就没有版权问题。 - 米拉想用朋友莲娜的声音做英文版,莲娜正在度假。该怎么做?
正确答案: 先联系莲娜拿到书面同意,在那之前用自己的声音或合成音. 声音是一个人身份的一部分。拿去做广告,必须有本人明确同意,最好是书面的。 - 米拉视频的字幕放在最底下,在 Reels 里被文案挡住了。该改什么?
正确答案: 把字号大的字幕挪到屏幕中间,远离右侧. 屏幕中间没有界面遮挡,字大,划得再快也看得清。