动作控制和重量测试
“AI 视频不扑街”课程第 12 课,共 22 课。免费,有动画和小测验。
从视频里拿动作
这一级里我们用文字描述的所有东西,都可以直接用真人视频交给模型,这就是动作控制(motion control):你给三个输入。参考视频决定动作和节奏;图片决定角色,也就是谁来动;提示词描述场景、光线和风格。按可灵(Kling)官方指南,这个模式下提示词不要再描述一遍动作:动作已经在视频里了,文字只会和它打架。它厉害在哪?参考视频里的真人本来就带着正确的重量、预备和弧线在动,模型会把这套物理搬到你的角色身上。用文字写不清的复杂舞蹈,拍一条就解决了。
好的参考视频
动作控制的效果,最取决于参考视频,所以要按可灵指南的规矩拍。3–30 秒,一条不中断的镜头:剪辑和运镜都会让系统糊涂。画面里只有一个人;有好几个人,模型会挑最大的那个。整个身体和头都要入画,边上留点余量,别把手切掉。动作速度适中、幅度大,别满画面跑:太快太复杂的动作迁移效果很差。背景干净、反差清楚,手脚才好识别。米拉都是用手机架在三脚架上,对着白墙拍参考视频:不花钱,效果比任何好看的片段都好。
构图要一致
新手最常犯的错:一张好看的脸部特写,配一段全身舞蹈。图片里没有身体,模型只能自己编手编脚,脸也跟着变形。可灵指南明确提醒:视频是全身,图片也必须是全身。角度也一样:参考视频里人是侧身四分之三,图片却是正脸,就会抖动、比例“漂移”。上传之前,把图片和视频第一帧并排放在一起比一比:景别一样、角度一样、全身都看得见。
两种朝向模式
可灵的动作控制有两种模式。“跟视频”是默认:动作、表情、运镜和身体朝向都照着参考视频,提示词只能微调细节。参考视频是你自己拍的、整体都满意,就选它。“跟图片”从视频里拿动作和表情,但姿势和身体朝向保持图片里的样子,运镜在提示词里写。手里有一张完美的角色图,比如米拉侧身四分之三站在橱窗前,不想破坏它,就用这个。拿同一个草稿两种都试一下,区别一眼就能看出来。
开源:Wan-Animate-2
想要完全掌控、又不想每次生成都花钱,可以走开源路线。Wan-Animate-2 于 2026 年 8 月发布,采用 Apache-2.0 许可证,允许商用。它能让图片里的角色照着视频里的动作动起来:先从参考视频里提取姿态骨架,再让角色跟着骨架动。它在 ComfyUI 里运行,这是个免费软件,流程像搭积木一样用节点拼起来。你需要一块强力显卡,或者一台带 GPU 的云服务器。缺点是门槛高:配置要花一个晚上,不是一分钟。优点是不花积分、用自己的硬件、所有参数都能自己调。
这是谁的动作?
动作控制迁移任何视频都太容易了,难免想把别的博主的爆款舞蹈拿来“套”在自己的模特身上。做广告,这是个坏主意。别人的视频就是别人的内容,公开能看到,不代表你能用在商业视频里。原作者可以向平台投诉,对品牌来说就是名声受损。安全的做法:用三脚架拍自己或朋友,用有授权的素材库视频,或者和原作者签书面协议。别人的脸和声音怎么处理,我们在“发布”那一级详细讲。
重量测试
这一级的收尾是一张把所有内容串起来的检查清单。发布前,每个有人的镜头都过一遍:重心在支撑面里,负重会改变姿势;脚不打滑,膝盖缓冲走路和跳跃;有预备、有弧线,衣料和头发有跟随;世界有回应:灰尘、声音、影子,痕迹会留下;而且这一切都是用 0.25 倍速逐帧查过的,不是凭感觉看的。五条都过了,观众会说“这是实拍的”,哪怕说不出为什么;没过,你也清楚下一轮该改哪一处。下面用几个场景巩固一下。
自测一下
- 做动作控制时,米拉上传了一张脸部特写自拍和一段全身舞蹈视频,结果手脚很怪,脸也在变形。为什么?
正确答案: 构图不一致:全身舞蹈需要全身图片. 图片里没有身体,模型只能自己编。可灵指南明确要求构图一致。 - 米拉的参考视频是手持拍的,还剪了两刀,迁移出来的动作在抖。怎么办?
正确答案: 用三脚架重拍一条不中断的镜头. 剪辑和运镜都会让系统糊涂,稳定、不中断的一条是对参考视频最基本的要求。 - 米拉在动作控制的提示词里又把舞蹈详细写了一遍,结果动作更差了。提示词该写什么?
正确答案: 写场景、光线和风格,动作交给视频. 动作已经在参考视频里了,文字再写动作只会和它打架。提示词负责周围的世界:地点、光线、服装、风格。 - 米拉找到别的博主的一支爆款舞,想迁移到模特身上做上新广告。正确做法是?
正确答案: 自己拍参考视频,或者和原作者签书面协议. 别人的视频就是别人的内容。商业视频要用自己的素材,或者拿到明确授权。