图片、语音和视频

“AI 入门”课程第 16 课，共 23 课。免费，有动画和小测验。

能看也能听的 AI

很多模型不只处理文字，它们叫多模态模型：“模态”就是数据的种类，比如文字、图片或声音。图上有四个方向：图片转文字、文字转图片、语音转文字、文字转语音。例如：你在旅行，拍下一张看不懂的外语菜单，问哪些菜不含肉。对模型来说，视频通常就是很多帧图片再加上声音。

模型怎么“看”照片

听着像魔法，其实很简单。图片被切成很多小方块（叫作图块，patch），每个小方块变成一组数字，模型像处理词元（也就是一小块文字）一样处理它们。所以它能描述照片、读出招牌上的字，或解释幻灯片上的图表。在菜单的例子里：模型看到照片里的文字，翻译出来，再回答你的问题。

文字变图片，语音双向转换

图片生成器不是去找现成的照片，而是按你的描述画一张新的。例如：“像素游戏风格的派对海报”。语音助手常常是一条链：语音识别把你的话转成文字，模型写出回复，语音合成再把它读出来。有些模型能直接处理声音，但道理一样：声音变数字，数字变回答。

它看东西的方式和人不同

模型是在猜“看起来合理”的东西，而不是去核实，所以它的错误很有规律。生成图片时的常见翻车：图里的文字变成乱码，人多出或长歪手指。识别照片时：数错东西（画面里有几个人），认错很小或模糊的字，还会很自信地描述照片里根本没有的东西。图片里重要的内容，一定要用自己的眼睛再看一遍。

深度伪造：怎么不上当

深度伪造（deepfake）是 AI 做出的照片、视频或声音，看起来像真人。用社交媒体上的录音就能仿出一个人的声音。例如：“哥哥”发来语音：“快给我转钱，回头再解释”。规则：着急加要钱，就先停下。用你自己知道的号码打回去，问一个只有他本人才知道答案的问题。照片的话，用以图搜图找到最早的来源。

自测一下

1. 多模态模型是怎么处理照片的？
   正确答案: 切成小方块，像词元一样变成数字. 图片被切成图块，每块变成一组数字。之后模型像处理文字片段一样处理它们。
2. 处理图片的模型最常在哪儿出错？
   正确答案: 图中文字、手指、数物体的数量. 模型画出和描述的是“看起来合理”的东西，不核对细节。所以文字、手指和精确计数是它的弱项。
3. “哥哥”发来语音：快转钱。声音很像。怎么办？
   正确答案: 打他你知道的号码核实一下. 声音能伪造，第二条语音也一样。换个渠道核实，比如打你知道的号码，就能拆穿骗局。

← AI + 你的文档（RAG） 智能体：会动手做事的 AI →