brainax

AI + 你的文档(RAG)

“AI 入门”课程第 15 课,共 23 课。免费,有动画和小测验。

模型没读过你的文件

模型只知道训练文本里有的东西。你的课堂笔记、打工的规章、学校发的 PDF,它都没见过。问它某门课的截止日期,它只能瞎猜。RAG(简单说:先查找,再回答)这样解决:程序先在你的文件里找到相关的那一段,模型再根据这一段回答。图里就是这个过程:提问、搜索、找到的片段、带出处标记的回答。

按意思搜索,而不是按字面

文档会先被切成小段,比如一段一个。每一段都被转换成嵌入(embedding):一串描述意思的数字,就像地图上一个点的坐标。你的问题也变成一个点。搜索会挑出离问题最近的那些点对应的片段。所以“论文什么时候交?”能找到“作业提交截止:五月底”这一段,虽然用词不一样。

找到的内容被放进提示词

接下来,应用会把找到的片段直接放进提示词(prompt,也就是发给模型的请求文字)里,和你的问题放在一起。它还会加一句指令:“只根据这些文字回答,并标明出处”。模型写出回答,并加上像 [1] 这样的标记:表示这个意思来自第几段。这些都在幕后完成,你看到的只是带出处的回答。

编造变少,但不是零

为什么编得少了:模型是在复述眼前的文字,而不是凭记忆回想。为什么不是零:搜索可能找错片段,比如旧版的规定。需要的片段也可能根本不存在,这时模型会自己把空补上。它还可能把两段内容混在一起,或者把表格读错。小技巧:加一句“如果文档里没有答案,就直接说没有”。

你会在哪儿遇到它

和 PDF 聊天:上传一本教材或一份租房合同,然后提问。公司的客服机器人:按公司内部规定回答,而不是凭记忆。AI 搜索:模型先找到网页,再写出带链接的回答。套路都一样:找片段,放进提示词,带出处回答。一句话:RAG 就是在模型回答前塞给它的一张小抄。

有出处?点开看

[1] 这样的标记不是保证。有时链接指向的片段说的是别的事,或者模型复述错了。在重要的一步之前(交作业、签合同、花钱),点开出处,找到那句原话。对得上?很好。找不到?就把这个回答当成猜测,并问模型这句话具体写在哪里。

自测一下

  1. 在模型回答之前,RAG 做了什么?
    正确答案: 从你的文件里找出相关片段,放进提示词. 没有人重新训练模型。程序找出意思相近的片段放进提示词,模型根据它们来回答。
  2. 你问“论文什么时候交?”,却找到了“作业提交截止”这一段。为什么?
    正确答案: 意思相近的文字,嵌入点也靠得近. 嵌入用数字描述意思。说同一件事的问题和段落在地图上挨得很近,即使用词不同。
  3. 文档机器人的回答带着 [1] 标记。做重要决定前该怎么办?
    正确答案: 点开出处 [1],找到那句原话. 搜索可能找错片段,模型也可能复述错。核对出处只要一分钟。

← 让回答符合你要的格式 图片、语音和视频 →