问三次,挑最好的
“AI 入门”课程第 23 课,共 23 课。免费,有动画和小测验。
同一个问题,不同的回答
还记得温度吗?模型按概率抽取词语,所以同一个问题可能得到不同的回答。这叫做不一致。还有更糟的情况:措辞稍微一变,比如换个词序,回答就会大变。想点子时这是好事。可如果你需要一个确定的结果,比如明天要交的代数作业答案,这就成了问题。
在回答上多花点力气
不换更大的模型,也能得到更好的回答:在回答的那一刻多花点计算,一次要好几个版本,而不是一个。这叫“回答时计算”(test-time compute)。最简单的做法是 N 选优:试 N 次,留下最好的那个。挑选的可以是你自己、一个简单的检查,或者 AI 裁判。缺点是:试 3 次,时间和费用大约是 3 倍。
投票:看哪里一致
对只有一个准确答案的题,还有更简单的办法:多数投票。看图:同一道题,试了三次,答案分别是 42、42 和 38(数字仅为举例)。三次里有两次一致,就取 42。道理是:随机出的错通常每次都不一样,而正确的解法往往会得出同一个数。适合数学题、选择题、从文字里找出某个数字。作文没什么可投票的,那就挑最好的一篇。
“思考”模式也是这个思路
在“分步思考”那课里讲过的推理模型,也会在回答前多花力气。它们先打草稿,尝试几种不同的解法,自我检查,然后才回答。本质是同一个思路:在回答时多干活,而不是换更大的模型。所以它们更慢,也更贵。难题或做计划时再开这个模式,问“日语的谢谢怎么说”就没必要了。
瞎编是怎么来的
AI 为什么会“幻觉”,也就是一本正经地写出假内容?模型只是顺着文字往下写得像那么回事,而且它不一定分得清哪些是它知道的、哪些是它猜的。它已经写出来的东西,它自己也当成事实来读。例如:第一句就把一本书的作者弄错了,接着又编出这个人的生平,好让前后说得通。这叫滚雪球:一个错误的猜测会带出更多错误。
一致不等于正确
重要的数字和事实,可以这样做:问 2 到 3 次。重新生成回答,或者开一个新对话,这样历史记录里的旧错误不会带出新错误。回答对不上?这是危险信号:模型没把握,去查可靠的来源。回答一致?出错的几率更低,但不是零:模型可能三次都重复同一个常见错误。说到底:一致只是线索,证据要靠来源。
自测一下
- 三次尝试得到 42、42 和 38。多数投票会选哪个?
正确答案: 42,因为三次里有两次是这个答案. 多数投票取大多数尝试一致的答案:3 次里有 2 次是 42。正确答案只有一个时,取平均数没有意义。 - 为什么复查一个事实时,最好开个新对话?
正确答案: 历史记录里的旧错误不会影响新回答. 模型会把对话里已有的内容都当成事实。新对话里没有它之前的错误,所以检查更公正。 - 模型对一个重要问题连续三次给出同样的答案。哪种说法对?
正确答案: 出错可能性更小,但仍应核实. 一致会提高答案正确的可能性,但模型也可能稳定地重复一个常见错误。证据要靠来源。