让 AI 给 AI 打分
“AI 入门”课程第 22 课，共 23 课。免费，有动画和小测验。
AI 来打分
AI 裁判就是一个专门给别的模型的回答、或者给你写的东西打分的模型。例如：你想应聘暑假在咖啡店打工，写了两版求职信，也就是写给老板的一段自我介绍。你可以让裁判做三件事：按 1 到 5 打分；在 A 和 B 两版里挑更好的一版；或者拿一份参考范文来对照。公司就是这样检查成千上万条回答的，因为比请人来评快得多，也便宜得多。
裁判的三个偏好
裁判并不中立，它有偏好。第一，位置偏好：它更常选排在前面的那个回答。第二，偏爱长文：长回答在它眼里更好，哪怕里面有错。第三，偏爱自己：模型会给和自己风格相似的文字打更高的分。图上那句话就是总结：裁判喜欢排第一的、写得长的回答。这不是故意使坏，而是模型学习方式带来的副作用。
把 A 和 B 换个位置
对付位置偏好有个简单办法：问两次。第一次把 A 放前面，第二次把 B 放前面，最好开一个新对话。两次都选了同一封信？那这个结论更可信。顺序一换，选择也跟着换了？说明裁判其实看不出差别，就当平局。对付偏爱长文，可以直接写“长度不重要”，或者只比较篇幅差不多的文字。
裁判 = 模型 + 提示词
分数不只取决于文字本身，还取决于谁来评、怎么评。换个模型，或者改提示词里的几个字，就等于换了个裁判。就算是同一个裁判，对同一段文字也可能打出不同的分，因为 AI 的回答带有随机性。例如：一个对话里的“7 分（满分 10）”和另一个对话里的“9 分”没法比较。想让分数更稳，就告诉裁判任务是什么、评分标准（按什么评），再给一个 1 到 5 分的量表，写清每一分代表什么。
由无数场对决排出的榜单
模型本身也是这样比较的。给人看同一个问题的两个回答，通常不告诉他们哪个是哪个模型写的，让他们选更好的那个。每次选择就像一场比赛。大量比赛结果汇总起来，就能算出排名，就像国际象棋或网络游戏的积分：赢了强手加分更多。但要注意：投票适合比较口味和风格。一个事实对不对，靠的不是票数，而是核实。
最后拍板的是你
怎么让裁判为你所用。让它按几条清楚的标准点评你的文章，比如：中心思想清楚、有例子、语言通顺。三四条明确的标准，胜过十五条模糊的。让它先说理由，再给分。要比较两个版本？两种顺序都试一遍。说到底：AI 裁判只是第二意见，不是拿着成绩册的老师。事实你自己核对，决定由你来做。
自测一下
- 裁判选了 A。你把顺序一换，它又选了 B。这说明什么？
正确答案: 裁判看不出真正的差别，就当平局. 选择随顺序一起变，说明裁判是被位置影响，而不是在看质量。算平局更公平。 - 为什么不能拿一个对话里的 7 分和另一个对话里的 9 分作比较？
正确答案: 换了提示词或模型，就是换了一个裁判. 裁判等于模型加提示词。改了其中任何一个，标尺就变了；就算是同一个裁判，每次的分也可能不同。 - “投票选更好的回答”最不适合用在哪种问题上？
正确答案: 某个历史事件发生在哪一年. 投票擅长衡量口味和风格。年份要么对要么错，要靠查来源确定，而不是看多数人怎么选。