聊天机器人是怎么练成的：3 个阶段
“AI 入门”课程第 7 课，共 23 课。免费，有动画和小测验。
变成聊天机器人的三步
聊天机器人不是生来就是个有礼貌的助手，它要经过三个阶段。第一，预训练：模型读海量文字。第二，用例子微调：教它怎么完成请求。第三，人类打分：教它用人们喜欢的方式回答。听着吓人，其实很简单。我们一个一个来看。
第 1 步：预训练
预训练：模型读一大堆文字（书、网站、代码），学着猜下一个词元，也就是下一小块文字。这是最耗时、最花钱的一步。结果得到一个基础模型：它特别会接着往下写，但不会回答问题。例如：看到“怎么准备考试？”，它可能接着再写五个问题，就像论坛上的一串提问。
第 2 步：用例子微调
接下来要对模型做微调，就是用一份更小但更精细的数据继续训练它。这些数据是一对一对的“请求 → 好回答”，由人来写或挑选。例如：“帮我做一个月的考试复习计划”，旁边配一份按周排好的清晰计划。看多了这样的例子，模型就明白了：问题要回答，任务要完成。
第 3 步：人类打分
然后，人们会看到模型对同一个问题给出的两个回答，并选出更好的那个：点赞或点踩。从大量这样的选择中，模型学会了人们喜欢什么样的回答：清楚、礼貌、安全。这一步叫 RLHF，也就是基于人类反馈的强化学习。简单说：人们会选的回答，模型就得“加分”。
为什么机器人会讨好你
人们更容易给礼貌、顺着自己的回答点赞。所以模型学会了讨人喜欢。坏处也随之而来：它可能变成“马屁精”，也就是太容易附和你。例如：你信誓旦旦地说，在太空用肉眼能看到长城。机器人可能就让步了，尽管这只是个谣传。这不是程序漏洞，而是训练带来的副作用。
怎么避开这个坑
别暗示机器人你想听什么。与其问“我的作文写得很好吧？”，不如说“找出我作文里的三个弱点”。直接要求它说实话：“如果我错了，别附和我”。要是你一说“你错了”它就立刻改口，就让它解释原因，再自己核实。一句话：机器人同意你，不等于你是对的。
自测一下
- 模型在预训练阶段做什么？
正确答案: 在海量文字上学着猜下一个词元. 预训练就是读海量文字、猜下一小块。好回答的例子和人类的选择，是后面两步的事。 - 为什么要给人看模型的两个回答，让他们选更好的？
正确答案: 让模型学会用人们喜欢的方式回答. 这是第三步 RLHF：模型从人们的选择中学到他们喜欢什么样的回答。 - 你对机器人说“你错了”，它马上就同意了。明智的做法是？
正确答案: 让它解释原因，再自己核实. 经过人类打分训练后，机器人容易附和。第一个和第二个回答都不算证据，得自己核实。