怎么判断 AI 好不好用
“AI 入门”课程第 9 课，共 23 课。免费，有动画和小测验。
用新题来考
公平地考一个模型，要用它训练时没见过的例子。这就像正式考试，而不是你已经做过的课本练习。图上：模型在训练例子上得了 100%，在新例子上只有 70%。百分比指答对的比例，数字只是举例。要信第二个数：它说明模型在真实场景里表现如何。
过拟合：背下来了，但没学懂
过拟合：模型把训练例子记得太死，一碰到新例子就懵了。就像有个同学把练习册答案全背下来，考试时同一道题换了数字就不会做。所以，课本成绩和考试成绩差距很大，是个危险信号。好的模型抓住的是通用规律，而不是死记具体答案。
准确率也会骗人
准确率：答对的比例。听着很靠谱，但有个陷阱。例如：你在一家网上球鞋店兼职，用 AI 给顾客邮件分类。100 封邮件里，95 封是普通咨询，5 封是投诉。一个把所有邮件都归为“咨询”的 AI，100 封里对了 95 封，准确率 95%。可它一封投诉都没找出来。要看 AI 怎么处理那些少见但重要的情况。
排行榜考的不是你的事
各家公司爱晒基准测试成绩。基准测试（benchmark）就是一套公用的测试题，比如数学题或编程题，用来比较不同模型。这有参考价值，但里面没有你的任务。一个奥数满分的模型，照样可能把你店里的尺码和退货规则搞混。剧透：排行榜第一，不等于最适合你。
你自己的小考试
从你自己的任务里收集 5–10 个真实例子，起步够用了。比如真实的顾客邮件：一封普通咨询、一封投诉、一封满是网络用语的、一封错字连篇的。每个例子都写下你认为正确的答案。然后交给 AI 跑一遍，对照结果。这就是你的考试：模型哪里出错一目了然，比任何排行榜都实在。
并排比一比
想知道哪个提示词或哪个模型更好？把小考试里同样的例子交给两边，再把回答并排放在一起。用一张简单的清单打分：对不对、切不切题、语气合不合适。每次只改一个地方，不然你搞不清是哪处起了作用。还要记住：每次的回答都会有点不同，所以每个例子多跑两遍。
自测一下
- 模型在训练例子上表现很好，在新例子上却很差。这叫什么？
正确答案: 过拟合. 过拟合：模型死记了训练例子，没学到通用规律，所以碰到新例子就出错。 - 某 AI 准确率 95%，可 100 封邮件里的 5 封投诉一封都没找到。怎么回事？
正确答案: 投诉很少，它把所有邮件都当成普通咨询. 它把 95 封普通邮件都分对了，这就已经是 100 封里对 95 封。准确率掩盖了它在少见但重要情况上的失败。 - 给自己的任务挑 AI，最好的办法是？
正确答案: 用自己的 5–10 个真实例子测一测. 排行榜考的是通用任务，不是你的任务。你自己的小考试能马上看出模型在你这里错在哪。