模型为什么这么大
“AI 入门”课程第 21 课，共 23 课。免费，有动画和小测验。
参数：一个调节旋钮
模型内部有几十亿个数字，每一个叫作一个参数。训练时，模型读文字、猜下一个词，猜错了就把参数微微调一下，就像 DJ 调音台上的旋钮。单个旋钮本身没有意义，但合在一起，就存下了它学到的语言规律。旋钮越多，越有空间学会细微的东西，比如反讽或文风。
大模型的三种原料
模型的规模靠三样东西撑起来。参数：它有多少个旋钮。数据：它读了多少文字，用词元来算，就是那些小块文字。算力：训练时做了多少计算，也就是用了多少芯片、跑了多久。这意味着成千上万块强力芯片、大量电力和巨额资金。只有一样不够：参数很多但数据很少的模型，照样很弱。
每一步收获更少
三样原料都加大，模型通常会变好。这种规律叫作缩放定律。但图上的曲线先陡峭上升，然后逐渐变平。就像游戏升级：前几级升得很快，之后每升一级都要越来越多的经验值。例如：把模型从“一般”提到“不错”，比从“不错”提到“几乎不出错”容易得多。
好文字快不够用了
模型已经读过开放互联网的很大一部分，而人类新写出的优质文字增长没那么快。很多网站现在禁止拿自己的内容去训练。再加上网上由 AI 自己写的文字越来越多。模型如果拿这些来学，可能会把别人的错误一起学走，就像图上那样。对你来说：你公开发布的任何内容，都可能被拿去训练。
数据里英语最多
互联网上的文字大多是英文，其他语言要少得多。所以模型往往英文最强，用其他语言时，细微之处抓得少一些，表达同样的意思也要花更多词元。别慌：用中文它们也挺好用。但如果难题的回答不太行，可以试着用英文再问一次，对比一下。
为什么还要小模型
大模型更聪明，但每个回答都要做更多计算。也就是说，它更慢，每个回答也更贵。小模型又快又便宜，有时能直接在手机上运行，甚至不用联网，比如旅行时用的翻译。还记得那条曲线吗：简单任务用小模型往往就够了。一句话：小事用快速模式，难题再用大模型。
自测一下
- 模型的参数是什么？
正确答案: 模型内部在训练中被调整的一个数字. 参数是模型在学习过程中不断微调的几十亿个数字，合在一起存下了学到的规律。 - 模型已经很大，三种原料又都加大了。会怎样？
正确答案: 通常会变好，但提升幅度更小. 扩大规模通常有用，但曲线会变平：后面每一步的收获更少，错误也不会消失。 - 大模型更聪明，为什么还要做小模型？
正确答案: 更快、更便宜，还能在手机上运行. 大模型的每个回答都需要更多计算。小模型回答更快更便宜，简单任务往往够用。