不自欺的测试
“2027 营销”课程第 11 课，共 16 课。免费，有动画和小测验。
等了半年的点子
在微软 Bing，一位员工提了个简单的点子：把下一行的部分文字挪到搜索广告标题里，让标题变长。大家觉得这事太小，它在待办队列里躺了半年多。后来一位工程师花了几天上线测试：一半人看旧版，一半人看新版。几小时内系统就报警：“好得不像真的”。检查后发现没有 bug：这个改动让收入涨了 12%，作者估算仅在美国一年就超过 1 亿美元。这个案例 2017 年发表在《哈佛商业评论》上。道理很简单：一个点子值多少，靠眼睛猜不出来，只能靠测试。
大多数点子都不灵
同一篇文章里还有个让人清醒的数字：在 Google 和 Bing，只有 10–20% 的实验结果是正面的。在微软整体，大约三分之一的点子有用，三分之一没变化，还有三分之一反而有害。而这些公司都有庞大的分析团队。为什么？人很擅长编解释，却不擅长预测成千上万个陌生人会怎么做。放到广告上意味着两点。第一：你的“天才”素材输了别难过，这很正常。第二：不测试的话，你可能已经上线了一个有害的点子，还浑然不知。所以测试不是走流程，而是给自己的自信上保险。
一次测试，只改一处
诚实的测试是这样的：把受众分成两半，每个人只看到一个版本。两个版本只差一处，比如前几秒的钩子。其他全部相同：预算、优惠、日期、平台。为什么要这么严格？如果妮卡同时改了钩子、价格和音乐，销量涨了，她也不知道到底是哪个起了作用，更没法复制成功。如果 A 周一投、B 周五投，赢的就不是素材，而是星期几。所以要用平台自带的工具：Meta 有 A/B 测试，Google Ads 有实验功能，TikTok 有拆分测试。它们会把人分开，保证两组不重叠。
需要多少数据
抛 10 次硬币，完全可能 7 次正面、3 次反面，哪怕硬币是公平的。抛 1000 次，就会接近 500 比 500。广告也一样。如果 A 版本有 3 单、B 版本有 5 单，这还不算 B 赢，只是普通的随机波动。事件越少，噪音越大。实际怎么做？第一：选事件多的指标。订单太少，就比进店点击或加购。第二：每个版本至少攒到几十个这类事件之前，别停测试。第三：看平台自带工具怎么说。比如 Meta 会显示：如果重做一次测试，这个赢家再赢的可能性有多大。
第一天的陷阱
最常见的错误是偷看结果，一看到某个版本领先就停掉测试。第一天数据很少，领先者往往只是运气。一周后差距可能消失，甚至反转。所以测试时长要提前定好，通常至少一周，让工作日和周末都覆盖到。第二个陷阱是结果好看得过分。微软做实验的研究者把它叫作特怀曼定律：一个数字好得难以置信，多半是哪里出了错。还记得 Bing 吗？他们先找 bug，确认没问题才庆祝。你也一样：如果新素材突然带来 5 倍销量，先检查像素、链接，以及折扣是不是只发给了其中一组。
测试日志：团队的记忆
一次测试是一行知识。十次测试，就是对受众的真正了解，但前提是你要记下来。建一张简单的表：点子、改了什么、测了多久、结果和决定。下面是虚构的例子：妮卡测了提问式钩子，没差别，点子归档；首帧放价格效果更好，于是加进了所有视频；“买家评价 vs 棚拍”的测试还在跑。几个月后，这份日志能回答过去要吵好几个小时的问题。记住：“没差别”也是结果。它帮你省钱，因为你不会再在这个点子上浪费时间。
自己动手：第一次诚实的测试
拿出你最好的素材，按“如果 X，就会 Y，因为 Z”写一个假设。比如：“如果首帧就显示价格，点击会变多，因为大家一眼就知道买不买得起。”做一个只改这一处的 B 版本。用平台自带的 A/B 测试来跑，而不是开两个独立广告系列。提前写好时长（至少一周）和主要指标。到期前别偷看。结束后把结果记进日志，哪怕没有赢家。每月重读一次日志：你会发现规律，它们会变成你自己的规则。
自测一下
- 妮卡该怎么做？
正确答案: 按计划等到周末结束. 一天的数据太少，领先者往往只是运气。时长要提前定好、不偷看，让一周覆盖工作日和周末。 - 哪个结论是诚实的？
正确答案: 数据太少：改比点击，或攒更多订单. 3 单对 5 单只是普通随机波动，就像 10 次抛硬币出 7 次正面。需要更多事件，或换一个事件多的指标。 - 这个测试哪里不对？
正确答案: 改动太多：搞不清是哪个起作用. 钩子、价格、音乐一起改了。销量是涨了，但妮卡不知道原因，也没法复制。一次测试只改一处。 - 第一步该做什么？
正确答案: 检查两组的像素、链接和折扣. 这就是特怀曼定律：好得过分的结果，多半是出了错。Bing 也是先找 bug 再庆祝。