Тестирование без самообмана
Урок 11 из 16 курса «Маркетинг 2027: курс с нуля». Бесплатно, с анимациями и тестом.
Идея, которая ждала полгода
В Microsoft Bing один сотрудник предложил простую вещь: сделать заголовок рекламы в поиске длиннее, перенеся туда часть текста из строки ниже. Идею сочли мелкой, и она пролежала в очереди больше полугода. Потом инженер потратил пару дней и запустил тест: половина людей видела старый вариант, половина новый. Через несколько часов система подняла тревогу «слишком хорошо, чтобы быть правдой». Проверили, ошибки нет: изменение дало +12% выручки, по оценке авторов это больше 100 миллионов долларов в год только в США. Этот случай описали в Harvard Business Review в 2017 году. Мораль простая: важность идеи нельзя угадать на глаз. Её можно только проверить.
Большинство идей не работают
В той же статье есть цифра, которая отрезвляет. В Google и Bing положительный результат дают только 10–20% экспериментов. В Microsoft в целом примерно треть идей помогает, треть ничего не меняет, а треть даже вредит. И это компании с огромными командами аналитиков. Почему так? Люди хорошо придумывают объяснения, но плохо предсказывают, как поведут себя тысячи незнакомцев. Для рекламы это значит две вещи. Первая: не расстраивайся, если твой «гениальный» креатив проиграл, это норма. Вторая: без теста ты бы запустил идею, которая вредит, и даже не узнал бы об этом. Поэтому тест — это не бюрократия, а страховка от собственной уверенности.
Один тест — одно отличие
Честный тест устроен так: аудиторию делят на две части, и каждый человек видит только один вариант. Варианты отличаются ровно одной вещью, например хуком в первые секунды. Всё остальное одинаковое: бюджет, оффер, даты, площадка. Зачем такая строгость? Если Ника поменяет сразу хук, цену и музыку и продажи вырастут, она не узнает, что именно сработало, и не сможет повторить успех. А если запустить A в понедельник, а B в пятницу, победит не креатив, а день недели. Поэтому пользуйся встроенными инструментами: в Meta есть раздел A/B-тестов, в Google Ads — эксперименты, в TikTok — сплит-тест. Они сами делят людей так, чтобы группы не пересекались.
Сколько нужно данных
Подбрось монету 10 раз. Вполне может выпасть 7 орлов и 3 решки, хотя монета честная. А на 1000 бросках будет примерно 500 на 500. С рекламой то же самое. Если у варианта A три продажи, а у B пять, это ещё не победа B, а обычный случайный разброс. Чем меньше событий, тем сильнее шум. Что делать на практике? Первое: выбирай метрику, где событий много. Если продаж мало, сравнивай клики в магазин или добавления в корзину. Второе: не останавливай тест, пока каждый вариант не набрал хотя бы несколько десятков таких событий. Третье: смотри, что пишет встроенный инструмент площадки. Meta, например, показывает, насколько вероятно, что победитель снова выиграет, если тест повторить.
Ловушка первого дня
Самая частая ошибка — подглядывать и останавливать тест, как только один вариант вырвался вперёд. В первый день данных мало, и лидер часто случайный. Через неделю разница может исчезнуть или даже развернуться. Поэтому срок теста задают заранее, обычно не меньше недели, чтобы попали и будни, и выходные. Вторая ловушка — слишком красивый результат. Исследователи экспериментов из Microsoft называют это законом Тваймана: если цифра выглядит невероятно хорошей, скорее всего, где-то ошибка. Помнишь Bing? Там сначала искали баг и только потом радовались. Так и ты: если новый креатив вдруг дал в 5 раз больше продаж, проверь пиксель, ссылки и не попала ли скидка только в одну группу.
Журнал тестов: память команды
Один тест — это одна строчка знаний. Десять тестов — уже понимание своей аудитории. Но только если их записывать. Заведи простую таблицу: идея, что меняли, сколько длился тест, итог и решение. Пример ниже выдуманный: Ника проверила хук-вопрос, и разницы не было, идея ушла в архив. Цена в первом кадре сработала лучше, и её добавили во все ролики. Тест «отзыв покупателя против студийной съёмки» ещё идёт. Через пару месяцев такой журнал отвечает на вопросы, на которые раньше спорили часами. И важно: «разницы нет» — тоже результат. Он экономит деньги, потому что ты больше не тратишь время на эту идею.
Сделай сам: первый честный тест
Возьми свой лучший креатив и придумай одну гипотезу по формуле «если X, то Y, потому что Z». Например: «если показать цену в первом кадре, кликов станет больше, потому что люди сразу понимают, по карману ли товар». Сделай вариант B, который отличается только этим. Запусти через встроенный A/B-тест площадки, а не двумя отдельными кампаниями. Заранее запиши срок, минимум неделю, и главную метрику. Не подглядывай раньше срока. В конце внеси итог в журнал, даже если победителя нет. Раз в месяц перечитывай журнал: там появятся закономерности, которые станут твоими правилами.
Проверь себя
- Что делать Нике?
Правильный ответ: Подождать до конца недели, как и планировала. За один день данных мало, и лидер часто случайный. Срок задают заранее и не подглядывают, чтобы неделя охватила будни и выходные. - Какой вывод честный?
Правильный ответ: Данных мало: сравнить клики или собрать больше продаж. Три продажи против пяти — это обычный случайный разброс, как 7 орлов из 10 бросков. Нужно больше событий или метрика, где событий много. - Что не так с этим тестом?
Правильный ответ: Слишком много отличий: непонятно, что сработало. Хук, цена и музыка поменялись разом. Рост есть, но Ника не знает, что его дало, и не сможет повторить. Одно отличие на тест. - Что сделать первым делом?
Правильный ответ: Проверить пиксель, ссылки и скидки в обеих группах. Это закон Тваймана: слишком хороший результат чаще всего означает ошибку. Bing тоже сначала искал баг и только потом радовался.
← Маркировка ИИ и правила площадок Автокампании: Advantage+, PMax, AI Max, Smart+ →