Testar sem se enganar

Aula 11 de 16 do curso “Marketing 2027”. Grátis, com animações e teste.

A ideia que esperou seis meses

Na Microsoft Bing, um funcionário sugeriu algo simples: deixar o título do anúncio na busca mais longo, puxando pra ele parte do texto da linha de baixo. A ideia foi vista como pequena e ficou mais de seis meses na fila. Aí um engenheiro gastou uns dois dias e rodou um teste: metade das pessoas via a versão antiga, metade a nova. Em poucas horas o sistema disparou o alerta «bom demais pra ser verdade». Checaram e não tinha erro: a mudança deu +12% de receita, que segundo os autores passa de 100 milhões de dólares por ano só nos EUA. O caso saiu na Harvard Business Review em 2017. A moral é simples: não dá pra adivinhar no olho o quanto uma ideia vale. Só testando.

A maioria das ideias não funciona

O mesmo artigo traz um número que acorda a gente. No Google e no Bing, só 10–20% dos experimentos dão resultado positivo. Na Microsoft como um todo, mais ou menos um terço das ideias ajuda, um terço não muda nada e um terço até atrapalha. E são empresas com times enormes de analistas. Por quê? Gente é boa em inventar explicação, mas ruim em prever como milhares de desconhecidos vão agir. Pra anúncio isso quer dizer duas coisas. Primeira: não fique mal se seu criativo «genial» perdeu, isso é normal. Segunda: sem teste você teria lançado uma ideia que atrapalha e nem saberia. Por isso teste não é burocracia, é seguro contra a sua própria certeza.

Um teste, uma diferença

Um teste honesto funciona assim: o público é dividido em dois, e cada pessoa vê só uma variante. As variantes mudam em uma coisa só, por exemplo o gancho dos primeiros segundos. O resto é igual: verba, oferta, datas, plataforma. Por que tanto rigor? Se a Nika muda gancho, preço e música de uma vez e as vendas sobem, ela não sabe o que funcionou e não consegue repetir. E se A roda na segunda e B na sexta, quem vence não é o criativo, é o dia da semana. Então use as ferramentas nativas: a Meta tem testes A/B, o Google Ads tem experimentos, o TikTok tem split test. Elas dividem as pessoas pra que os grupos não se misturem.

Quantos dados você precisa

Jogue uma moeda 10 vezes. Pode muito bem dar 7 caras e 3 coroas, mesmo a moeda sendo honesta. Em 1000 jogadas vai dar uns 500 a 500. Com anúncio é igual. Se a variante A teve três vendas e a B cinco, isso ainda não é vitória da B, é só variação aleatória. Quanto menos eventos, mais ruído. O que fazer na prática? Primeiro: escolha uma métrica com muitos eventos. Se tem pouca venda, compare cliques pra loja ou adições ao carrinho. Segundo: não pare o teste até cada variante ter pelo menos algumas dezenas desses eventos. Terceiro: veja o que a ferramenta da plataforma diz. A Meta, por exemplo, mostra qual a chance de o vencedor ganhar de novo se o teste for repetido.

A armadilha do primeiro dia

O erro mais comum é espiar e parar o teste assim que uma variante sai na frente. No primeiro dia tem pouco dado e o líder muitas vezes é sorte. Uma semana depois a diferença pode sumir ou até virar. Por isso o prazo do teste é definido antes, normalmente pelo menos uma semana, pra pegar dias úteis e fim de semana. A segunda armadilha é um resultado bonito demais. Pesquisadores de experimentos da Microsoft chamam isso de lei de Twyman: se um número parece incrivelmente bom, provavelmente tem erro em algum lugar. Lembra do Bing? Primeiro procuraram o bug, só depois comemoraram. Faça igual: se um criativo novo de repente dá 5 vezes mais vendas, confira o pixel, os links e se um desconto foi só pra um grupo.

O diário de testes: a memória do time

Um teste é uma linha de conhecimento. Dez testes já viram entendimento do seu público. Mas só se você anotar. Monte uma tabela simples: ideia, o que mudou, quanto tempo durou, resultado e decisão. O exemplo abaixo é inventado: a Nika testou um gancho com pergunta, não deu diferença e a ideia foi pro arquivo. O preço no primeiro quadro funcionou melhor e entrou em todos os vídeos. O teste «avaliação de cliente contra estúdio» ainda tá rodando. Em uns dois meses esse diário responde perguntas que antes davam horas de discussão. E lembre: «sem diferença» também é resultado. Ele economiza dinheiro, porque você para de gastar tempo nessa ideia.

Faça você: seu primeiro teste honesto

Pegue seu melhor criativo e escreva uma hipótese com a fórmula «se X, então Y, porque Z». Por exemplo: «se mostrar o preço no primeiro quadro, vai ter mais clique, porque a pessoa vê na hora se cabe no bolso». Faça a variante B mudando só isso. Rode pelo teste A/B da plataforma, não como duas campanhas separadas. Anote antes o prazo, no mínimo uma semana, e a métrica principal. Não espie antes da hora. No fim, registre o resultado no diário, mesmo sem vencedor. Releia o diário uma vez por mês: vão aparecer padrões que viram suas regras.

Teste-se

1. O que a Nika deve fazer?
   Resposta certa: Esperar até o fim da semana, como planejou. Um dia é pouco dado, e o líder muitas vezes é sorte. O prazo é definido antes e não se espia, pra semana pegar dias úteis e fim de semana.
2. Qual conclusão é honesta?
   Resposta certa: Pouco dado: comparar cliques ou juntar mais vendas. Três vendas contra cinco é variação aleatória, como 7 caras em 10 jogadas. Precisa de mais eventos ou de uma métrica com muitos.
3. O que tá errado nesse teste?
   Resposta certa: Diferença demais: não dá pra saber o que funcionou. Gancho, preço e música mudaram de uma vez. Cresceu, mas a Nika não sabe o que causou e não consegue repetir. Uma diferença por teste.
4. O que fazer primeiro?
   Resposta certa: Conferir pixel, links e descontos nos dois grupos. É a lei de Twyman: resultado bom demais quase sempre é erro. O Bing também procurou o bug antes de comemorar.

← Selos de IA e regras das plataformas Campanhas automáticas: Advantage+, PMax, AI Max, Smart+ →