Probar sin engañarte
Lección 11 de 16 del curso «Marketing 2027». Gratis, con animaciones y un test.
La idea que esperó seis meses
En Microsoft Bing, un empleado propuso algo simple: alargar el título del anuncio en el buscador pasando a él parte del texto de la línea de abajo. La idea se consideró menor y pasó más de seis meses en la cola. Luego un ingeniero dedicó un par de días y lanzó una prueba: la mitad de la gente veía la versión vieja y la otra mitad la nueva. En pocas horas el sistema lanzó la alerta «demasiado bueno para ser verdad». Lo revisaron y no había error: el cambio dio +12% de ingresos, que según los autores supera los 100 millones de dólares al año solo en EE. UU. El caso se publicó en Harvard Business Review en 2017. La moraleja es simple: la importancia de una idea no se adivina a ojo. Solo se puede probar.
La mayoría de las ideas no funciona
El mismo artículo trae una cifra que baja los humos. En Google y Bing solo el 10–20% de los experimentos da un resultado positivo. En Microsoft en general, más o menos un tercio de las ideas ayuda, un tercio no cambia nada y un tercio incluso perjudica. Y son empresas con equipos enormes de analistas. ¿Por qué? A la gente se le da bien inventar explicaciones, pero mal predecir cómo se comportarán miles de desconocidos. Para la publicidad esto significa dos cosas. Primera: no te frustres si tu creativo «genial» perdió, es lo normal. Segunda: sin prueba habrías lanzado una idea que perjudica y ni te habrías enterado. Por eso la prueba no es burocracia, es un seguro contra tu propia seguridad.
Una prueba, una diferencia
Una prueba honesta funciona así: la audiencia se divide en dos y cada persona ve solo una variante. Las variantes difieren en una sola cosa, por ejemplo el gancho de los primeros segundos. Todo lo demás es igual: presupuesto, oferta, fechas, plataforma. ¿Por qué tanto rigor? Si Nika cambia a la vez el gancho, el precio y la música y las ventas suben, no sabrá qué funcionó y no podrá repetir el éxito. Y si lanza A el lunes y B el viernes, no gana el creativo, gana el día de la semana. Por eso usa las herramientas integradas: Meta tiene pruebas A/B, Google Ads tiene experimentos y TikTok tiene split test. Reparten a la gente para que los grupos no se crucen.
Cuántos datos necesitas
Lanza una moneda 10 veces. Puede salir perfectamente 7 caras y 3 cruces aunque la moneda sea justa. En 1000 lanzamientos saldrá más o menos 500 a 500. Con los anuncios pasa lo mismo. Si la variante A tiene tres ventas y la B cinco, todavía no gana B: es simple variación al azar. Cuantos menos eventos, más ruido. ¿Qué hacer en la práctica? Primero: elige una métrica con muchos eventos. Si hay pocas ventas, compara clics a la tienda o añadidos al carrito. Segundo: no pares la prueba hasta que cada variante tenga al menos unas decenas de esos eventos. Tercero: mira lo que dice la herramienta de la plataforma. Meta, por ejemplo, muestra qué tan probable es que el ganador vuelva a ganar si repites la prueba.
La trampa del primer día
El error más común es espiar y parar la prueba en cuanto una variante se adelanta. El primer día hay pocos datos y el líder suele ser casual. Una semana después la diferencia puede desaparecer o incluso invertirse. Por eso la duración se fija de antemano, normalmente al menos una semana, para incluir días laborables y fin de semana. La segunda trampa es un resultado demasiado bonito. Los investigadores de experimentos de Microsoft lo llaman ley de Twyman: si una cifra parece increíblemente buena, probablemente hay un error. ¿Recuerdas Bing? Primero buscaron el fallo y solo después lo celebraron. Haz lo mismo: si un creativo nuevo de pronto da 5 veces más ventas, revisa el píxel, los enlaces y si un descuento llegó solo a un grupo.
El registro de pruebas: la memoria del equipo
Una prueba es una línea de conocimiento. Diez pruebas ya son entender a tu audiencia. Pero solo si las anotas. Crea una tabla simple: idea, qué cambiaste, cuánto duró, resultado y decisión. El ejemplo de abajo es inventado: Nika probó un gancho con pregunta, no hubo diferencia y la idea fue al archivo. El precio en el primer plano funcionó mejor y lo añadió a todos los videos. La prueba «reseña de cliente contra estudio» sigue en curso. En un par de meses este registro responde preguntas que antes se discutían durante horas. Y ojo: «sin diferencia» también es un resultado. Ahorra dinero, porque dejas de gastar tiempo en esa idea.
Hazlo tú: tu primera prueba honesta
Toma tu mejor creativo y escribe una hipótesis con la fórmula «si X, entonces Y, porque Z». Por ejemplo: «si mostramos el precio en el primer plano, habrá más clics, porque la gente ve al instante si le alcanza». Haz una variante B que solo cambie eso. Lánzala con la prueba A/B de la plataforma, no como dos campañas separadas. Anota antes la duración, mínimo una semana, y la métrica principal. No espíes antes de tiempo. Al final apunta el resultado en el registro, aunque no haya ganador. Relee el registro una vez al mes: aparecerán patrones que se volverán tus reglas.
Ponte a prueba
- ¿Qué debe hacer Nika?
Respuesta correcta: Esperar hasta el final de la semana, como planeó. Un día da pocos datos y el líder suele ser casual. La duración se fija antes y no se espía, para que la semana cubra laborables y fin de semana. - ¿Qué conclusión es honesta?
Respuesta correcta: Pocos datos: comparar clics o juntar más ventas. Tres ventas contra cinco es variación casual, como 7 caras de 10 lanzamientos. Hacen falta más eventos o una métrica con muchos. - ¿Qué falla en esta prueba?
Respuesta correcta: Demasiadas diferencias: no se sabe qué funcionó. Cambiaron a la vez gancho, precio y música. Hay crecimiento, pero Nika no sabe qué lo causó ni puede repetirlo. Una diferencia por prueba. - ¿Qué hacer primero?
Respuesta correcta: Revisar píxel, enlaces y descuentos en ambos grupos. Es la ley de Twyman: un resultado demasiado bueno suele indicar un error. Bing también buscó primero el fallo y luego lo celebró.
← Etiquetas de IA y normas de las plataformas Campañas automáticas: Advantage+, PMax, AI Max, Smart+ →