Test A/B -(A/B test or split test)

Qué es...

Consiste en mostrar diferentes mensajes a distintos usuarios seleccionados aleatoriamente, para comprobar cuál de ellos tiene mejores resultados.  El test A/B es un MPV de alto nivel que permite ajustar la propuesta del cliente para afinar en el diseño de la solución y con los mensajes que trasladamos a nuestros clientes, para aumentar así el tráfico (ratio de conversión y ventas)
Existen muchos tipos de tests A/B, diseña los tuyos dependiendo de qué quieres aprender. Hablo en plural porque un solo test a/b no sirve para nada; para tener resultados tendrás que ejecutar el suficiente número de test.

Cuándo utilizarla

Los test A/B son perfectos para mejorar el ratio de conversión de una página landing, de una campaña de email,  dado que a través de él se validan los mensajes como títulos. Sin embargo, este tipo de test no es adecuado para valorar la adopción de un producto o probar cosas nuevas como puede ser un cambio de versión o un efecto en la web que sea novedoso.

No hagas este tipo de experimento antes de tener un volumen relevante de usuarios. Si no tienes suficiente tráfico tardarás 6 meses en obtener los datos suficientes como para tomar una decisión, y eso no tiene sentido. El mínimo tráfico para empezar a hacer test A/B es de 2000/mes. Menos de esa cantidad es una pérdida de tiempo.

Aunque si en tu web tienes un gran volumen de visitantes quizás no quieras probar los cambios sobre todos los usuarios, debido al impacto en las conversiones y en las ventas. Para evitar esto puedes establecer un porcentaje sobre el total del tráfico sobre el que realizar el experimento.

Pasos para implementarla

El test A/B consiste en mostrar aleatoriamente dos versiones diferentes de un mismo elemento (A y B). Cada mensaje se expone a grupo de personas elegidas al azar para determinar cuál es más efectiva en base a resultados cuantitativos. A los usuarios que vuelven a la página y que tienen activadas las cookies se le muestra la misma página que la primera vez.
El test más sencillo es el que sólo se modifica una de las variables como, por ejemplo: 

• Dos titulares distintos

• Dos cabeceras de email

• Dos diseños de landing page

• Dos diferentes copies del texto de un CTA

Los test multi-variable son mucho más complejos de implementar ya que muestra al usuario varios cambios en un mismo instante. Este tipo de test se han de hacer con mucho cuidado dado que, si se intenta probar demasiadas cosas al mismo tiempo, los resultados pueden no ser concluyentes. 
Ejemplo siguiente te mostramos un test A/B muti-variante realizado por airbnb para mejorar la adquisición de usuarios. En dicho test fíjate que cambiaron el copy de Facebook y de google, y el tamaño de los CTAs de la ventana de registro, para comprobar que la página de la derecha tuvo un aumento 40% de autentificaciones. Puedes ver el vídeo sobe este experimento aquí.

Los test mejores implementados consiguen probar cada combinación posible de cada elemento del mensaje, de forma eficiente.
Deja al menos una semana el test en la página pero lo ideal son 30 días. Aunque puede que veas una mejora de 250% en menos de 24 horas, seguramente esta caerá en unos pocos días. Ten en cuenta que un 30-40% es un resultado muy positivo y que si una de las opciones alcanza una mejora del 20% puede que no sea un resultado concluyente. Si un test da en torno al 10%, descártalo cuanto antes y diseña uno nuevo. No dejes pasar el tiempo entre test y test, prueba nuevas opciones constantemente y verás cómo mejoras el ratio de adopción de la página.
 

Consejos

Selecciona una herramienta que encaje con tu necesidad (y con tu presupuesto)
Existen muchas herramientas para implementar este tipo de experimento por ejemplo Optimizely o Maximizeli entre otras, aunque también existe la posibilidad de utilizar una plataforma gratuita como Google Analytics.
 

Un solo clic es un indicador muy pobre sobre la lealtad de tus clientes
Nota que con este tipo de experimento puedes probar un cambio acerca de cómo acede el usuario al servicio, pero no el servicio en sí mismo. Los test A/B proporcionan información sobre el comportamiento de los usuarios que es limitado ya que son impactos sobre la capa superficial, la capa “front”. Es decir que por ejemplo puedes mejorar el ratio de conversión de un CTA cambiando el copy del botón, pero esto no te ayudará a comprobar si el verdaderamente las personas que hacen click sobre el botón, terminan por ser usuarios estables volviendo a la web. Si su producto no es tiene el efecto "WoW“, ni la recomendación de todas las celebridades del mundo y ni una campaña multimillonaria, dará lugar a un crecimiento sostenible.

95% de fiabilidad en los resultados no es suficiente; busca un 99%
El nivel de confianza de un 95% puede parecer relevante, pero no en el caso de este tipo de experimentos en donde la muestra puede que no sea lo suficientemente representativa. Una diferencia del 5% en los resultados puede parecer poco pero si hacemos los cálculos. Un 95% implica que uno de cada 20 resultados supuestamente positivo, puede no ser cierto. Sin embargo si obtenernos una fiabilidad del 99% solamente uno de cada 100 sería un falso positivo.
 

Más información

Hubspot, post sobre cómo hacer pruebas A/B en Páginas de destino

Recomendaciones de la web de unbounce sobre el test A/B

Varias páginas dedicadas al test A7B en el libro de Sean Ellis, “Hacking Growth: How Today's Fastest-Growing Companies Drive Breakout Success”

Post, de Lars Lofgren, My 7 Rules for A/B Testing That Triple Conversion Rates

Recibe las nuevas herramientas

Conoce las nuevas herramientas que vaya escribiendo. Ahorrarás tiempo en tus primeros pasos como emprendedor. Jamás compartiré tu email con nadie.

Volver a recursos para Beta Comercial | Volver a todos los recursos