El mes pasado los que leyeron el artículo fueron objeto de un test de emailing. Unos recibieron un email y otros el mismo email pero con un pequeño cambio, que ha tenido consecuencias. En este artículo explicamos qué se cambió, cuál ha sido el resultado y cómo se ha hecho el test.

Qué se cambió

Antes de correr a ver los resultados, te propongo otro test.

Sé que sabes mucho de marketing y quiero que lo demuestres: ¿qué versión de email funcionó mejor?

Mira los dos emails del test. No hace falta que los leas. El cambio es pequeño pero evidente:

And the winner is…

¿Cuál funcionó mejor? ¿Poner un solo link al final o añadir otro al principio?

Pues todavía no te lo puedo decir. Veamos primero cómo se hace un test y en unas líneas desvelamos el resultado.

Las fases de un testing A/B son:

  1. El objetivo del test
  2. La hipótesis
  3. Hawthorne is missing
  4. Ceteris Paribus
  5. Ejecución y resultados
  6. Validación estadística
  7. Masivo o roll-out

1. El objetivo del test

Si hacemos un test invertimos tiempo y dinero, así que hay que rentabilizarlo.

Si no fijamos un objetivo no sabremos si ha valido la pena.

Se trata por lo tanto de elegir una métrica o métricas y plantear una mejora.

Por ejemplo, en el caso del test “1 link vs. 2 links”, el objetivo es mejorar el ratio de apertura (OR, Open Rate) y sobre todo, el ratio de clic (CTR, Click Trough Rate) un 10%.

2. La hipótesis

La hipótesis del test es la suposición que hacemos y que el mercado, es decir, el usuario, nos dirá si teníamos razón o no.

En el ejemplo, la idea a testar es muy sencilla: ¿es mejor uno o dos links hacia la landing page?

En principio cuanto más veces pides una respuesta, más respuesta obtienes. Dos links debería ser mejor opción.

Además, la versión que sólo tiene un link al final del email, puede pecar de exceso de confianza porque muchos no llegan tan lejos. Podría ser mejor aprovechar el interés desde las primeras líneas y colocarles un link bien arriba, antes de que ese preciado interés se disipe.

Una vez creados las dos versiones, se montan en la plataforma de envío de emailings, la cual debe tener incorporada la funcionalidad del testing y entre otras cosas, garantizar que el “Efecto Hawthorne” no se va a producir.

3. Hawthorne is missing

Como veíamos en el artículo del mes pasado, si le enseñamos las dos versiones de email a alguien para que nos diga cuál le haría abrir y clicar más, estaremos bajo el influjo maligno del Sr. Hawthorne.

Nuestro conejillo de indias sabe que lo es, y por lo tanto no podrá ser 100% objetivo, variará su respuesta porque querrá complacernos y el resultado no será válido.

Por lo tanto, el usuario no debe saber que está siendo objeto de un test.

Con una plataforma de emails que tenga una buena herramienta de testing esto se solventa de forma muy sencilla: la maquinita nos hace una separación automática de la lista para el test, una porción que debe ser lo más pequeña posible.

Esta separación se divide a su vez en dos (por eso se llama ‘split’ testing), por ejemplo, 50% y 50%.

A cada mitad le envía una de las versiones y sólo una; recopila los datos de apertura y clic, y lo coloca en cada versión para poder hacer el seguimiento de resultados una vez acabado el test.

4. Ceteris Paribus

Este latinajo, que les será familiar a los que han estudiado Económicas o Empresariales, significa algo así como “todos quietos” o “en igualdad de condiciones”.

Aplicado al testing nos avisa de que cuando hacemos un tests todo tiene que quedar igual excepto una cosa, lo que se testa.

En el test que estamos viendo, todo es lo mismo: el texto del email, la base de datos a la que se le envía, la landing page de destino, el momento en que se envía… todo excepto el cambio objeto del test: uno tiene un link, el otro dos.

Si no respetamos esta regla, el test no se invalida del todo pero ya no sabemos qué cambio ha provocado qué resultado. Sólo sabremos que un email ha ido mejor que el otro, pero no porqué. Lo cual en muchos casos puede ser un gran error.

5. Ejecución y resultados

En el caso de un test de emailing es muy sencillo. Le damos al botón de “send” o bien programamos el envío y esperamos.

En 24 horas la suerte está echada. En este caso hemos esperado casi un mes, así que seguro que hemos recogido todos los datos de los rezagados.

Los resultados han sido:

  1. Ratio de apertura: la versión A (un link) mejora a la B (dos links) en un 11%
  2. Ratio de clic (CTR): ambas versiones generan el mismo CTR.

6. Validación estadística

¿Verdad que si tengo un comercial que hoy ha traído dos pedidos y otro vendedor sólo un pedido no puedo decir que el primero es el doble de mejor que el segundo?

Tendré que juzgarlos con más tiempo, es decir, tendré que ampliar la muestra para poder decir que el dato es cierto y así poder tomar la decisión de subirle el sueldo a uno y ver si el otro sigue en el puesto.

En testing ocurre lo mismo. Si no tengo lo que se llama “confianza estadística” o “relevancia estadística” o términos similares, no tengo nada.

Para ello el primer paso es contar con una muestra suficientemente grande. De lo contrario, el resultado del test será no válido, hemos hecho el primo.

Lo segundo es contar con alguna herramienta que te calcule el dato de confianza estadística.

En el pasado esto era algo complicado, tenías que dominar de estadística o saber consultar unas farragosas tablas tan user-friendly como los formularios de Hacienda.

Pero hoy, gracias a la era digital, esta tarea es simple. Hay multitud de herramientas en Internet que te lo calculan gratis o casi gratis y en décimas de segundos.

En el ejemplo del test “1 link vs. 2 links”, hemos utilizado una App para iPhone, la “DM Calculator” (http://itunes.apple.com/es/app/dm-calculator/id473692072?mt=8) y hemos introducido los datos de open rate (ya que los de CTR no han reflejado cambios).

El resultado es el siguiente:

Como dice la herramienta, tenemos una fiabilidad de entre el 95 y el 99%, que en la mayoría de los casos es más que suficiente.

Por lo tanto, la mejora del 11% en aperturas de la versión de “un solo link” es consistente, nos la podemos creer, no es resultado del azar. Lo más importante, podemos exprimir el resultado en el siguiente paso:

7. Masivo o roll-out

Una vez el test nos ha indicado el camino, es momento de seguirlo.

La versión ganadora se envía el resto de la base de datos, es decir se hace el masivo o “roll-out”, con la seguridad de que se va a repetir el resultado ya que contamos con la confianza estadística del punto anterior.

Conclusiones del testing de email

El test fue hecho con la convicción que de se mejoraría el CTR con dos links, ya que los estudios afirman que así es cuando insertamos más links en un email. El Open Rate se esperaba que no cambiaría.

Sin embargo, el CTR no ha variado y lo que es más, lo que ha variado es el ratio de apertura, justo al revés.

Los tests tienen esto, son impertinentes, les encanta llevarte la contraria. No es la primera vez que ocurre ni será la última.

No pasa nada, ya sabemos algo. Podemos tomar nota de lo que a otros les va bien, pero aceptarlo sin más es cuando menos, arriesgado. Siempre hay que comprobar si en MI sector, MI producto y MI público objetivo las best-practices también son best-practices.

Ahora bien, con este test sabemos el QUÉ pero no el POR QUÉ.

Los motivos que ha llevado a la gente a abrir más un email con un solo link no los podemos extraer del test, sólo podemos hacer conjeturas.

Yo tengo una teoría, ¿cuál es la tuya?

 

 

TAGS : | | | | |