La única forma que conozco de sobrevivir o avanzar en el mundo digital es haciendo tests. Sin embargo, pocos testan y de los que dicen que hacen tests, muchos no son tests y otros son tests mal hechos. En este artículo intentaremos aclarar lo primero: qué es un test y qué no.
Al inicio de las clases sobre testing siempre empiezo con un vídeo, el “Test del beso”.
Es un vídeo de cámara oculta en el que unas cuantas jovencitas sufren una broma con la excusa de realizar un test de producto.
En la sala se encuentran dos chicos despampanantes sentados en sendos taburetes. Una señora le explica a la incauta adolescente que están probando un nuevo tipo de pintalabios y que quieren probarlo contra el de la competencia.
Y nada mejor que un beso para decidir cuál de los dos tiene mejor textura, sabor, consistencia, etc. Le informan de que le colocarán un antifaz ya que se trata de un test ciego (blind test) porque no debe saber en ningún momento qué pintalabios está probando.
La pregunta es obligada:
- “¿Tendrías algún problema en besar a los modelos?”
La chica los mira encandilada y le entra una risita nerviosa. ¿Cómo le iba a molestar? ¡Se lo va a pasar bomba por partida doble y encima cobrando!
Le colocan el antifaz y en un instante los dos modelos desaparecen. En su lugar colocan a dos chimpancés, bien aseados y bien vestidos. Muy monos.
Acercan a la chica y empieza el test. A partir de aquí parece un recopilatorio de románticos besos de las mejores películas de Hollywood. A más de uno le gustaría besar tan bien como estos primates.
Besos y más besos, algunos con lengua y todo. A juzgar por la cara que ponen las chicas que van pasando por el test, las expectativas se cumplen. El hecho de no ver no impide que se pongan ciegas con los “modelos”.
Cuando por fin levantan el antifaz, la cara que ponen es un poema.
Esto no es un test
Dejando de lado la parte cómica, este test ciego del pintalabios tiene varios de los ingredientes de un test y sin embargo, no es un test:
- A/B Testing. Un test es una prueba entre dos o más cosas para ver cuál funciona mejor. En el caso del pintalabios, se quiere probar cuál es el mejor, el nuevo o el de la competencia. Hasta aquí bien.
- Real Testing. Pero no es un test porque se incumple uno de los requisitos sagrados del testing: el usuario o cliente no puede saber que está siendo sometido a un test.
Así que sólo por este motivo, ya no es un test.
Por lo menos, no en el sentido que le damos en marketing de resultados, es decir, en ese marketing cuya premisa fundamental es “si invierto 1€ en Internet tengo que sacar 1€+X€ o habrá sido un fracaso”.
Al tener ante sí las dos opciones, el usuario da una opinión. Y ya sabemos que de la opinión al hecho va un trecho. Es decir, si estamos probando la capacidad de A de vender más que B, la única opción de estar seguros es probándolo a nivel de venta real, no de intención.
Dicho de otro modo, las encuestas en la calle, las dinámicas de grupo (focus group), los tests de usabilidad, la entrevistas en profundidad, etc., no nos sirven si lo que queremos saber es si un producto funcionará a nivel de mercado.
La explicación es el efecto Hawthorne: los individuos modifican su comportamiento cuando saben que están siendo observados, simplemente por el hecho de saber que están siendo observados. Por ejemplo: intentan responder lo que creen que nos gustará más oír, no lo que realmente piensan.
Este tipo de “tests” sirven para otras cosas, pero no para el objetivo primordial. Sólo un test real de mercado nos dirá la verdad.
Si preguntas a la gente “cambiaría usted de marca de detergente…” y en base a las respuestas obtenidas trazas una previsión de ventas, estás muerto.
Un test, en el sentido que le vamos a dar a partir de ahora, no busca opiniones sino realidades. Busca objetividad, datos sobre los que apoyarse y montar un negocio y hacerlo crecer. Un beneficio derivado del anterior es el de la disminución del riesgo que veremos a continuación.
El director de marketing suicida
Había una vez un director de marketing que tenía miedo.
Los creativos de su agencia de publicidad lo odiaban. Nunca les financiaba sus genialidades. Siempre optaba por la opción convencional.
Por mucho que le vendiesen la importancia de ser diferente, de atreverse con algo fresco, original y viral, el director erre que erre con su más de lo mismo. ¿Alguien se identifica con alguno de los personajes del cuento?
Se dice que los de marketing no arriesgan, que nunca eligen la propuesta osada y siempre se quedan con la sobada. Tiene una explicación.
El ejecutivo de marketing promedio es un ser eminentemente adverso al riesgo, no porque no le gusten las campañas rompedoras, sino porque le gusta más conservar su puesto.
Si no arriesgas y fallas, tienes excusas. Si arriesgas y fallas, estás out.
Pues bien, además de adverso al riesgo es incoherente, porque suele tomar una de las decisiones más suicidas que hay: lanzar campañas masivas sin haberlas testado antes.
Enviar una única creatividad de emailing a los 80.000 clientes de la base de datos sin antes haber un hecho un test es de los actos más irresponsables que se pueden hacer en marketing. Y no vale con decir que se ha discutido durante semanas en el comité de dirección, que se ha enseñado a docenas de personas en la empresa o cosas por el estilo.
Sin antes no has hecho un test (de los de verdad) estás:
- Poniendo todos los huevos en la misma cesta, riesgo máximo, y
- Eliminando cualquier posibilidad de saber porqué la tortilla salió mal o, si tienes la suerte de que aún así vaya bien, saber qué es lo que funcionó para explotarlo.
La solución: ¿el tun-tún?
Ir probando cosas tampoco es un test.
A menudo oigo cosas como esta: “yo sí que hago tests: el martes envié la oferta de 20% de descuento y a la semana siguiente envié la oferta con regalo”.
Esto no es un test. Sí, hemos mejorando, ya que no se está pidiendo opiniones sino hechos, acciones reales de compra ante dos ofertas diferentes.
Pero se está incumpliendo uno de los principios inalterables del testing. Se rompe la regla del ceteris paribus: se ha añadido una segunda variable al proceso de testing (el factor tiempo), cuando sólo se puede testar una cosa a la vez (oferta descuento vs. oferta regalo).
El público objetivo de esta semana puede ser diferente al de la que viene, luego el resultado queda alterado, no es válido.
Cómo demonios se hace un test
Si has llegado hasta aquí que sepas que has sido objeto de un test.
Al abrir el mensaje y hacer clic has dado tu voto por un tipo de email.
Otros suscriptores han votado sí o no por el otro email, en el que sólo había una cosa cambiada.
Si la diferencia es significativa te la diré en el próximo mes. Junto con qué es lo que se había cambiado y qué resultados ha dado.
Y veremos cómo se ha hecho, paso a paso para aprender a hacer un test y poder aprovechar así las ventajas -inmensas- de hacer testing.
TEST FINALIZADO -> Ver resultados del test de emailing
Packo
mayo 8
Como siempre... un placer leerte.
Saludos y ánimo!!
Toni
mayo 8
Fantàstico Gorka, por lo evidente del tema pero pones el dedo en la llaga de muchos de marketing que creen que hacen tests i después se extrañan de que el resultado no sea el esperado. Un saludo.
Yago Canalejas
mayo 8
Gorka muy bueno!!!
jose diseño web profesional
mayo 8
Muchas gracias, como siempre un placer, saludos
Héctor Abascal
mayo 8
Me ha intrigado, lo reconozco, esto de los test es muy interesante y muy controvertido, así que espero con interés la resolución a esta prueba.
Un saludo
Héctor Abascal
pablo frias
mayo 8
Siguen siendo buenas ideas para reflexionar. Gracias
pablo
mayo 8
Llegué al final y me quedé esperando por mas. ¡Excelentes tus artículos!
unknown
mayo 8
gracias por seleccionar este tema, 30 dias es mucho tiempo....
Sempatika_emr
mayo 8
Me he divertido mucho con la lectura y el final "formar parte de un Test" me ha sorprendido gratamente.
Enhorabuena!! ya tengo ganas de saber los resultados 🙂
saludos
anónimo
mayo 9
Esperare con curiosidad el resultado de tu test y qué buena ideas has tenido. Mi profesor en Inesdi nos aconsejó realizar los test y puso incapié en que una vez que empiezas.....¡te enganchas!
Un saludo!
Sara Bárcena
mayo 9
Gracias Gorka!
Como siempre aprendemos contigo un montón. Y eso que yo le puedo poner nombres y apellidos a los directores de márqueting!
Ya estoy deseando saber cuál es la varible testada...
Un abrazo
Gustavo Dost
mayo 9
La verdad es que con las herramientas actuales es mucho más fácil hacer un test antes de vender cualquier cosa.
Creo que aveces no se testea por falta de tiempo y creatividad. Cuando haces un test sabes con seguridad que una de las campañas va a la basura. Tenemos apego por esa campaña, pobre... no se merece ese destino.
Probablemente no es necesario desechar toda una creatividad, basta con probar titulares y/o precios si puedes.
Actualmente para testear paginas web estoy utilizando dos herramientas:
http://visualwebsiteoptimizer.com/ y el optimizador de sitios de Google.
Ruben
mayo 9
Los siento, Gorka.
Conmigo el test no vale.
Independientemente de cuál de los 2 emails me hubieras mandado.. los hubiera abierto igual.. sólo por leer un nuevo aporte tuyo !! :-))
Joost van Nispen
mayo 9
Me lo has vuelto a hacer, Gorka!!! En medio de mil prioridades has sabido pararme en seco, me has hecho olvidar todo, y has conseguido que haga "click" al final de tu mail "teaser" para poder leer el resto. Y todo tratando de un tema que ya pocos secretos tiene para mí. Una cosa hecha con criterio, entusiasmo y pasión se convierte en irresistible. También en contagiosa, por lo que ahora mismo voy a compartir tu mail con mis contactos. Gracias Gorka por detenerme unos minutos y recordarme de cómo llegué a dedicarme a esto. Eres un maestro. Con un fuerte abrazo. Joost
maite iranzo heinz
mayo 9
Siempre me enriquece leerte. En esta ocasión, a parte de enriquecerme, debo decir que no estoy de acuerdo en que menciones las herramientas de convencionales de investigación de mercados como ineficaces para determinar qué vende más. Desde luego, una herramienta mal aplicada funcionará mal, pero no será porque el consumidor sea o no consiente de que le están preguntando! Es más complejo que eso, aunque me queda clara la idea que quieres transmitir, me siento obligada a reinvindicar las técnicas de investigación y su potencial para determinar qué vende más...
Gorka Garmendia
mayo 9
Gracias Maite por disentir, lo estaba esperando y pensaba que no llegaba nunca.
Sé que hay mucha gente que piensa como tú y que creen que me cargo los tests de usabilidad, eye-trackings, focus groups y demás. Nada más lejos de le realidad. Espero no cometer el error de muchos que repiten compulsivamente "XXXXX ha muerto" (siendo XXXXX lo que desconocen). Al contrario, cada cosa tiene su lugar... si se sabe encontrarlo.
Por ejemplo, las técnicas de investigación nos ayudan a encontrar diferencia CUALITATIVAS que un test nunca te dará. Nos dirán que el proceso de check out es demasiado farragoso o que el tono de la web es demasiado agresivo. Un test nunca lo descubriría.
Ahora bien las diferencias CUANTITATIVAS, eso sólo te lo dará un test real, es decir, te confirmará si el check out A vende más que el B, o si bajando el tono aumenta el ratio de conversión.
A mi parecer, lo inteligente es utilizar las técnicas de investigación para saber qué testar y luego montar el test. Aquí no se tira nada. Como dice mi abuelo, "El que guarda siempre tiene".
hacerunregalo
mayo 9
A mí sólo me ha llegado este Email. De todas formas hubiera abierto los 2 pues siempre abro los tuyos.
Manuel Erruz
mayo 10
Excelente Gorka,
Si me permites, como en casi todo hay que aplicar la regla fundamental del marketing: El sentido común, que muchas veces nos olvidamos e aplicarla.
Un saludo
Iñaki Barettini
mayo 12
Siempre interesantes tus opiniones, me quedo con las ganas de recibir la segunda parte. ...
No obstante, no estoy muy de acuerdo que los ejecutivos de marketing sean conservadores. Creo que como en la vida todo depende del tipo de personas con los que trabajes. De hecho creo que en pocas areas la innovacion puede ser tan importante como en el marketing, en algunos casos no queda mas remedio que innovar o estas muerto
Saludos
Gorka Garmendia
mayo 21
Cierto, sólo es una apreciación basada en la experiencia, la mayoría son son conservadores. Sin embargo, cuando hablas con empresarios, suele ser al revés.
Iñaki Barettini
mayo 12
Por cierto, el test tiene algo que ver con que hayas puesto dos links en el mail y desde cual de ellos se haya accedido? En este caso seria que si has accedido desde el primero ya teniamos previsto leer tu post con independencia de lo que tratara pq su emisor (o sea Ud) ya nos merece la confianza adecuada?? Y si entraste desde el segundo es que realmente te intereso lo que estabas vendiendo, es decir, que entraramos a tu Web a ver de que iba el post del test??
Bueno, ya nos diras...
Gorka Garmendia
mayo 21
Va por ahí, bien visto
Raul Rios
mayo 13
Simplemente, sin palabras...
Resultados del test de e-mailing | Gorka Garmendia
mayo 31
[...] mes pasado los que leyeron el artículo fueron objeto de un test de emailing. Unos recibieron un email y otros el mismo email pero con un pequeño cambio, que ha tenido [...]
Sin Mates, estás perdido | Gorka Garmendia
noviembre 14
[...] de datos de 200.000 registros con una oferta que ha salido de su intuición e instinto? ¿Sin haber testado antes nada? Con dos [...]
Heatmaps o mapas de calor - Gorka Garmendia
mayo 1
[...] que éste se dé cuenta de que está siendo observado, con lo que no se produce el temido efecto “Hawthorne” (voy a hacer lo que creo que esperan de mí, no lo que realmente [...]