Ya conocemos las opciones de test A/B de las que disponemos en Marketing Cloud. No obstante, cuando hablamos de Journeys, muchas veces queremos testar varias alternativas, o incluso varios “caminos” diferentes para llegar al objetivo con nuestros prospectos.
En muchos casos, muchas decisiones se basan en intuiciones, pero si queremos ser “científicos” en nuestro proceder como consultores, debemos utilizar herramientas que nos aporten ese análisis con el que podamos decir a ciencia cierta que la opción elegida (a día de hoy) es la óptima.
Todo este valor de análisis se incrementa cuando el objetivo del journey puede darnos una importante rentabilidad, cuando es un journey constante, o bien cuando el número de impactos del mismo es muy elevado.
Lord Kelvin (William Thomson, físico y matemático)
«Lo que no se define no se puede medir. Lo que no se mide, no se puede mejorar. Lo que no se mejora, se degrada siempre.»
El uso de Path Optimizer
Path optimizer permite testar varios paths en nuestros journeys y definir objetivos para analizar los mismos.
En resumen, es una herramienta que va mucho más allá del test A/B y permite testar hasta 10 paths en nuestros journeys. Además, permite no sólo testar variables como en el A/B de un mensaje o aspectos de este tipo, permite testar todo un path incluso con varias actividades dentro de él.
Aquí por ejemplo, mostramos un test de secuencias diferenciadas, en las que se están evaluando 2 creatividades distintas, una cadencia diferente de comunicación, una espera 1 día y otra 7 días, o incluso el uso de diferentes medios para contactar con el cliente.
En función de la opción que hayas elegido, si manual o automática, te aparecerán los resultados en los días que hayas definido para esperar el test.
El área de configuración del Path Optimizer tendrás que definir los siguientes aspectos:
- Activity Name: nombre descriptivo de la optimización.
- Activity Description: describir más en detalle el “experimento”.
- Winner Evaluation: la opción para marcar un ganador, hay 2 opciones:
- Email Engagement: Marketing Cloud decidirá automáticamente en función del resultado del experimento. Las opciones de métricas a elegir, son: Click Rate, Open Rate y Unsubscribe Rate.
- “Manual Selection”: un Usuario decide cuál es el ganador y cuándo. En este ejemplo, el sistema está esperando a una selección manual del ganador:
- Split: aquí defines el número de ramas del experimento y el porcentaje que quieres asignar de contactos a cada una.
- Holback: Holback: esta opción se puede usar con entrada de Data Extension y “Run once” como activación de “schedule”. Esto te permite decir, de los contactos en la DE cuántos quieres usar para el test y cuántos esperan a determinar el ganador, como es lógico, cuando el ganador se marque o se defina por marketing Cloud, saldrán todos los que están marcados como “Wait for winner” con la opción ganadora.
Como resumen de configuración, puedes definir un ganador automáticamente en función de 3 métricas, open rate, click rate y unsubscribe rate; o puedes seleccionar el ganador manualmente. La otra variable que puedes seleccionar es cuánto tiempo se espera para definir el ganador automáticamente, al menos 3 días sería lo recomendable según la métrica seleccionada, número de contactos o diferencias de resultados.
ADVERTENCIA: cuidado con la significación estadística. Hablaremos de esto más adelante.
Cosas que se pueden testar (aunque aquí las opciones son infinitas)
| Tipos de test | Sugerencias |
| Asunto y Preheader | Diferentes creatividades de asuntoCon emojis o sin ellosCon personalización y sin ellaAsuntos más largos y más cortos |
| Sender | Un Sender es de lo primero que ves antes de abrir un email y tiene una gran importancia para el Open Rate. Sender genérico o sender por temáticaSender com persona de contacto o genéricoEtc. |
| Personalización | Diferentes creatividades por interesesPersonalizaciones tipo nombre, sector, o intereses definidos por el contacto.Personalizaciones en función de las variables por las que podemos segmentar |
| Contenido | Creatividades diferentesTextos más largos o menosCTAs más llamativos o más integrados en el discursoMás comercial y cargado de diseño versus más personal y directoEtc. |
| Tiempo de espera | Al poder testar paths, podemos hacer test de espera, desde el primer impacto, esperamos 3 días? 1 semana? |
| Momento de salida | Diferentes momentos de salida añadiendo un wait al inicio del pathTambién Podemos hacer un envío de salida aleatoria durante x días y otro usando STO Einstein Send Time Optimization. Para la configuración aleatoria también puedes usar la actividad de STO Einstein:  |
| Canal | Aquí puedes usar combinaciones diferentes por path, SMS, Push, Email, Etc. |
Ahora que tienes una herramienta tan sofisticada para testar journeys, piensa en todas las opciones que has pensado que podrían funcionar y no lo podías testar fácilmente o las nuevas ideas que esperamos te hayan llegado con este artículo y que ya estás deseando poner a prueba.
Y por último, cuidado con la Significación estadística
Siempre que testes hay que tener cierta precaución estadística, hemos visto infinidad de casos en clientes en los que estaban muy contentos de haber encontrado una opción ganadora, pero muchas veces son “espejismos”.
Para que un test sea realmente concluyente, no basta con que tenga 4 clics más que otro o 400, todo depende de la diferencia con la alternativa y el número de acciones de los contactos con esta métrica.
Por ejemplo, de 2 grupos de 10.000 contactos, en uno se han hecho 400 clicks y en otro 410, podemos pensar que el ganador es el segundo, pero estadísticamente no lo es, su significación estadística no supera el 64%, cuando lo recomendable es al menos, un 95%.
Si por ejemplo, la diferencia fuera 400 y 450, ahí sí llegaríamos al 95,7%. Al igual que si el número de clicks fuera muy superior, si fueran 9900 clicks y 9925, con esa pequeña diferencia porcentual, la significación sería del 97,1%.
Conclusión: la significación estadística está influida por el número de interacciones de la métrica que estás evaluando.
Te animamos a que veas todo esto de forma muy clara en este vídeo que hemos preparado para ti:
