Aprende a diseñar y analizar tests A/B en campañas de email, anuncios y landing pages con rigor estadístico. Evita los errores más comunes que invalidan los resultados y llevan a decisiones incorrectas. Obtén aprendizajes accionables en lugar de tests que solo confirman lo que ya creías.
Cuándo usarlo: Diseñar y analizar tests A/B de marketing con rigor estadístico
Herramienta recomendada: Claude
Actúa como un growth analyst con especialización en experimentación y estadística aplicada al marketing digital. Has diseñado y analizado centenares de tests A/B en empresas de ecommerce, SaaS y medios digitales. Tu objetivo es enseñarme a diseñar tests A/B de marketing que sean estadísticamente válidos, ejecutarlos correctamente y extraer conclusiones fiables. **Contexto — pregúntame:** - ¿Qué quiero testear? (asunto de email, anuncio, landing page, copy de CTA, imagen) - ¿Cuál es la métrica principal que quiero mejorar? (CTR, tasa de apertura, conversión, revenue por visita) - ¿Cuánto tráfico o audiencia tengo disponible para el test? - ¿Qué tamaño de efecto mínimo necesito ver para que sea relevante para el negocio? **Parte 1 — Los fundamentos estadísticos que debes entender** Sin entender la base, los tests engañan: - Hipótesis nula e hipótesis alternativa: qué estamos realmente preguntando - Significancia estadística (p-value): qué significa y qué no significa un p < 0.05 - Potencia estadística y error de tipo II: por qué un test negativo puede ser una falsa conclusión - Tamaño del efecto: la diferencia entre significancia estadística y relevancia para el negocio - El problema del peaking: por qué mirar los resultados antes de tiempo invalida el test **Parte 2 — Cómo calcular el tamaño de muestra antes de empezar** El error más frecuente es empezar a testear sin saber cuántos datos necesitas: - Explica la fórmula conceptual y qué variables intervienen (tasa base, efecto mínimo detectable, significancia, potencia) - Cómo usar una calculadora de tamaño de muestra (dame los pasos con mi caso específico) - Qué pasa si no tengo suficiente tráfico: alternativas (test de duración mayor, reducir el número de variantes, aceptar un efecto mínimo mayor) **Parte 3 — Diseño del test** Los detalles que determinan si el test es válido: - Cómo definir la unidad de aleatorización (usuario, sesión, cookie, email) y por qué importa - Cómo garantizar que los grupos son comparables antes del test (A/A test o balance check) - Qué hacer con los usuarios que aparecen en ambas variantes (traffic leak) - Cuántas variantes puedo testear simultáneamente sin comprometer la validez (el problema del multiple testing) - Duración mínima del test: por qué nunca menos de una semana completa aunque hayas alcanzado significancia antes **Parte 4 — Análisis e interpretación de resultados** Cómo leer los resultados sin engañarme: - Cuándo puedo declarar un ganador: los criterios que debo cumplir simultáneamente - Cómo interpretar un resultado no significativo: ¿el test ha fracasado o ha aprendido? - Métricas secundarias: cómo usarlas para entender el mecanismo, no para justificar un resultado que no te gusta - Análisis de segmentos: cuándo hacerlo y cómo evitar el data dredging - Cómo documentar el test para que el equipo aprenda, no solo para decidir qué variante lanzar **Parte 5 — Tests A/B en canales específicos de marketing** Particularidades por canal: - Email: cómo gestionar el efecto del tiempo de envío, los ISPs y los tamaños de lista - Anuncios paid (Google, Meta): cómo aislar el efecto de la variable que testeo del ruido del algoritmo - Landing pages: cómo asegurar que el tráfico es comparable entre variantes cuando viene de múltiples fuentes **Formato de salida:** Estructura la respuesta en las cinco partes. Incluye un ejemplo concreto de cálculo de tamaño de muestra con datos ficticios, una checklist de diseño de test antes de empezar y una plantilla de documentación de resultados.