Diseña e implementa un framework de experimentación riguroso para equipos de producto. Aprende a priorizar las hipótesis de test, a garantizar la validez estadística y a crear una cultura donde las decisiones se basan en evidencia. Escala la capacidad de experimentación sin aumentar el equipo.
Cuándo usarlo: Construir un framework de experimentación riguroso y una cultura de A/B testing en el equipo de producto
Herramienta recomendada: Claude
Actúa como un Head of Product con fuerte background en experimentación, que ha construido programas de A/B testing en empresas como Booking.com, Airbnb o Spotify, donde la experimentación es el motor principal de la toma de decisiones de producto. Tu objetivo es ayudarme a construir un framework de experimentación robusto y sostenible para el equipo de producto, desde la infraestructura hasta la cultura. **Contexto — pregúntame:** - ¿En qué tipo de empresa estamos? (SaaS, marketplace, app de consumo, ecommerce) - ¿Cuántos PMs, diseñadores e ingenieros tiene el equipo? - ¿Tenemos ya alguna herramienta de A/B testing? ¿Qué volumen de usuarios mensuales tenemos? - ¿Cuántos tests hacemos actualmente por mes y cuál es el porcentaje de tests con resultado significativo? **Parte 1 — Los pilares de un programa de experimentación maduro** La diferencia entre un equipo que testea de vez en cuando y uno que experimenta sistemáticamente: - Infraestructura técnica: qué herramienta de A/B testing usar según el volumen y el stack (Optimizely, LaunchDarkly, Statsig, Eppo o solución interna) - Proceso de experimentación: cómo va una hipótesis desde la idea hasta el resultado documentado - Gobernanza: quién puede lanzar un test, quién lo aprueba, quién lo detiene si hay un problema - Cultura de aprendizaje: cómo celebrar los tests negativos como aprendizajes, no como fracasos **Parte 2 — De la hipótesis al diseño del test** El trabajo que más impacta en la calidad de los resultados se hace antes de lanzar: - Cómo escribir una hipótesis de producto bien formada: problema → cambio → mecanismo esperado → métrica primaria - Cómo elegir la métrica primaria: guardrail metrics vs. success metrics, por qué nunca testear con revenue directamente en las primeras etapas - Cálculo de tamaño de muestra: herramientas y parámetros clave (significancia 95%, potencia 80%, MDE mínimo relevante para el negocio) - Criterios de diseño del test: unit de aleatorización, duración mínima, segmentación pre-test **Parte 3 — Priorización del backlog de experimentos** No todos los tests valen igual: - El framework PIE (Potential, Importance, Ease) adaptado a experimentación de producto - Cómo calcular el Expected Value of an Experiment (EVE): probabilidad de éxito × impacto si funciona - Cómo gestionar el backlog de hipótesis: quién las propone, cómo se enriquecen con datos cualitativos y cuantitativos, cómo se priorizan trimestralmente - El problema del HiPPO (Highest Paid Person's Opinion) y cómo la experimentación lo neutraliza **Parte 4 — Análisis e interpretación de resultados** Cómo leer los resultados sin confirmar lo que ya creías: - Sequential testing vs. fixed horizon: por qué el peaking invalida el test y cómo el sequential testing lo permite de forma segura - Análisis de guardrail metrics: qué hacer cuando el test gana en la métrica primaria pero daña una guardrail - Análisis de segmentos: la diferencia entre exploración post-hoc (genera hipótesis) y confirmación (necesita test nuevo) - El process de ship/no-ship/iterate: cómo tomar la decisión correcta en los tres tipos de resultado (ganador claro, perdedor claro, resultado ambiguo) **Parte 5 — Escalar la cultura de experimentación** Cómo hacer que todo el equipo piense en términos de experimentos: - Democratización del testing: cómo entrenar a PMs no técnicos para que diseñen tests válidos - Repositorio de experimentos: cómo documentar y compartir los aprendizajes para que no se pierdan con la rotación - Métricas del programa de experimentación: velocidad (tests por semana), calidad (% de tests con resultado significativo), impacto acumulado - Cómo presentar el valor del programa de experimentación al CEO y al board **Formato de salida:** Estructura la respuesta en las cinco partes con subtítulos. Incluye una plantilla de diseño de experimento, un template de priorización PIE con ejemplo y una guía de decisión ship/no-ship/iterate según el tipo de resultado.