Los conceptos cuantitativos que el PM necesita dominar: el diseño de experimentos, el cálculo del tamaño de muestra, la detección de efectos pequeños y la interpretación honesta de los resultados.
Cuándo usarlo: Diseñar e interpretar experimentos de producto con rigor estadístico para tomar mejores decisiones
Herramienta recomendada: Claude
Actúa como un director de producto con sólida formación en estadística aplicada y experiencia diseñando programas de experimentación a escala en empresas tech con millones de usuarios. Voy a explorar contigo los conceptos estadísticos que todo product manager necesita para tomar decisiones de producto más rigurosas. Mi contexto: [describe tu situación: el volumen de usuarios o tráfico con el que trabajas, si ya haces tests A/B y con qué herramientas, el nivel de sofisticación estadística de tu equipo y los conceptos específicos que sabes que te faltan] Trabaja conmigo en profundidad los siguientes bloques: **1. La mentalidad experimental del product manager** El PM que trabaja con datos de forma rigurosa no busca confirmación de sus hipótesis: diseña experimentos para falsarlas. Explícame la diferencia entre la mentalidad de confirmación (buscar en los datos evidencias de que tenemos razón) y la mentalidad experimental (diseñar el test que podría demostrar que estamos equivocados): el concepto de hipótesis falsable en el contexto del diseño de producto, por qué los PMs que hacen tests para aprender tienen mejor historial de decisiones que los que hacen tests para convencer a los stakeholders y los errores de diseño experimental más comunes que producen resultados no interpretables. **2. El diseño del experimento: antes de lanzar el test** El resultado de un test A/B está determinado en gran medida por las decisiones que se toman antes de lanzarlo. Explícame el proceso de diseño de experimentos en el contexto del PM: cómo formular la hipótesis de forma que sea testable (el formato "si hacemos X, esperamos Y en la métrica Z porque W"), la elección de la métrica primaria y las métricas guardianas (que detectan si el cambio tiene efectos secundarios negativos), el período de observación necesario (que va más allá del tiempo hasta la significancia estadística), las decisiones de asignación de usuarios al experimento (aleatorización correcta, manejo de grupos contaminados) y la documentación del diseño antes de lanzar. **3. El tamaño de muestra: cuántos usuarios necesitas** El error más frecuente en los tests A/B de producto es lanzarlos sin calcular el tamaño de muestra necesario. Explícame cómo calcular el tamaño de muestra para un test A/B: el mínimo efecto detectable (MDE) como el tamaño mínimo de mejora que el equipo consideraría significativa desde el punto de vista del negocio, el poder estadístico (la probabilidad de detectar el efecto si existe), el nivel de significancia (la tolerancia al error de Tipo I), cómo estos tres factores determinan el tamaño de muestra necesario y las herramientas que hacen el cálculo sin necesitar hacer las matemáticas a mano. Las consecuencias de los tests con poder insuficiente. **4. Interpretar los resultados sin caer en las trampas comunes** La fase de interpretación de los resultados es donde más errores se cometen. Explícame las trampas estadísticas más comunes en la interpretación de tests A/B: el peeking (mirar los resultados antes de tiempo y tomar decisiones cuando el test todavía no tiene suficiente muestra), el problema de las comparaciones múltiples (por qué testear muchas métricas a la vez genera falsos positivos), la diferencia entre el resultado del test en el período de observación y el efecto a largo plazo (los efectos de novedad), cómo interpretar los resultados cuando la métrica primaria no mueve pero las métricas secundarias sí y cómo gestionar la presión del stakeholder que quiere ver un resultado positivo. **5. Experimentos avanzados: más allá del test A/B simple** El test A/B clásico es solo el punto de partida de un programa de experimentación maduro. Explícame las variantes más avanzadas que el PM debe conocer: el test multivariante (cuando quieres testear varias variantes a la vez y las implicaciones para el tamaño de muestra), los tests de switchback o time-based (para cambios que no se pueden aleatorizar por usuario), los experimentos de holdout a largo plazo (para medir el efecto acumulado de los cambios), el bandido multi-brazo (como alternativa al test A/B cuando la exploración y la explotación deben ocurrir simultáneamente) y los quasi-experimentos (cuando el experimento controlado no es posible). **6. Construir la cultura de experimentación en el equipo de producto** Los conceptos estadísticos solo generan valor si el equipo los aplica de forma sistemática. Propón el proceso para construir una cultura de experimentación rigurosa: el programa de formación estadística básica para PMs y diseñadores (qué deben entender y qué no necesitan dominar), el proceso de revisión del diseño experimental antes de lanzar el test (la revisión de pares que detecta los errores de diseño más comunes), el repositorio de experimentos que acumula el aprendizaje del equipo y evita repetir los mismos errores, y cómo comunicar los resultados de los tests (incluyendo los negativos) a los stakeholders de forma que generen aprendizaje organizacional. Quiero que uses ejemplos de decisiones de producto reales (onboarding, retención, monetización, engagement) para ilustrar cada concepto estadístico.