El test A/B de punta a punta

Cuándo se saca

Cuando un cambio se puede mostrar a una parte de la gente y no a otra, y la decisión importa lo suficiente como para esperar el resultado.

Cómo se usa

1. Antes de lanzar, deja escritas tres cosas: la métrica principal, el efecto mínimo que valdría la pena y cuánto tiempo va a correr. Con eso se calcula cuánta gente hace falta.
2. Reparte al azar y no revises el resultado cada día para decidir cuándo cortar. Detenerlo apenas se ve bien es la forma más común de declarar ganadores que no existen.
3. Al cerrar, lee la diferencia junto con su rango de incertidumbre, no solo si es significativa. Y pregunta si esa diferencia vale lo que cuesta implementar el cambio.

Un test no dice qué hacer. Dice cuánto de lo que ves podría ser azar.

Una escena típica

Dónde se cae la gente

Mirar el test todos los días y cortarlo cuando se ve bien. Cada revisión con la opción de detenerse aumenta la probabilidad de encontrar una diferencia que no existe.

Dónde se pone a prueba

Saber el método no es la habilidad. Estos challenges no te dicen cuál usar, y ese es justamente el ejercicio.

• 20¿Con qué métrica lo medimos?Un test que según Diseño ganó por lejos, y una pregunta que nadie se hizo antes de lanzarlo: con qué se mide.
• 19La B no está rindiendo, ¿qué pasó?Una variante que rinde muy por debajo, dos áreas con una pieza cada una, y una mesa donde nadie quiere quedar como el culpable.