Drill 15
¿Real o azar?
Salió una diferencia. ¿Con cuántos casos puedes creerle?
Cómo pensar una diferencia contra el azar y cuántos datos hacen falta antes de mirarla.
Cuándo se saca
Cuando se comparan dos grupos, dos períodos o dos versiones y la diferencia no es enorme, o cuando hay pocos casos.
Cómo se usa
- Parte suponiendo que no hay diferencia real. La pregunta es qué tan raro sería ver lo que viste si todo fuera azar.
- Mira cuántos casos hay detrás. Con pocos casos el azar produce diferencias grandes con facilidad; con muchos, hasta una diferencia chica se vuelve confiable. El tamaño de la muestra se decide antes, según la diferencia más chica que te importaría detectar.
- Informa la diferencia con su rango, no solo si pasó o no una prueba. Un resultado no significativo no prueba que no haya efecto: puede que no hubiera datos suficientes para verlo.
Antes de preguntar si la diferencia es grande, pregunta cuántos casos la sostienen.
Una escena típica
Escena ilustrativa, sin datos de un caso real.
Escena típica en un equipo de ventas.
Lo que se veíaUn vendedor con un guion nuevo cierra más ventas en su primera semana y se propone que todo el equipo lo use.
Lo que eraEsa semana tuvo pocas visitas. Varios vendedores con el guion de siempre habían tenido semanas iguales o mejores en otros momentos.
En qué terminóSe decidió probarlo con más vendedores y durante más tiempo, con la cantidad de visitas definida antes de empezar.
Dónde se cae la gente
Leer "no significativo" como "no funciona". Con pocos datos la prueba no alcanza a ver ni siquiera un efecto real, y se descarta algo que merecía una prueba mejor.
Fuego rápido
3 preguntas sobre esto mismo. Si fallas una, la línea de abajo dice por qué.
Dónde se pone a prueba
Saber el método no es la habilidad. Estos challenges no te dicen cuál usar, y ese es justamente el ejercicio.
Quién lo revisa
Rodrigo Urrea
Analítica · Forecasting · Productos digitales
- 14 años
- Chile · Alemania · EE.UU.
- Varias industrias
- Forecasting
- Productos digitales
- MSc Business Analytics
- AI-ready
Catorce años en analítica, en Chile, Alemania y para compañías en Estados Unidos.
Empecé en consumo masivo y bebidas, donde los pedidos llegaban con apuro y sin contexto. Después forecasting, productos digitales, y empresas sin equipo de datos que necesitaban una respuesta usable el lunes y no el mejor modelo posible. Un MSc en Business Analytics en el camino. Trabajé en varias industrias, y el patrón se repite en todas: el problema casi nunca es la técnica o la herramienta.
Hoy trabajo en construir capacidades AI-ready para tareas de analítica: qué parte del trabajo conviene automatizar y qué parte sigue siendo criterio. La segunda es más grande de lo que parece.
Los 21 challenges salen de pedidos que me hicieron a mí.
LinkedIn ↗Todos mis enlaces ↗