1⃣ La estadística es importante, pero con prudencia. La población de un sitio web o aplicación es caótica en tamaño, distribución y características socio-demográficas, por lo que el purismo académico no tiene cabida.
2⃣ Entrena el hábito de aprender de las variantes que no funcionan. La experimentación online permite explorar opciones que sí pueden ser beneficiosas para otros proyectos futuros.
3⃣ Conoce la tecnología sobre la que se apoya el producto. En el libro de Ronny Kohavi se cuenta la anécdota de cómo los datos de Android, iOS y Windows diferían con respecto al núm. total de clics y eso se debía a una diferencia en la manera que los Android medían los clics.
4⃣ Lo que aprendes de una industria rara vez puede extrapolarse a otra. El comportamiento de los usuarios de un sitio web del sector moda poco o nada tienen que ver con el de un SaaS B2B.
5⃣ El tiempo y la velocidad son importantes. Mide cuánto tiempo tardas en realizar un ciclo completo o parcial de experimentación e intenta mejorarlo. El negocio te lo agradecerá.
6️⃣ Sé escéptico. Habitualmente, si un resultado es extremadamente bueno, se deberá a errores de medición, outliers o elementos externos al experimento. Practica la sana desconfianza, practica la Twyman's law.
7️⃣ Diseña sistemas, modelos y patrones para que tu equipo pueda enfrentarse a los sesgos. El ser humano busca la opción más cómoda y sencilla (y en ocasiones incorrecta) para resolver un problema. Minimiza ese impacto con procesos.
Hasta aquí esta pequeña lista.
Hay bastantes más aprendizajes relacionados con diseño, analítica, dirección, entre otros. Si te ha parecido útil házmelo saber y haré más hilos así.
"When a measure becomes a target, it ceases to be a good measure"
Goodhart's Law
"The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor"
Campbell's Law
"The relationship observed in historical data can't be considered structural, or causal. Policy decisions can alter the structure of economic models and the correlations that held historically will no longer hold"
Me sorprende cuánta gente, cuando le hablas de #GrowthHacking, dice:
"Ah, pero esto yo ya lo hacía"
Lo siento: Pero estás muy equivocado. Tú no hacías Growth Hacking.
Dentro hilo
Cuando a mucha gente le comentas que Growth Hacking es una metodología que se centra en la experimentación (tanto de canales como de casi cualquiera cosa), mucha gente levanta la ceja y dice que ya experimenta y que ya hace eso.
Lo curioso es que es un sí, pero no.
Sí que probabas diferentes canales para generar más tracción
Sí que probabas diferentes onboardings para aumentar el entendimiento del producto
Sí que montabas campañas para mejorar la retención o recurrencia...
Experimentabas, sí. Pero experimentabas de forma no-estructurada.