© 2015 Harvard Business School Publishing Corp.
Oliver Hauser y Michael Luca
El ascenso de las evaluaciones experimentales dentro de las organizaciones –a lo que los economistas se refieren como experimentos de campo- tiene el potencial de transformar la toma de decisiones, ofreciendo una perspectiva fresca en áreas que abarcan desde el diseño de productos hasta los recursos humanos y las políticas públicas.
Sin embargo, aunque ha existido un rápido crecimiento en los experimentos, especialmente dentro de las compañías tecnológicas, hemos visto que muchos de ellos se realizan de forma incorrecta. Incluso cuando se preparan adecuadamente, suelen ocurrir errores evitables dentro de la implementación.
He aquí siete pasos para asegurarse de que experimento de resultados:
1. Identifique una pregunta estrecha. Es tentador realizar un experimento alrededor de una pregunta cómo "¿La publicidad vale lo que cuesta?" o "¿Deberíamos reducir (o aumentar) los bonos anuales?" De hecho, comenzar con una pregunta que es central para sus objetivos más amplios es un buen inicio, pero es incorrecto pensar que un solo experimento será suficiente. La razón es simple: Hay muchos factores en juego al contestar este tipo de grandes preguntas.
2. Use un gran martillo. Las compañías experimentan cuando no saben qué funcionará mejor. Al enfrentar esta incertidumbre, podría ser atractivo el comenzar en pequeño para no trastornar las cosas. Sin embargo, su meta debería ser el averiguar si alguna versión de su intervención –su nuevo cambio- hará una diferencia para sus consumidores. Esto requiere una intervención lo suficientemente grande.
3. Realice una auditoría a la información. Una vez que usted sabe cuál es su intervención, necesita decidir qué datos observar. Haga una lista de todos los datos internos que están relacionados con el resultado en el que quisiera influir y cuándo necesitará hacer las mediciones. Incluya datos que traten tanto acerca de las cosas que espera cambiar, como de las cosas que espera que no se modifiquen como resultado de su intervención, porque necesitará estar alerta ante consecuencias accidentales.
4. Elija una población de estudio. Escoja un subgrupo dentro de sus consumidores, que coincida con el perfil al que quiere comprender.
5. Actúe al azar. Asigne aleatoriamente algunas personas a un grupo de tratamiento y otras a un grupo de control. El grupo de tratamiento recibe el cambio que usted quiere probar, mientras que el de control obtiene lo que usted ofrecía previamente y asegúrese de que no hay diferencias además de las que está probando. La primera regla del azar es no dejar que los participantes decidan en qué grupo quieren estar, o los resultados no tendrán significado. La segunda es asegurarse de que realmente no hay diferencias entre tratamiento y control.
6. Comprométase con un plan, y aférrese a él. Antes de realizar un experimento, defina sus planes a detalle. ¿Cuántas observaciones recolectará? ¿Cuánto tiempo dejará que opere el experimento? ¿Qué variables serán reunidas y analizadas? Registre estos detalles. Esto puede ser tan simple como crear una hoja de cálculo en Google o tan oficial como usar un registro público de prueba. No solo este nivel de transparencia asegurará que todos estén en la misma página, también le ayudará a evitar obstáculos comunes en la implementación de experimentos.
Una vez que su experimento esté en marcha ¡déjelo funcionar! Si obtiene el resultado que esperaba, grandioso; si no, eso también es bueno.
7. Deje que la información hable. Para brindar un panorama completo de sus resultados, reporte múltiples resultados. Seguro, algunos podrían no mostrar cambios, no ser impresionantes o directamente inexplicables. Sin embargo, es mejor ser transparente respecto a ellos que ignorarlos. Una vez que haya revisado los principales resultados, pregúntese si usted realmente ha descubierto el mecanismo subyacente detrás de sus resultados el factor que los impulsa. Si no está seguro, refine su experimento y haga otro intento para aprender más.
(Oliver Hauser estudia el doctorado en Harvard. Michael Luca es profesor asistente en la Harvard Business School.)