Growth
Test A/B
Experimento que compara dos o más versiones de algo (una web, un email, un anuncio) para ver cuál funciona mejor.
Se reparte el tráfico al azar entre versiones y se mide una métrica principal hasta alcanzar significación estadística. Booking.com mantiene más de 1.000 a la vez.
La clave es el reparto aleatorio: si las versiones reciben públicos comparables, la diferencia en la métrica se puede atribuir al cambio y no al azar o a otros factores.
Antes de empezar se define la hipótesis, la métrica principal y el tamaño de muestra necesario. Detener el test en cuanto "parece" que gana una versión es uno de los errores más comunes y genera falsos positivos.
Además del A/B clásico existen tests multivariantes (varias variables a la vez) y tests A/B/n (más de dos versiones).
