Un test A/B es un experimento controlado: muestras a una parte de tus usuarios una versión de una página o de un elemento (la variante A, normalmente la actual) y a otra parte una versión distinta (la variante B). Comparas una métrica, por ejemplo la tasa de conversión, y decides si la diferencia es real o producto del azar.
Por qué no basta con «antes y después»
Si cambias un botón el lunes y el martes ves más ventas, no sabes si fue el botón, una campaña, el día de la semana o la casualidad. En un A/B ambas versiones se prueban al mismo tiempo y con usuarios asignados al azar, así que el resto de factores afectan por igual a las dos. Esa es la clave: la aleatorización permite atribuir la diferencia al cambio.
Cuándo tiene sentido hacer un test
- Tienes tráfico suficiente. Como verás en la lección 5, detectar mejoras pequeñas requiere decenas de miles de visitantes por variante.
- Hay una decisión que depende del resultado. Si vas a lanzar el cambio hagas lo que hagas, un test no aporta nada.
- Puedes medir el objetivo. Una compra, un registro, un clic. Sin una métrica clara no hay experimento.
- Hay incertidumbre real. Si es un error evidente (un botón roto, un formulario que no envía), se arregla, no se testea.
Cuándo no hacerlo
Con poco tráfico, un test tardará meses y probablemente no concluirá. En ese caso es mejor apoyarte en investigación cualitativa (entrevistas, grabaciones de sesión, encuestas), en mejores prácticas contrastadas y en cambios más grandes, y reservar el A/B para cuando el volumen lo permita.
Las piezas de un experimento
- Hipótesis: qué crees que pasará y por qué.
- Variantes: control (A) y una o más alternativas.
- Métrica principal: la que decide el resultado.
- Muestra y duración: cuánta gente y cuánto tiempo.
- Criterio de decisión: qué resultado te hará implementar, descartar o seguir probando.
Para pensar: piensa en un cambio que estés a punto de hacer en tu web. ¿Podrías defender que hay incertidumbre real y que tienes tráfico suficiente para medirlo?