El A/B testing es un experimento controlado que reparte el tráfico real entre dos versiones de una misma página o elemento y mide cuál rinde mejor en un objetivo fijado de antemano, usando una comprobación estadística para separar la diferencia real del azar.
Cómo se monta un test A/B que decide de verdad: reparto, tamaño de muestra, el peeking que falsea resultados y qué pide Google al testar.
Dos tazas iguales; de una se bebió
¿Qué significa el A/B testing?
Un A/B test enfrenta dos versiones de lo mismo. La versión A suele ser la actual y la versión B incorpora un cambio concreto: otro titular, otro formulario, otro precio mostrado. Los visitantes se reparten al azar entre ambas y cada grupo ve solo la suya. Como las dos versiones están vivas a la vez y el reparto es aleatorio, todo lo demás afecta por igual a los dos grupos: la estación del año, una campaña activa, una noticia sobre el sector.
Esa simultaneidad es lo que convierte una comparación en una prueba. Sin ella tienes dos periodos distintos y ninguna forma de saber si la mejora viene de tu cambio o del mercado.
El método no es exclusivo de las páginas web. Se usa igual en asuntos de email, creatividades de anuncios, flujos de registro y precios mostrados. Lo que cambia de un caso a otro es el volumen necesario y la rapidez con la que se acumula.
Cómo funciona un A/B test
Un test bien montado sigue siempre el mismo orden, y saltarse un paso suele invalidar el resultado.
Primero se formula una hipótesis que se pueda equivocar: «mover el formulario por encima del pliegue aumentará las solicitudes de presupuesto». Después se fija una única métrica primaria, la que decide, y se calcula cuántos visitantes hacen falta. Ese cálculo depende del efecto mínimo que quieras poder detectar: cuanto más pequeña sea la mejora que buscas, más muestra necesitas. Detectar un salto del 20 % en la tasa de conversión cuesta una fracción del tráfico que cuesta detectar uno del 2 %.
Con el tamaño de muestra ya decidido se lanza el reparto aleatorio y se deja correr. Al alcanzar el volumen previsto se comprueba si la diferencia observada es compatible con la casualidad. El umbral habitual es el 95 % de confianza, que equivale a aceptar un 5 % de probabilidad de dar por bueno un ganador que no existe. Ese 5 % solo vale si miras el resultado una vez, al final.
El último paso es la decisión: implantar B, quedarse con A o repetir el test con más muestra. Un resultado plano también es información, porque descarta una idea antes de que se convierta en un proyecto.
Sobre las herramientas
Google cerró Google Optimize, su herramienta gratuita de testing, el 30 de septiembre de 2023 y no publicó ningún sustituto propio. Quien empieza hoy elige entre herramientas de terceros o reparte el tráfico en su propio servidor. Esto último es lo más limpio para el SEO, porque la variante se sirve en la misma URL y sin retrasos de renderizado.
El reparto aleatorio y la simultaneidad son lo que distingue un test de una comparación antes-después.Delimitación
A/B testing frente a otros métodos de prueba
La confusión más cara en la práctica no está entre el A/B test y el test multivariante. Está entre un A/B test y una comparación antes-después.
En una comparación antes-después publicas el cambio, esperas un mes y lo comparas con el mes anterior. Parece un test y no lo es. Entre los dos periodos también cambiaron la estación, la competencia, tus campañas y con frecuencia el propio algoritmo de Google. Si las ventas suben un 8 %, no tienes forma de repartir ese 8 % entre tu cambio y todo lo demás. Un A/B test resuelve justo eso, porque los dos grupos viven el mismo mes.
Método
Qué compara
Cuándo tiene sentido
A/B test
dos versiones completas, a la vez, con reparto aleatorio
un cambio claro y tráfico suficiente para cerrar la muestra
Test multivariante
combinaciones de varios elementos a la vez
mucho tráfico y necesidad de saber qué elemento pesa
Test de URL dividida
dos URLs distintas en lugar de dos variantes de una
rediseños completos; exige redirect 302 y canonical
Comparación antes-después
dos periodos consecutivos, sin grupo de control
último recurso cuando el tráfico no da para un test
Personalización
segmentos fijos, sin grupo de control
adaptar la experiencia, no medir un efecto
El test multivariante prueba combinaciones de varios elementos a la vez y reparte el tráfico entre todas ellas. Con cuatro combinaciones necesitas aproximadamente cuatro veces la muestra de un A/B test para llegar a la misma certeza, así que en sitios medianos rara vez llega a cerrarse.
La personalización se confunde con el testing porque también muestra contenidos distintos a personas distintas. La diferencia está en el grupo de control: la personalización asigna por segmento y de forma permanente, así que no queda nadie con quien comparar el resultado.
Por qué importa
El valor del A/B testing no está en encontrar ganadores. Está en no implantar perdedores. Un rediseño que baja la conversión un 5 % pasa desapercibido durante meses si nadie lo midió contra la versión anterior, y para entonces el equipo ya ha construido encima.
La mayoría de los tests salen planos o negativos. Eso desanima al principio y es la parte más útil del método: cada idea descartada con datos es presupuesto que no se gasta en desarrollarla.
También cambia cómo se discute dentro del equipo. Una hipótesis escrita antes de ver los datos se puede evaluar; una opinión sobre qué titular suena mejor, no. El A/B testing traslada la discusión del gusto al resultado, y eso pesa sobre todo cuando la decisión afecta a un formulario por el que pasa todo el negocio.
Buenas prácticas
Fija la métrica primaria y el tamaño de muestra antes de lanzar, y anótalos donde no los puedas cambiar después.
Deja correr el test hasta el volumen previsto y cierra siempre semanas completas: el comportamiento de un lunes no se parece al de un domingo.
Cambia una sola cosa por test si quieres poder explicar el resultado.
Si el test usa URLs distintas, redirige con un 302 y apunta el rel="canonical" de la variante hacia la URL original. Google lo pide así.
Retira el montaje del test en cuanto tomes la decisión. Google avisa de que un experimento activo mucho más tiempo del necesario puede interpretarse como un intento de engaño.
Guarda también los tests planos y los negativos. Son el registro de lo que ya se probó y evitan repetir el mismo experimento dentro de un año.
Errores frecuentes
Parar el test el primer día que aparece «significativo». Cada vistazo intermedio es una nueva oportunidad de que el azar cruce el umbral, y con revisiones repetidas la probabilidad real de un falso ganador sube muy por encima del 5 % anunciado.
Medir el clic en el botón en lugar del pedido. Una variante puede ganar en clics y perder en ingresos.
Usar un redirect 301 para el test. Google sustituye entonces la URL original en su índice por la de la variante, y al terminar el test te queda posicionada la URL equivocada.
Servir una versión distinta a Googlebot «para no molestarlo». Eso es cloaking y va contra las políticas de spam de Google.
Lanzar un test sobre una página con tan poco tráfico que nunca alcanzará el tamaño de muestra, y decidir igualmente con los datos que haya.
Manuel Riveiro RodriguezCEO & Digital Strategist
¿Quieres saber cómo se aplica esto a tu sitio? Lo revisamos contigo.
Hasta alcanzar el tamaño de muestra calculado al principio, y siempre cerrando semanas completas. Dos semanas es lo habitual en sitios con tráfico medio. Terminar antes porque el resultado ya parece claro es la forma más común de sacar un ganador que no existe.
¿Cuánto tráfico hace falta para hacer A/B testing?
Depende del efecto que quieras detectar y de tu tasa de conversión actual. Cuanto menor sea la mejora esperada, más muestra necesitas. Con pocas conversiones al mes conviene probar cambios grandes en lugar de matices, o medir un objetivo intermedio más frecuente que la compra.
¿El A/B testing perjudica al SEO?
No, si se hace según las indicaciones de Google: nunca servir versiones distintas a Googlebot y a las personas, usar un redirect 302 en lugar de un 301 cuando el test reparte entre varias URLs, apuntar el rel="canonical" hacia la original y retirar el montaje al terminar.
¿Qué diferencia hay entre A/B testing y test multivariante?
El A/B test compara dos versiones completas. El multivariante prueba combinaciones de varios elementos a la vez para saber cuál de ellos pesa más. El multivariante responde a más preguntas, pero reparte el tráfico entre muchas más variantes y por eso exige bastante más volumen.
¿Qué hago si el test no da un ganador claro?
Un empate suele significar que el cambio era demasiado pequeño para importar. Quédate con la versión más simple de mantener y dedica el siguiente test a una hipótesis más ambiciosa. Repetir el mismo test con más muestra solo compensa si la diferencia observada apuntaba con claridad en una dirección.
1969El efecto de comprobar los resultados varias veces durante un experimento está descrito desde Armitage, McPherson y Rowe, «Repeated significance tests on accumulating data», Journal of the Royal Statistical Society A.
