En esta guía
Lo que necesitas saber antes de lanzar
La duración de un test no se decide a ojo ni «cuando el número se vea claro». Sale de tres datos que ya tienes:
- Visitas al día en la página del test. No las de toda la tienda: las de la ficha, el carrito o la colección donde cambias algo.
- Conversión actual del objetivo. Si mides compras desde la ficha, el porcentaje de visitas a esa ficha que acaban comprando.
- La mejora mínima que te importa. La subida más pequeña que querrías poder detectar, en relativo. Un +15 % sobre un 2,5 % es pasar al 2,875 %.
Y dos reglas que se fijan una vez: confianza del 95 %, es decir, como mucho un 5 % de probabilidad de coronar a un ganador cuando en realidad no hay diferencia, y potencia del 80 %, que es la probabilidad de detectar la mejora si de verdad existe. Son la referencia habitual en tests A/B y las que usa Convision.
La fórmula, sin miedo
Para comparar dos tasas de conversión, las visitas que necesita cada versión son:
z95 % = 1,96 · z80 % = 0,84 · (1,96 + 0,84)² ≈ 7,85
p₁ = conversión actual · p₂ = p₁ · (1 + mejora)
Los días salen de dividir el total entre tu tráfico: días = n · versiones / visitas al día. Con dos versiones, A y B, el total es el doble de n.
Fíjate en el denominador: es la diferencia entre las dos tasas, al cuadrado. Por eso detectar mejoras pequeñas cuesta tantísimo tráfico.
Un ejemplo con números
La ficha de producto de la tienda de ejemplo recibe 3.000 visitas al día y convierte al 2,5 %. Queremos detectar una mejora del 15 % o mayor.
Las dos tasas. p₁ = 2,5 % y p₂ = 2,5 % · 1,15 = 2,875 %.
El numerador. 0,025 · 0,975 + 0,02875 · 0,97125 = 0,0523.
El denominador. (0,02875 − 0,025)² = 0,0000141.
Visitas por versión. 7,85 · 0,0523 / 0,0000141 ≈ 29.190.
Días. 29.190 · 2 / 3.000 ≈ 19,5, es decir, 20 días. Lo redondeamos a 21 para que sean tres semanas completas.
Calcula el tuyo
Mueve las barras con los datos de tu página. Es la misma cuenta que hace Convision antes de dejarte publicar un test.
29.190 visitas por versión, 58.380 en total. La cuenta da 20 días; lo redondeamos a semanas completas.
Cabe en tres semanas. Déjalo correr entero aunque el número salga antes.
Por qué la mejora mínima lo cambia todo
Con la misma ficha al 2,5 %, esto es lo que necesita cada versión según la mejora que quieras detectar:
| Mejora mínima | Visitas por versión | Días con 3.000 al día |
|---|---|---|
| +5 % | 250.842 | 168 |
| +10 % | 64.196 | 43 |
| +15 % | 29.190 | 20 |
| +20 % | 16.789 | 12 → 14 |
| +30 % | 7.789 | 6 → 14 |
La conclusión práctica: en una tienda con poco tráfico, prueba cambios grandes. Un botón de otro color no va a mover un 30 %; una ficha rehecha o una oferta distinta, puede.
Semanas completas, siempre
Aunque la cuenta te dé 9 días, déjalo dos semanas como mínimo y termina en semanas completas. Un lunes no compra como un sábado, la semana de cobro no se parece a la de antes y una campaña de email puede cambiar quién entra un martes concreto. Si cortas a mitad de ciclo, comparas versiones con públicos distintos.
Si el test empieza un jueves, termínalo un jueves. Y evita que caiga encima de unas rebajas o un lanzamiento: el tráfico de esos días no se parece al de un mes normal.
El problema de mirar cada mañana
La fórmula supone que miras el resultado una vez, al final. Si lo miras cada día y paras el primer día que «sale significativo», el 5 % de falsos positivos deja de ser un 5 %. Con cinco vistazos sube a alrededor del 14 %, y con veinte, a cerca del 25 % (Armitage, McPherson y Rowe, 1969). Uno de cada cuatro «ganadores» sería ruido.
Así se ve en un test de la tienda de ejemplo: el primer día la versión B iba un 99 % arriba, con 15 compras frente a 27. Tres semanas después, la mejora real era del 12 %.
Por eso Convision no da veredicto hasta que cada versión pasa de 100 conversiones y la fiabilidad supera el 90 %, y te enseña la duración prevista desde el primer día para que no tengas que adivinar cuándo mirar.
Si te salen meses
Si la calculadora te da más de ocho semanas, no lances ese test tal cual. Un test tan largo se contamina con temporadas, rebajas y cambios en los anuncios. Mejor:
- Prueba un cambio más grande. Buscar un +25 % en vez de un +10 % divide las visitas necesarias por más de cinco.
- Junta páginas. En lugar de una ficha, todas las fichas de producto con la misma plantilla.
- Quédate en dos versiones. Cada versión extra suma otro bloque de visitas.
- Sube en el embudo con cuidado. Añadir al carrito convierte más que comprar y necesita menos tráfico, pero un ganador en carrito puede perder en compras: míralas siempre antes de quedarte con nada.