Cómo hacer un test A/B de un tema nuevo en Shopify

Por qué publicar y mirar no sirve

Lo habitual es publicar el tema nuevo un lunes y comparar las ventas con las de la semana anterior. El problema es que esa semana también han cambiado los anuncios, el tiempo, los emails y quién entra en la tienda. Si las ventas suben, no sabes si ha sido el tema. Y si bajan, lo has notado con toda la tienda.

Un test reparte las visitas entre los dos temas a la vez. Mismo tráfico, mismos días, mismas campañas. La única diferencia que queda es el tema.

Cómo funciona por dentro

Shopify permite ver un tema sin publicar con el parámetro ?preview_theme_id= seguido de su número. Un test de tema se apoya en eso: el tema publicado sigue siendo el A, y a las visitas que caen en B se las lleva a la vista previa del nuevo.

La trampa de la redirección

Muchos tests de tema registran la visita cuando ya ha cargado la página de destino. Parece lo mismo, pero no lo es: quien se cansa durante el salto, o el bot que no sigue redirecciones, no llega a registrarse en B y sí en A. B parte con menos visitas «malas» y convierte mejor sin haber hecho nada.

La forma correcta es decidir el brazo y registrar la exposición antes de saltar, en los dos brazos por igual. Es lo que hace Convision.assign en Convision: el cargador va en el <head> del tema publicado, decide y, si ya sabe que hay permiso de analítica, registra la exposición en ese momento.

var arm = window.Convision && Convision.assign('tema-nuevo');
if (arm === 'variant') {
  var u = new URL(location.href);
  u.searchParams.set('preview_theme_id', '158392');
  location.replace(u);
}

Si devuelve null, la visita no entra en el test (otra página, otro dispositivo, rechazo de la analítica); si devuelve undefined, el test no está en marcha. En los dos casos, no se salta.

Preparar el tema nuevo

• Súbelo sin publicar. A tu biblioteca de temas, con su número a mano.
• Copia los bloques de apps. Klaviyo, el gestor de etiquetas, las reseñas o el chat se activan tema a tema. Si B no los tiene, mide peor o vende sin reseñas, y el test compara otra cosa.
• Mismo catálogo y mismos precios. Si B cambia también la oferta, ya no sabrás qué ha funcionado.
• Mismas URLs. Que una ficha de A exista en B con la misma ruta, para que la visita pueda moverse por toda la tienda.

QA sin ensuciar los datos

Antes de lanzar, recorre el tema B como lo haría un cliente: portada, colección, ficha, carrito y pago, en móvil y en escritorio. Hazlo en una ventana privada y forzando la versión, para que tus visitas no cuenten:

Convision.assign('tema-nuevo', { force: 'variant' }); // no mide nada en esa pestaña

La ventana privada importa: si tu navegador ya tenía un recibo de una visita real, el píxel podría atribuir tus compras de prueba a aquella versión. Y mira la vista previa desde un navegador sin sesión de administrador, que es lo que verá tu cliente.

Leer el resultado por dispositivo

Un tema puede ganar en móvil y no cambiar nada en escritorio, o al revés. Antes de publicar, mira el resultado separado. Este es el de la tienda de ejemplo, a los 28 días:

Aquí la lectura es sencilla: B gana en móvil y no pierde en escritorio, así que se publica. Si escritorio hubiera salido claramente peor, como en Shopify no puedes publicar un tema por dispositivo, tocaría arreglar esa parte y volver a probar.

Antes de publicar el ganador

1. Espera al veredicto. Más de 100 compras por versión y una fiabilidad superior al 90 %, en semanas completas.

2. Para el test antes de publicar. Si no, el cargador seguiría mandando visitas a una vista previa de un tema que ya es el publicado.

3. Revisa ajustes y bloques de apps una vez más en el tema que vas a publicar.

4. Mide las semanas siguientes con los mismos indicadores. Lo normal es que la mejora se parezca a la del test, no que la iguale al céntimo.