Cómo plantear una prueba A/B de vídeo cambiando una sola variable
Equipo Drizzle ·
Si cambias la apertura, la oferta y la página de destino a la vez, una diferencia de resultados no te dice qué parte ayudó. Una prueba de una variable busca una pregunta más estrecha. Requiere controlar la entrega y la medición en el sistema donde publiques; crear dos vídeos en Drizzle no establece por sí solo un experimento.
Define una pregunta y una diferencia visible
Una pregunta concreta sería: ¿mostrar el cierre en el primer segundo cambia la proporción de clics respecto a mostrar el producto completo? Prepara A y B con el mismo producto, duración, texto posterior y destino. Describe exactamente qué cambia, incluyendo la zona del encuadre que verá el usuario.
Si al generar aparecen diferencias adicionales, revísalas antes de publicar. Una variante con otro color o una mano deformada ya introduce factores que no querías comparar. Puede que necesites editar o volver a preparar las piezas. Guarda las versiones definitivas, porque el archivo de trabajo no siempre coincide con el material que acaba difundido.
Decide cómo repartir la exposición
Una comparación causal necesita una asignación adecuada y condiciones comparables. Publicar A un lunes y B un viernes puede mezclar la apertura con cambios de audiencia, demanda o distribución. Si la herramienta de publicación ofrece una función experimental, revisa su configuración y documentación antes de asumir que reparte la exposición como necesitas.
Registra fechas, público, ubicación, presupuesto previsto y página de destino en una hoja. No atribuyas a Drizzle ese reparto: aquí estás preparando el material creativo. Cuando no puedas controlar la entrega, presenta el ejercicio como una comparación descriptiva y anota las diferencias, en lugar de llamarlo una prueba causal concluyente.
El diseño completamente aleatorizado de NIST asigna al azar los tratamientos a las unidades experimentales. En publicidad debes precisar qué unidad asigna la herramienta y cómo evita cruces entre variantes; alternar publicaciones en días distintos no cumple por sí solo esa condición.
Anota la métrica antes de ver los resultados
Ejemplo ficticio: A recibe 80 clics sobre 4.000 impresiones, un 2 %; B recibe 110 sobre 5.000, un 2,2 %. La diferencia observada es 0,2 puntos porcentuales. Esos recuentos por sí solos no demuestran una mejora estable ni explican qué ocurre después del clic.
Elige una métrica principal acorde a la pregunta y conserva las demás como contexto. Si decides la ganadora buscando cualquier columna donde una versión sobresalga, aumentas el riesgo de contar una historia accidental. Anota también el criterio previsto para terminar la observación; no interrumpas automáticamente cuando aparezca la diferencia que esperabas encontrar.
Concluye con el alcance que permite el diseño
Una nota de cierre puede decir: «B mostró mayor proporción de clics en esta comparación; falta confirmar el patrón y revisar la conversión posterior». Si hubo reparto desigual, incidencias o cambios de oferta, inclúyelos junto al resultado. Ningún porcentaje sustituye la descripción de cómo obtuviste los datos.
Revisa la diferencia entre CTR y conversión antes de elegir la siguiente pieza. Conserva el experimento en una ficha de prueba. Así podrás repetir la pregunta con condiciones mejor controladas y evitarás convertir una observación puntual en una regla general para todos los productos.