Cómo comprobar si dos revisores aprueban los vídeos con el mismo criterio
Equipo Drizzle ·
Una pieza no debería cambiar de estado únicamente porque la revise otra persona. Aun así, una rúbrica escrita puede dejar margen para interpretaciones distintas. Comparar unas revisiones independientes permite encontrar esas diferencias antes de que afecten a todo el catálogo. El objetivo es aclarar decisiones sobre archivos concretos, no convertir el porcentaje de acuerdo en una medida absoluta de calidad.
Prepara una selección que incluya casos difíciles
Elige clips válidos, fallos claros y situaciones dudosas. Si todas las piezas resultan fáciles de aprobar, el ejercicio no pondrá a prueba las partes ambiguas de la rúbrica. Conserva la misma referencia del producto para ambos revisores y evita comentar los archivos antes de que terminen su evaluación individual.
Pide una decisión y un motivo breve con el segundo aproximado del defecto. Dos personas pueden coincidir en rechazar un archivo por razones diferentes; esa coincidencia necesita interpretación. Registra también la versión de la rúbrica que han usado. Si alguien aplica criterios antiguos, resuelve primero ese problema antes de discutir la pieza como si ambos partieran de las mismas reglas.
Calcula acuerdo bruto sin exagerar su significado
Ejemplo ficticio: dos revisores evalúan 20 clips y coinciden en 16 decisiones. El acuerdo bruto es 16 / 20 × 100 = 80 %. Es una descripción de esta selección, no una prueba de que el sistema acierte el 80 % de las veces ni una garantía sobre futuras revisiones.
Mira qué decisiones componen ese acuerdo. Si casi todas las piezas pertenecen a una sola categoría, el porcentaje puede resultar alto sin revelar mucha capacidad para distinguir casos. No lo uses como única cifra de calidad. Los desacuerdos concretos y sus motivos suelen indicar mejor qué definiciones necesitan trabajo antes de revisar más material.
Añade una tabla de cuatro casillas. Un ejemplo compatible con 16 acuerdos sería: ambos aprueban 10, ambos rechazan 6, solo A aprueba 3 y solo B aprueba 1. Total: 20 clips. Mantiene el 80 % de acuerdo, pero muestra quién aplica el criterio más estricto; no identifica quién tiene razón sin volver a la referencia.
Resuelve la regla, además del archivo
Reproduce cada caso discrepante junto a la referencia. Pregunta qué observación llevó a cada decisión y qué frase de la rúbrica respalda ese criterio. Si el conflicto es «se ve suficientemente bien», concreta el tamaño de visualización y el detalle que debe reconocerse sin ayuda.
Anota la decisión final, pero también el ajuste de la regla que evitará repetir la discusión. Por ejemplo: «El cierre debe conservar el número de piezas durante todo el movimiento». Esa definición ayuda más que imponer la opinión de quien tenga mayor autoridad. Cuando el criterio dependa del destino, registra esa condición en lugar de fingir una regla universal.
Repite con material nuevo y conserva el historial
Después de aclarar la rúbrica, elegid otra selección y volved a revisar por separado. Repetir exactamente los mismos clips puede medir memoria de la discusión anterior. No necesitas convertir la calibración en una tarea diaria; úsala cuando cambien revisores, tipos de producto o exigencias de entrega.
Actualiza la rúbrica visual y guarda los ejemplos que explican los casos límite. Lleva este registro fuera de Drizzle, enlazado a los archivos exportados. Una decisión consistente sigue necesitando una referencia correcta del producto: que dos personas coincidan no demuestra que ambas hayan comparado el clip con el artículo que realmente se vende.