La latencia no es desincronización labial

Hay dos quejas que suenan casi igual y no tienen nada que ver entre sí. «Los espectadores lo ven tarde» es latencia. «Los labios no cuadran con la voz» es desincronización. Se corrigen en sitios distintos, las corrigen personas distintas, y lo primero útil que puedes hacer es negarte a tratarlas como un solo problema.

Cómo distinguirlas en diez segundos

La distinción que más importa: la latencia es un retraso que puedes presupuestar, y la desincronía es una avería. Diez segundos de latencia son una decisión de diseño. Doscientos milisegundos de error de sincronía labial son algo roto, con cualquier latencia.

De qué se compone el retraso

La latencia no es un único número que produce una única cosa. Es una suma, y cada sumando pertenece a alguien distinto. Saber cuál es cuál te dice al instante si puedes hacer algo al respecto.

Tu codificador. Tiene que reunir suficientes fotogramas para comprimirlos unos respecto a otros y después entregar el resultado. Es poco, y depende sobre todo de los ajustes de búfer del propio codificador.

El trayecto hasta nosotros. La distancia física más la protección que hayas pedido. Si usas SRT, la URL lleva un margen de latencia de al menos 500 ms: has comprado explícitamente ese retraso a cambio de sobrevivir a la pérdida de paquetes, y eso es el intercambio funcionando como debe, no una avería.

Nuestra codificación y empaquetado. La señal se recodifica en la escalera de calidades y se corta en segmentos. dcast usa segmentos de 4 segundos con un intervalo de fotogramas clave de 2 segundos, así que un segmento no puede publicarse hasta que existen sus 4 segundos. En la entrega segmentada, este es el mayor sumando de la cadena, y es aritmética, no ineficiencia.

La entrega al espectador. Llevar los segmentos hasta donde esté el espectador.

El búfer del reproductor. Antes de mostrar nada, el reproductor acumula segmentos para que un momento lento en la conexión del espectador no se convierta en un parón visible. Es el sumando que la mayoría no sabe que existe, y a menudo es el más grande después del empaquetado. Un reproductor que guarda tres segmentos de 4 segundos va doce segundos por detrás del directo antes de dibujar un solo fotograma, no porque algo vaya lento, sino porque ha decidido ir sobre seguro.

Qué puedes reducir y qué no

Suma los componentes y salta a la vista dónde hay margen. La física (la distancia, la velocidad de la red) no la puedes cambiar. El búfer de tu codificador es tan pequeño que ajustarlo rara vez compensa el riesgo. El margen de latencia de SRT sí puedes bajarlo, pero tu tolerancia a la pérdida de paquetes baja exactamente en la misma medida, y si usabas SRT, es de suponer que tenías un motivo.

Los dos componentes con margen real son la duración del segmento y el búfer del reproductor, y están ligados: el reproductor acumula en unidades de segmento, así que la duración del segmento se multiplica. En dcast, la parte del reproductor se expone como un modo de latencia de la transmisión (normal, low o ultra), y conviene ser preciso sobre lo que hace ese ajuste: cambia cuánto acumula el reproductor y no llega en absoluto al codificador. La rejilla de codificación es la misma para todas las transmisiones de la plataforma.

Esa es la forma honesta del intercambio. Un búfer más corto significa que el espectador está más cerca del directo y tiene menos protección frente a los tirones de su propia conexión; un búfer más largo significa lo contrario. No hay ningún ajuste que dé ambas cosas, y quien te diga que un protocolo elimina el intercambio lo ha trasladado a otro sitio, no lo ha eliminado.

Decide cuánto de «en directo» necesita tu emisión

La mayoría de las emisiones no necesitan baja latencia, y las que sí la necesitan suelen hacerlo por un motivo concreto que conviene nombrar antes de empezar a sacrificar robustez.

Si tus espectadores interactúan contigo en directo (lees el chat en voz alta, respondes preguntas, haces una subasta), la latencia es todo el producto, y un espectador que va veinte segundos por detrás está participando en una conversación distinta de la tuya.

Si tus espectadores pueden enterarse del acontecimiento dos veces (un partido en el que el vecino de al lado grita el gol antes, o cualquier cosa en la que una notificación del móvil pueda adelantarse a tu emisión), la latencia es un problema de spoilers.

Si no se da ninguno de los dos casos, y en la mayoría de las emisiones no se da, un búfer holgado es la mejor decisión técnica, porque el fallo que evita (un parón a mitad de la charla) es más visible para el espectador que ir diez segundos por detrás de un acontecimiento que no puede ver de ninguna otra forma.

La latencia que te añades tú mismo

Antes de culpar a la entrega, merece la pena contar el retraso que existe dentro de tu propia sala, porque a menudo es mayor de lo que se cree y es la parte que de verdad puedes eliminar.

Cada dispositivo por el que pasa la señal cuesta algo. Una cámara, un conversor, un mezclador, un escalador, un segundo mezclador que alimenta un proyector: cada uno retiene la imagen un instante mientras hace su trabajo. Una cadena de cuatro dispositivos son cuatro retrasos, y ninguno está documentado en un sitio que vayas a encontrar con facilidad.

Los enlaces inalámbricos cuestan más que los cableados. Un transmisor de vídeo inalámbrico tiene que empaquetar, proteger y reensamblar; esa protección es exactamente el mismo intercambio que el margen de latencia de SRT, solo que lo hace un dispositivo en lugar de ti.

Un relé cuesta un trayecto completo. Si tu señal va del recinto a una oficina y de ahí a la plataforma, pagas los dos tramos más lo que haga la caja intermedia. Es habitual descubrir que la «latencia del streaming» de la que alguien se queja es, sobre todo, un salto que existe por razones históricas.

La forma de encontrarla es poner un reloj delante de la cámara y fotografiar el reloj junto con cada pantalla de la cadena: el monitor de la propia cámara, la salida de programa del mezclador, la vista previa del codificador. Cada paso te dice cuánto ha costado esa etapa. Muy a menudo resulta que un solo dispositivo es responsable de la mayor parte, y sacarlo de la ruta es más rápido y más barato que cualquier cambio de ajustes más adelante.

La sincronía labial es una avería completamente distinta

Ahora, la otra queja. Si la voz y los labios no coinciden, cambiar los ajustes de latencia no servirá de nada, porque el audio y el vídeo viajan juntos: toda la señal empaquetada llega tarde como una sola cosa. Un error de sincronía significa que ambos ya venían desalineados al llegar, o que algo los separó.

Casi siempre ocurre antes del codificador. El sonido y la imagen llegan a tu codificador a través de equipos distintos, y equipos distintos tardan tiempos distintos.

El vídeo suele ser el lento. La cámara procesa y escala, la capturadora convierte, el mezclador compone. Cada paso cuesta un poco. El audio, en cambio, suele llegar por un camino mucho más corto: un micrófono directo a una interfaz.

Por eso la solución habitual es retrasar el audio, no adelantar el vídeo, porque no puedes adelantar nada: la imagen ya llega lo antes que va a llegar nunca. Casi todos los mezcladores e interfaces de audio ofrecen un retardo de audio precisamente por esto.

Mídelo antes de ajustarlo. Da una palmada delante de la cámara y del micrófono a la vez, graba la salida de programa y mira dónde cae la palmada en cada pista. Así tienes un número en lugar de una suposición, y ese número suele ser estable para una misma cadena de equipos, de modo que lo ajustas una sola vez.

Cuando el desfase crece durante la emisión

Un desfase fijo es molesto y fácil. Un desfase que empieza siendo pequeño y una hora después es de un segundo es una avería distinta, y los ajustes de retraso no lo van a sostener.

Es un problema de reloj. Tu dispositivo de audio y tu dispositivo de vídeo cuentan el tiempo cada uno con su propio oscilador, y si discrepan aunque sea en una fracción minúscula, el desfase se acumula mientras estés en antena. Una diferencia de solo el 0,01 % ya supone un tercio de segundo por hora.

La solución es que compartan un reloj, no corregir el síntoma. Si tu equipo lo admite, sincroniza audio y vídeo con una única referencia. Si no (el caso habitual con equipos de consumo), elige rutas que los mantengan juntos: audio embebido en la señal de vídeo por HDMI o SDI, o capturado por el mismo dispositivo que captura el vídeo, en lugar de una interfaz de audio aparte con su propio cristal.

Si no tienes ninguna de las dos opciones, la mitigación práctica es que cada emisión dure lo bastante poco como para que el error acumulado se quede por debajo de lo que alguien llega a notar, y volver a alinear entre bloques.

Un orden de diagnóstico que funciona

Antes de nada, comprueba tu propia salida de programa, en tu propio equipo. Si la sincronía ya está mal ahí, nada de lo que viene después la ha estropeado y ningún ajuste de la plataforma la va a arreglar.

Si la salida local está bien, comprueba una grabación de la señal entregada. Una sincronía correcta en local y mal más adelante es realmente poco habitual y merece la pena reportarla, porque no es un problema de ajustes.

Solo cuando hayas confirmado que la sincronía es correcta deberías mirar la latencia. Corregir el retraso mientras el audio va descompasado solo te da una emisión errónea más rápida.

Y mide la latencia tal como la vive el espectador, no con las estadísticas de tu codificador: pon un reloj en pantalla, mira la emisión en un dispositivo que no tenga nada que ver y fotografía ambos. Ese número incluye el búfer del reproductor, que es el componente que tu codificador no ve y que con frecuencia es el mayor.