La latence d'un direct n'est pas une désynchro labiale

Deux plaintes se ressemblent presque mot pour mot et n'ont rien à voir l'une avec l'autre. « Les spectateurs le voient en retard », c'est de la latence. « Les lèvres ne collent pas à la voix », c'est de la dérive. Elles se corrigent à des endroits différents, par des personnes différentes, et la première chose utile à faire est de refuser de les traiter comme un seul et même problème.

Les distinguer en dix secondes

La distinction qui compte le plus : la latence est un retard que l'on peut budgéter, la désynchro est une panne. Dix secondes de latence, c'est un choix de conception. Deux cents millisecondes d'erreur de synchro labiale, c'est cassé, quelle que soit la latence.

De quoi se compose le retard

La latence n'est pas un chiffre unique produit par une seule chose. C'est une somme, et chaque terme appartient à quelqu'un de différent. Savoir quel terme est lequel vous dit immédiatement si vous pouvez y faire quelque chose.

Votre encodeur. Il doit rassembler assez d'images pour les compresser les unes par rapport aux autres, puis livrer le résultat. C'est peu, et cela dépend surtout des réglages de tampon de l'encodeur lui-même.

Le trajet jusqu'à nous. La distance physique, plus la protection que vous avez demandée. Si vous utilisez SRT, l'URL comporte un budget de latence d'au moins 500 ms : vous avez explicitement acheté ce retard en échange de la résistance aux pertes de paquets, et c'est le compromis qui fonctionne comme prévu, pas une panne.

Notre encodage et notre empaquetage. Le flux est réencodé dans l'échelle de qualités et découpé en segments. dcast utilise des segments de 4 secondes avec un intervalle d'images clés de 2 secondes : un segment ne peut donc être publié que lorsque ses 4 secondes existent. Pour une diffusion segmentée, c'est le terme le plus important de la chaîne, et c'est de l'arithmétique, pas de l'inefficacité.

La diffusion jusqu'au spectateur. Acheminer les segments là où se trouve le spectateur.

Le tampon du lecteur. Avant d'afficher quoi que ce soit, le lecteur accumule des segments pour qu'un moment de lenteur sur la connexion du spectateur ne se transforme pas en arrêt visible. C'est le terme dont la plupart des gens ignorent l'existence, et c'est souvent le plus gros après l'empaquetage. Un lecteur qui garde trois segments de 4 secondes a douze secondes de retard sur le direct avant d'avoir affiché la moindre image – non pas parce que quelque chose est lent, mais parce qu'il a choisi la sécurité.

Ce que vous pouvez réduire, et ce que vous ne pouvez pas

Additionnez les termes et vous voyez tout de suite où se trouve la marge. La physique – la distance, la vitesse du réseau – ne se change pas. Le tampon de votre encodeur est assez petit pour que le régler vaille rarement le risque. Le budget de latence SRT, vous pouvez le baisser, mais votre tolérance aux pertes de paquets baisse exactement d'autant – et si vous utilisiez SRT, vous aviez sans doute une raison.

Les deux termes qui offrent une vraie marge sont la durée des segments et le tampon du lecteur, et ils sont liés : le lecteur met en tampon par segments entiers, donc la durée d'un segment se multiplie. Sur dcast, côté lecteur, cela prend la forme d'un mode de latence du flux – normal, low ou ultra – et il vaut la peine d'être précis sur ce que fait ce réglage : il change la quantité que le lecteur met en tampon et n'atteint jamais l'encodeur. La grille d'encodage est la même pour tous les flux de la plateforme.

Voilà la forme honnête du compromis. Un tampon plus court rapproche le spectateur du direct et le protège moins contre les à-coups de sa propre connexion ; un tampon plus long fait l'inverse. Aucun réglage ne donne les deux, et quiconque vous affirme qu'un protocole supprime ce compromis l'a déplacé ailleurs, il ne l'a pas fait disparaître.

Décidez à quel point votre direct doit être en direct

La plupart des directs n'ont pas besoin d'une faible latence, et ceux qui en ont besoin en ont généralement besoin pour une raison précise, qu'il vaut mieux nommer avant de commencer à sacrifier la robustesse.

Si vos spectateurs interagissent avec vous en direct – vous lisez le chat à voix haute, vous répondez aux questions, vous animez une vente aux enchères –, la latence est tout le produit, et un spectateur qui a vingt secondes de retard participe à une autre conversation que la vôtre.

Si vos spectateurs risquent de vivre l'événement deux fois – un match où les voisins crient avant vous, ou n'importe quelle situation où une notification sur le téléphone peut devancer votre direct –, la latence devient un problème de spoiler.

Si aucun des deux cas ne s'applique, et c'est le cas de la plupart des diffusions, un tampon confortable est le meilleur choix technique, car la panne qu'il évite (un arrêt au milieu de la conférence) se voit davantage pour le spectateur que dix secondes de retard sur un événement qu'il ne peut voir nulle part ailleurs.

La latence que vous vous ajoutez vous-même

Avant d'accuser la diffusion, il vaut la peine de compter le retard qui existe dans votre propre salle, car il est souvent plus grand qu'on ne le pense, et c'est la partie que vous pouvez réellement supprimer.

Chaque appareil traversé par le signal coûte quelque chose. Une caméra, un convertisseur, un mélangeur, un scaler, un second mélangeur qui alimente un vidéoprojecteur : chacun retient l'image un instant le temps de faire son travail. Une chaîne de quatre appareils, ce sont quatre retards, et aucun n'est documenté à un endroit que vous trouverez facilement.

Les liaisons sans fil coûtent plus que les liaisons filaires. Un émetteur vidéo sans fil doit mettre en paquets, protéger et réassembler ; cette protection est exactement le même compromis qu'un budget de latence SRT, sauf que c'est un appareil qui le fait à votre place.

Un relais coûte un trajet complet. Si votre signal part du lieu de l'événement vers un bureau, puis de là vers la plateforme, vous payez les deux trajets plus ce que fait le boîtier intermédiaire. Il est fréquent de découvrir que la « latence du streaming » dont quelqu'un se plaint est surtout un saut qui existe pour des raisons historiques.

Pour la trouver, placez une horloge devant la caméra et photographiez l'horloge avec chaque écran de la chaîne : le retour de la caméra, la sortie programme du mélangeur, l'aperçu de l'encodeur. Chaque étape vous dit ce qu'elle a coûté. Très souvent, un seul appareil s'avère responsable de l'essentiel, et le retirer du chemin est plus rapide et moins cher que n'importe quel changement de réglage en aval.

La synchro labiale est une tout autre panne

Passons à l'autre plainte. Si la voix et les lèvres ne coïncident pas, modifier vos réglages de latence ne servira à rien, car le son et l'image voyagent ensemble : tout le flux empaqueté arrive en retard d'un seul bloc. Une erreur de synchro signifie que les deux étaient déjà décalés à leur arrivée, ou que quelque chose les a séparés.

Presque toujours, cela se produit avant l'encodeur. Le son et l'image atteignent votre encodeur par des équipements différents, et des équipements différents prennent des temps différents.

C'est généralement l'image qui est la plus lente. La caméra traite et met à l'échelle, le boîtier d'acquisition convertit, le mélangeur compose. Chaque étape coûte un peu. Le son, lui, arrive souvent par un chemin bien plus court : un micro branché directement sur une interface.

La solution habituelle consiste donc à retarder le son, pas à avancer l'image, car on ne peut rien avancer : l'image est déjà aussi en avance qu'elle le sera jamais. Presque tous les mélangeurs et interfaces audio proposent un retard audio précisément pour cette raison.

Mesurez avant de régler. Frappez une fois dans vos mains devant la caméra et le micro en même temps, enregistrez la sortie programme et regardez où tombe le clap sur chaque piste. Vous obtenez un chiffre au lieu d'une supposition, et ce chiffre est généralement stable pour une chaîne d'équipements donnée : vous le réglez une fois pour toutes.

Quand le décalage se creuse pendant la diffusion

Un décalage fixe est agaçant mais simple. Un décalage qui commence petit et atteint une seconde une heure plus tard est une autre panne, et les réglages de retard ne le tiendront pas.

C'est un problème d'horloge. Votre appareil audio et votre appareil vidéo comptent chacun le temps avec leur propre oscillateur, et s'ils divergent ne serait-ce que d'une infime fraction, l'écart s'accumule tant que vous êtes à l'antenne. Un centième de pour cent, c'est un tiers de seconde par heure.

La solution est de leur faire partager une horloge, plutôt que de corriger le symptôme. Quand votre matériel le permet, pilotez le son et l'image depuis une seule référence. Quand il ne le permet pas – le cas courant avec du matériel grand public –, privilégiez les chemins qui les gardent ensemble : un son embarqué dans le signal vidéo en HDMI ou SDI, ou capté par le même appareil que la vidéo, plutôt qu'une interface audio séparée avec son propre quartz.

Si aucune de ces options n'est disponible, la parade pratique consiste à garder chaque diffusion assez courte pour que l'erreur accumulée reste sous le seuil où quelqu'un la remarque, et à réaligner entre les séquences.

Un ordre de diagnostic qui fonctionne

Vérifiez d'abord votre propre sortie programme, sur votre propre machine, avant toute autre chose. Si la synchro est déjà fausse à ce stade, rien en aval n'en est responsable et aucun réglage de la plateforme ne la réparera.

Si la sortie locale est correcte, vérifiez un enregistrement du flux diffusé. Une synchro juste en local et fausse en aval est vraiment inhabituelle et mérite d'être signalée, car ce n'est pas un problème de réglage.

Ce n'est qu'une fois la synchro confirmée que vous devriez vous intéresser à la latence. Corriger un retard alors que le son est décalé vous donne seulement un flux faux plus rapide.

Et mesurez la latence telle que la vit un spectateur, pas avec les statistiques de votre encodeur : affichez une horloge à l'écran, regardez le direct sur un appareil sans rapport et photographiez les deux. Ce chiffre inclut le tampon du lecteur, le terme que votre encodeur ne voit pas et qui est souvent le plus important.