Затримка трансляції — це не розсинхрон губ і голосу

Дві скарги звучать майже однаково і не мають одна до одної жодного стосунку. «Глядачі бачать із запізненням» — це затримка. «Губи не збігаються з голосом» — це розсинхрон. Їх виправляють у різних місцях і різні люди, і перше корисне, що можна зробити, — перестати вважати їх однією проблемою.

Як відрізнити за десять секунд

Головна відмінність: затримка — це запізнення, яке можна закласти в бюджет, а розсинхрон — це несправність. Десять секунд затримки — це проєктне рішення. Двісті мілісекунд розсинхрону губ і голосу — це поломка за будь-якої затримки.

З чого складається затримка

Затримка — не одне число, яке створює щось одне. Це сума, і в кожного доданка свій власник. Якщо знати, який доданок який, одразу зрозуміло, чи можна з ним щось зробити.

Ваш енкодер. Йому треба набрати досить кадрів, щоб стискати їх один відносно одного, а потім віддати результат. Це небагато, і здебільшого визначається налаштуваннями буфера самого енкодера.

Шлях до нас. Фізична відстань плюс той захист, який ви замовили. Якщо ви використовуєте SRT, у URL закладено запас затримки щонайменше 500 мс: ви свідомо купили це запізнення в обмін на стійкість до втрати пакетів, і це обмін, який працює так, як задумано, а не несправність.

Наше кодування та пакування. Потік перекодовується в драбину якостей і нарізається на сегменти. dcast використовує сегменти по 4 секунди з інтервалом ключових кадрів 2 секунди, тому сегмент не можна опублікувати, доки не накопичаться всі його 4 секунди. За сегментної доставки це найбільший доданок у всьому ланцюжку, і це арифметика, а не неефективність.

Доставка глядачеві. Донести сегменти туди, де перебуває глядач.

Буфер плеєра. Перш ніж щось показати, плеєр накопичує сегменти, щоб хвилинне сповільнення з'єднання глядача не перетворилося на помітну зупинку картинки. Про існування цього доданка більшість людей навіть не знає, а після пакування він часто найбільший. Плеєр, який тримає три сегменти по 4 секунди, відстає від прямого ефіру на дванадцять секунд ще до того, як намалював перший кадр, — не тому, що щось гальмує, а тому, що він вирішив підстрахуватися.

Що можна зменшити, а що ні

Складіть доданки — і одразу видно, де є запас. Фізику — відстань, швидкість мережі — не змінити. Буфер вашого енкодера настільки малий, що його підлаштування рідко варте ризику. Запас затримки SRT можна зменшити, але рівно настільки ж зменшиться і ваша стійкість до втрати пакетів, а якщо ви обрали SRT, то, мабуть, не просто так.

Два доданки зі справжнім запасом — тривалість сегмента і буфер плеєра, і вони пов'язані: плеєр буферизує сегментами, тож тривалість сегмента множиться. У dcast сторона плеєра доступна як режим затримки трансляції — normal, low або ultra, — і тут важливо точно розуміти, що робить це налаштування: воно змінює обсяг буфера плеєра і взагалі не доходить до енкодера. Сітка кодування однакова для всіх трансляцій на платформі.

Ось чесна форма цього обміну. Короткий буфер наближає глядача до прямого ефіру, але гірше захищає від перебоїв його власного з'єднання; довгий буфер — навпаки. Налаштування, яке дає і те, і інше, не існує, і той, хто каже, що якийсь протокол усуває цей обмін, просто переніс його в інше місце, а не прибрав.

Вирішіть, наскільки «прямим» має бути ваш ефір

Більшості трансляцій низька затримка не потрібна, а тим, кому потрібна, зазвичай потрібна з однієї конкретної причини — і її варто назвати, перш ніж жертвувати надійністю.

Якщо глядачі спілкуються з вами в реальному часі — ви зачитуєте чат, відповідаєте на запитання, проводите аукціон, — затримка і є весь продукт, і глядач, що відстає на двадцять секунд, бере участь уже в іншій розмові, а не у вашій.

Якщо глядачі можуть побачити подію двічі — матч, де сусіди за стіною кричать «гол» раніше, або будь-яка ситуація, коли сповіщення на телефоні може випередити вашу трансляцію, — затримка перетворюється на проблему спойлерів.

Якщо ні те, ні інше не підходить, а для більшості ефірів так і є, щедрий буфер — найкраще інженерне рішення: збій, від якого він захищає (зупинка картинки посеред виступу), глядачеві помітніший, ніж відставання на десять секунд від події, яку він більше ніде не бачить.

Затримка, яку ви додаєте собі самі

Перш ніж звинувачувати доставку, варто порахувати затримку, яка виникає у вашій власній студії: вона часто більша, ніж здається, і це та частина, яку ви справді можете прибрати.

Кожен пристрій на шляху сигналу чогось вартий. Камера, конвертер, відеомікшер, скалер, другий мікшер для проєктора — кожен на мить затримує картинку, поки робить свою роботу. Ланцюжок із чотирьох пристроїв — це чотири затримки, і жодна з них не вказана там, де її легко знайти.

Бездротові лінії обходяться дорожче за дротові. Бездротовому відеопередавачу треба запакувати сигнал у пакети, захистити й зібрати назад; цей захист — точнісінько той самий обмін, що й запас затримки SRT, тільки рішення за вас ухвалює пристрій.

Ретрансляція коштує цілого зайвого шляху. Якщо сигнал іде з майданчика до офісу, а звідти на платформу, ви платите за обидва плечі плюс за те, що робить проміжна коробка. Нерідко з'ясовується, що «затримка стримінгу», на яку хтось скаржиться, — це здебільшого зайва ланка, що лишилася з історичних причин.

Знайти її можна так: поставте перед камерою годинник і сфотографуйте його разом із кожним екраном по ланцюжку — монітором самої камери, програмним виходом мікшера, прев'ю енкодера. Кожен крок покаже, скільки коштував цей щабель. Дуже часто виявляється, що один пристрій відповідає за більшу частину затримки, і прибрати його зі шляху швидше й дешевше, ніж змінювати будь-які налаштування далі по ланцюжку.

Розсинхрон губ і голосу — зовсім інша несправність

Тепер друга скарга. Якщо голос і губи не збігаються, зміна налаштувань затримки не допоможе: звук і відео їдуть разом, і весь запакований потік запізнюється як єдине ціле. Розсинхрон означає, що вони прийшли вже зі зсувом або щось їх розділило.

Майже завжди це відбувається до енкодера. Звук і картинка потрапляють у ваш енкодер через різне обладнання, а різному обладнанню потрібен різний час.

Повільніше зазвичай відео. Камера обробляє й масштабує, карта захоплення перетворює, мікшер компонує. Кожен крок трохи коштує. Звук натомість часто йде значно коротшим шляхом — мікрофон безпосередньо в аудіоінтерфейс.

Тому звичайне рішення — затримати звук, а не зсунути відео вперед, адже вперед нічого не зсунеш: картинка й так приходить настільки рано, наскільки взагалі може. Майже в кожному відеомікшері та аудіоінтерфейсі є затримка звуку саме для цього.

Спершу виміряйте, потім виставляйте. Плесніть один раз у долоні перед камерою та мікрофоном одночасно, запишіть програмний вихід і подивіться, де оплеск опинився на кожній доріжці. Так у вас буде число, а не здогад, і для того самого ланцюжка обладнання це число зазвичай стабільне — виставляєте один раз.

Коли зсув зростає впродовж трансляції

Фіксований зсув дратує, але розв'язується легко. Зсув, який починається з малого, а за годину сягає цілої секунди, — це інша несправність, і налаштування затримки його не втримають.

Це проблема тактової синхронізації. Ваш аудіопристрій і відеопристрій відлічують час кожен своїм генератором, і якщо вони розходяться хоча б на крихітну частку, зсув накопичується весь час, поки ви в ефірі. Одна сота відсотка — це третина секунди на годину.

Рішення — дати їм спільний тактовий сигнал, а не виправляти симптом. Якщо обладнання це підтримує, синхронізуйте звук і відео від однієї опори. Якщо ні — а з побутовою технікою це звичайна ситуація, — обирайте шляхи, які тримають їх разом: звук, вбудований у відеосигнал по HDMI або SDI, чи захоплений тим самим пристроєм, що й відео, замість окремого аудіоінтерфейсу зі своїм кварцом.

Якщо ні те, ні інше недоступне, практичний вихід — робити окремі трансляції досить короткими, щоб накопичена похибка лишалася нижче порогу, на якому її хтось помітить, і наново вирівнювати синхронізацію між блоками.

Порядок діагностики, який працює

Насамперед перевірте власний програмний вихід на своєму комп'ютері. Якщо синхронізація порушена вже там, ніщо далі по ланцюжку її не ламало і жодне налаштування платформи її не полагодить.

Якщо локальний вихід гаразд, перевірте запис доставленого потоку. Синхронізація, яка правильна локально й порушена далі, — справді рідкість, і про неї варто повідомити, бо це не проблема налаштувань.

Лише переконавшись, що синхронізація правильна, варто взагалі братися за затримку. Якщо виправляти затримку, поки звук не влучає в картинку, вийде просто швидший неправильний потік.

І вимірюйте затримку так, як її відчуває глядач, а не за статистикою енкодера: виведіть на екран годинник, дивіться трансляцію на сторонньому пристрої і сфотографуйте обидва екрани. До цього числа входить буфер плеєра — доданок, якого ваш енкодер не бачить і який часто виявляється найбільшим.