Блог

Всі статті

Технології мультимедіа в реальному часі

Technologies for Real-Time Multimedia | New Line Technologies

Оновлено:

Мультимедіа в реальному часі — це передача аудіо та відео від джерела до глядача із затримкою від кількох сотень мілісекунд для дзвінків до 1–3 секунд для масових трансляцій. Затримка залежить від протоколу: за даними Wowza, WebRTC доставляє відео менш ніж за 500 мс, Low-Latency HLS за 1–3 секунди, а стандартний HLS за 18–45 секунд і більше.

Нижче розбираємо, з яких етапів складається передача, що впливає на затримку, чим відрізняються WebRTC, HLS, MPEG-DASH, RTMP, SRT і RTSP та як обрати протокол під конкретний продукт.

Як працює передача в реальному часі

Між камерою та екраном глядача потік проходить кілька етапів, і кожен додає свою частину затримки.

Захоплення та кодування

Камера й мікрофон записують сигнал, а енкодер стискає його кодеком, наприклад H.264, HEVC або AV1 для відео й AAC чи Opus для звуку. Що сильніше стиснення, то менше даних передається мережею, але кодування потребує часу та ресурсів пристрою.

Медіасервер і CDN

Сервер приймає потік, за потреби перекодовує його в кілька якостей і пакує у формат доставки. Для великої аудиторії потік роздає CDN: копії сегментів зберігаються на серверах ближче до глядачів, що знижує навантаження, але додає затримку на кешування.

Відтворення

Плеєр на телефоні, комп’ютері чи телевізорі отримує дані, накопичує невеликий буфер і показує відео. Буфер захищає від перебоїв мережі: що він більший, то стабільніше відтворення і то більша затримка.

Що впливає на затримку

Головний чинник у протоколах на основі HTTP — тривалість сегментів. У презентації Low-Latency HLS на WWDC 2019 Apple показала, що зі стандартними 6-секундними сегментами затримка в прикладі сягає близько 12 секунд ще до доставки через CDN, а з CDN стає ще більшою. Low-Latency HLS ділить сегменти на дрібніші частини, і Apple розраховувала його на затримку 1–2 секунди. Для порівняння, кабельне й супутникове телебачення працює із затримкою 2–8 секунд.

Протоколи на основі UDP, як-от WebRTC і SRT, не чекають завершення сегмента й передають пакети одразу. Тому вони дають меншу затримку, але для тисяч глядачів потребують спеціальної інфраструктури: медіасерверів (SFU) і CDN із підтримкою WebRTC.

Плануєте стрімінговий сервіс?

Протоколи потокової передачі

WebRTC

WebRTC — це стандарт W3C та набір протоколів IETF (RFC 8825) для передачі аудіо, відео й даних між браузерами та застосунками без плагінів. Його використовують у відеодзвінках, інтерактивних вебінарах, онлайн-аукціонах і керуванні камерами, де важлива затримка менше секунди.

HLS і Low-Latency HLS

HTTP Live Streaming розробила Apple. Потік ділиться на сегменти, які плеєр завантажує через звичайний HTTP, тож HLS легко масштабується через CDN і підтримується на iOS, macOS, Android і в більшості вебплеєрів. Адаптивний бітрейт перемикає якість залежно від швидкості мережі. Low-Latency HLS зберігає ці переваги й скорочує затримку до кількох секунд.

MPEG-DASH

MPEG-DASH — міжнародний стандарт адаптивного стрімінгу, незалежний від кодека. Він працює за тим самим принципом сегментів, що й HLS, і широко використовується в браузерах, на Android і Smart TV, а пристрої Apple орієнтуються передусім на HLS.

RTMP

Real-Time Messaging Protocol створювали для Flash Player. Після завершення підтримки Flash у 2020 році RTMP майже не використовують для відтворення, але він досі поширений для передачі потоку від енкодерів і OBS на сервери та платформи на кшталт YouTube Live. Захищена версія RTMPS шифрує з’єднання за TLS.

SRT

Secure Reliable Transport розробила компанія Haivision, а у 2017 році відкрила його код. SRT працює поверх UDP, повторно надсилає втрачені пакети, шифрує потік за AES і за замовчуванням тримає буфер затримки 120 мс. Його використовують для передачі сигналу з місця події в студію чи хмару через звичайний інтернет.

RTSP

Real-Time Streaming Protocol керує сеансом передачі: відтворенням, паузою, переходом до моменту запису. Його підтримує більшість IP-камер, зокрема сумісних зі стандартом ONVIF, тому RTSP — основний протокол у відеоспостереженні. Браузери не відтворюють RTSP напряму, тож для вебу потік перетворюють на WebRTC або HLS.

Порівняння протоколів

ПротоколТипова затримкаДля чогоОбмеження
WebRTCМенше 500 мсВідеодзвінки, інтерактивні трансляції, керування камерамиДля великої аудиторії потрібні медіасервери (SFU)
Low-Latency HLS1–3 сПрямі ефіри на велику аудиторію, спорт, кіберспортПотрібна підтримка в плеєрі та CDN
HLS18–45 с і більшеВідео за запитом, лінійне OTT-мовленняВисока затримка для інтерактиву
MPEG-DASHЯк у HLS, залежить від сегментівБраузери, Android, Smart TVApple-пристрої орієнтуються на HLS
RTMP / RTMPS1–5 с після налаштування, зазвичай 5–18 сПередача потоку з енкодера на сервер чи платформуНе відтворюється в сучасних браузерах
SRT0,5–3 с залежно від сценарію, буфер 120 мс за замовчуваннямПередача сигналу з місця події через інтернетНе призначений для відтворення в браузері
RTSPТрохи більше 1 сIP-камери, відеоспостереженняБраузери не підтримують напряму

Цифри затримки орієнтовні й наведені за даними Wowza для типових сценаріїв, для Low-Latency HLS також з урахуванням цілі Apple у 1–2 секунди. Реальна затримка залежить від налаштувань енкодера, тривалості сегментів, мережі та плеєра.

Як обрати протокол

Якщо користувачі спілкуються між собою або керують подією, наприклад у відеоконсультації чи онлайн-аукціоні, обирайте WebRTC. Якщо продукт показує прямий ефір тисячам глядачів, ефективніше транслювати його через Low-Latency HLS або DASH із CDN. Для відео за запитом достатньо стандартного HLS.

Протоколи доставки до глядача й передачі до сервера часто різні. Типова схема: камера чи енкодер відправляє потік на сервер через RTMP або SRT, сервер перекодовує його, а глядачі отримують HLS або WebRTC. Якщо продукт працює на кількох пристроях одночасно, варто також продумати синхронізацію між ними, про що ми писали в статті про екосистему підключених пристроїв.

Потрібна команда для відеоплатформи?

Як NLT будує real-time платформи

Команда New Line Technologies понад 6 років працює над продуктами для відеовиробництва та стрімінгу на технології, захищеній патентом США. Серед них Remote HD Recorder for Zoom для Cinamaker: застосунки для macOS, Windows, iOS і Android та хмарний сервіс записують кожного учасника дзвінка окремо у 1080p, а ШІ визначає активного спікера й збирає фінальне відео. Продукт створила команда з 14 осіб за 18 місяців.

Для того самого напряму ми розробляємо AI Sight Director — модуль, який автоматично перемикає камери й сцени під час прямого ефіру на основі аналізу поведінки та сцени. Мультикамерні застосунки одночасно підключають до 4 відеопристроїв і 12 аудіопристроїв, а затримка передачі сигналу між ними становить 40 мс. У стеку цих проєктів AVFoundation, VideoToolbox, Metal, NDI, RTMP/S, HLS і Zoom SDK.

Більше про наш досвід у розробці мультимедіа в реальному часі, послуги з розробки програмного забезпечення та виділені команди розробників.

Висновки

Універсального протоколу для реального часу немає. Для розмови й керування потрібен WebRTC, для масових ефірів Low-Latency HLS або DASH, для передачі сигналу на сервер RTMP чи SRT, для камер відеоспостереження RTSP. Більшість продуктів поєднує два-три протоколи.

Перш ніж обирати технологію, визначте допустиму затримку для кожного сценарію: розмова, перегляд, запис. Від цієї цифри залежить архітектура, вартість інфраструктури й вибір CDN, тому її варто зафіксувати до старту розробки.

Плануєте стрімінговий сервіс, відеодзвінки чи мультикамерну трансляцію? Зв’яжіться з нашою командою, і ми допоможемо обрати протоколи та архітектуру.

Часті запитання

Яку затримку вважають «реальним часом»?

Для відеодзвінків і керування камерами потрібна затримка до 500 мс, інакше співрозмовники перебивають одне одного. Для прямих трансляцій на велику аудиторію реальним часом вважають 1–3 секунди, які дає Low-Latency HLS. Стандартний HLS із затримкою 18–45 секунд підходить для ефірів, де глядач не взаємодіє з подією.

Чим WebRTC відрізняється від HLS?

WebRTC передає аудіо й відео безпосередньо між браузерами або через медіасервер із затримкою менше 500 мс і підходить для двостороннього зв’язку. HLS ділить потік на сегменти й доставляє їх через звичайний HTTP і CDN, тому легко масштабується на мільйони глядачів, але має затримку від 1–3 секунд у версії Low-Latency до 18–45 секунд у стандартній.

Чи використовують RTMP у 2026 році?

Так, але переважно для передачі потоку від енкодера чи OBS на сервер або стрімінгову платформу. Відтворення RTMP у браузерах зникло разом із Flash, тому глядачам потік доставляють через HLS, DASH або WebRTC.

Коли варто обирати SRT?

SRT підходить, коли сигнал треба передати з місця події в студію або хмару через звичайний інтернет із втратами пакетів. Протокол працює поверх UDP, повторно надсилає втрачені пакети, шифрує потік за AES і має буфер затримки 120 мс за замовчуванням.