Технології мультимедіа в реальному часі

Оновлено:
Мультимедіа в реальному часі — це передача аудіо та відео від джерела до глядача із затримкою від кількох сотень мілісекунд для дзвінків до 1–3 секунд для масових трансляцій. Затримка залежить від протоколу: за даними Wowza, WebRTC доставляє відео менш ніж за 500 мс, Low-Latency HLS за 1–3 секунди, а стандартний HLS за 18–45 секунд і більше.
Нижче розбираємо, з яких етапів складається передача, що впливає на затримку, чим відрізняються WebRTC, HLS, MPEG-DASH, RTMP, SRT і RTSP та як обрати протокол під конкретний продукт.
Як працює передача в реальному часі
Між камерою та екраном глядача потік проходить кілька етапів, і кожен додає свою частину затримки.
Захоплення та кодування
Камера й мікрофон записують сигнал, а енкодер стискає його кодеком, наприклад H.264, HEVC або AV1 для відео й AAC чи Opus для звуку. Що сильніше стиснення, то менше даних передається мережею, але кодування потребує часу та ресурсів пристрою.
Медіасервер і CDN
Сервер приймає потік, за потреби перекодовує його в кілька якостей і пакує у формат доставки. Для великої аудиторії потік роздає CDN: копії сегментів зберігаються на серверах ближче до глядачів, що знижує навантаження, але додає затримку на кешування.
Відтворення
Плеєр на телефоні, комп’ютері чи телевізорі отримує дані, накопичує невеликий буфер і показує відео. Буфер захищає від перебоїв мережі: що він більший, то стабільніше відтворення і то більша затримка.
Що впливає на затримку
Головний чинник у протоколах на основі HTTP — тривалість сегментів. У презентації Low-Latency HLS на WWDC 2019 Apple показала, що зі стандартними 6-секундними сегментами затримка в прикладі сягає близько 12 секунд ще до доставки через CDN, а з CDN стає ще більшою. Low-Latency HLS ділить сегменти на дрібніші частини, і Apple розраховувала його на затримку 1–2 секунди. Для порівняння, кабельне й супутникове телебачення працює із затримкою 2–8 секунд.
Протоколи на основі UDP, як-от WebRTC і SRT, не чекають завершення сегмента й передають пакети одразу. Тому вони дають меншу затримку, але для тисяч глядачів потребують спеціальної інфраструктури: медіасерверів (SFU) і CDN із підтримкою WebRTC.
Плануєте стрімінговий сервіс?
Протоколи потокової передачі
WebRTC
WebRTC — це стандарт W3C та набір протоколів IETF (RFC 8825) для передачі аудіо, відео й даних між браузерами та застосунками без плагінів. Його використовують у відеодзвінках, інтерактивних вебінарах, онлайн-аукціонах і керуванні камерами, де важлива затримка менше секунди.
HLS і Low-Latency HLS
HTTP Live Streaming розробила Apple. Потік ділиться на сегменти, які плеєр завантажує через звичайний HTTP, тож HLS легко масштабується через CDN і підтримується на iOS, macOS, Android і в більшості вебплеєрів. Адаптивний бітрейт перемикає якість залежно від швидкості мережі. Low-Latency HLS зберігає ці переваги й скорочує затримку до кількох секунд.
MPEG-DASH
MPEG-DASH — міжнародний стандарт адаптивного стрімінгу, незалежний від кодека. Він працює за тим самим принципом сегментів, що й HLS, і широко використовується в браузерах, на Android і Smart TV, а пристрої Apple орієнтуються передусім на HLS.
RTMP
Real-Time Messaging Protocol створювали для Flash Player. Після завершення підтримки Flash у 2020 році RTMP майже не використовують для відтворення, але він досі поширений для передачі потоку від енкодерів і OBS на сервери та платформи на кшталт YouTube Live. Захищена версія RTMPS шифрує з’єднання за TLS.
SRT
Secure Reliable Transport розробила компанія Haivision, а у 2017 році відкрила його код. SRT працює поверх UDP, повторно надсилає втрачені пакети, шифрує потік за AES і за замовчуванням тримає буфер затримки 120 мс. Його використовують для передачі сигналу з місця події в студію чи хмару через звичайний інтернет.
RTSP
Real-Time Streaming Protocol керує сеансом передачі: відтворенням, паузою, переходом до моменту запису. Його підтримує більшість IP-камер, зокрема сумісних зі стандартом ONVIF, тому RTSP — основний протокол у відеоспостереженні. Браузери не відтворюють RTSP напряму, тож для вебу потік перетворюють на WebRTC або HLS.
Порівняння протоколів
| Протокол | Типова затримка | Для чого | Обмеження |
|---|---|---|---|
| WebRTC | Менше 500 мс | Відеодзвінки, інтерактивні трансляції, керування камерами | Для великої аудиторії потрібні медіасервери (SFU) |
| Low-Latency HLS | 1–3 с | Прямі ефіри на велику аудиторію, спорт, кіберспорт | Потрібна підтримка в плеєрі та CDN |
| HLS | 18–45 с і більше | Відео за запитом, лінійне OTT-мовлення | Висока затримка для інтерактиву |
| MPEG-DASH | Як у HLS, залежить від сегментів | Браузери, Android, Smart TV | Apple-пристрої орієнтуються на HLS |
| RTMP / RTMPS | 1–5 с після налаштування, зазвичай 5–18 с | Передача потоку з енкодера на сервер чи платформу | Не відтворюється в сучасних браузерах |
| SRT | 0,5–3 с залежно від сценарію, буфер 120 мс за замовчуванням | Передача сигналу з місця події через інтернет | Не призначений для відтворення в браузері |
| RTSP | Трохи більше 1 с | IP-камери, відеоспостереження | Браузери не підтримують напряму |
Цифри затримки орієнтовні й наведені за даними Wowza для типових сценаріїв, для Low-Latency HLS також з урахуванням цілі Apple у 1–2 секунди. Реальна затримка залежить від налаштувань енкодера, тривалості сегментів, мережі та плеєра.
Як обрати протокол
Якщо користувачі спілкуються між собою або керують подією, наприклад у відеоконсультації чи онлайн-аукціоні, обирайте WebRTC. Якщо продукт показує прямий ефір тисячам глядачів, ефективніше транслювати його через Low-Latency HLS або DASH із CDN. Для відео за запитом достатньо стандартного HLS.
Протоколи доставки до глядача й передачі до сервера часто різні. Типова схема: камера чи енкодер відправляє потік на сервер через RTMP або SRT, сервер перекодовує його, а глядачі отримують HLS або WebRTC. Якщо продукт працює на кількох пристроях одночасно, варто також продумати синхронізацію між ними, про що ми писали в статті про екосистему підключених пристроїв.
Потрібна команда для відеоплатформи?
Як NLT будує real-time платформи
Команда New Line Technologies понад 6 років працює над продуктами для відеовиробництва та стрімінгу на технології, захищеній патентом США. Серед них Remote HD Recorder for Zoom для Cinamaker: застосунки для macOS, Windows, iOS і Android та хмарний сервіс записують кожного учасника дзвінка окремо у 1080p, а ШІ визначає активного спікера й збирає фінальне відео. Продукт створила команда з 14 осіб за 18 місяців.
Для того самого напряму ми розробляємо AI Sight Director — модуль, який автоматично перемикає камери й сцени під час прямого ефіру на основі аналізу поведінки та сцени. Мультикамерні застосунки одночасно підключають до 4 відеопристроїв і 12 аудіопристроїв, а затримка передачі сигналу між ними становить 40 мс. У стеку цих проєктів AVFoundation, VideoToolbox, Metal, NDI, RTMP/S, HLS і Zoom SDK.
Більше про наш досвід у розробці мультимедіа в реальному часі, послуги з розробки програмного забезпечення та виділені команди розробників.
Висновки
Універсального протоколу для реального часу немає. Для розмови й керування потрібен WebRTC, для масових ефірів Low-Latency HLS або DASH, для передачі сигналу на сервер RTMP чи SRT, для камер відеоспостереження RTSP. Більшість продуктів поєднує два-три протоколи.
Перш ніж обирати технологію, визначте допустиму затримку для кожного сценарію: розмова, перегляд, запис. Від цієї цифри залежить архітектура, вартість інфраструктури й вибір CDN, тому її варто зафіксувати до старту розробки.
Плануєте стрімінговий сервіс, відеодзвінки чи мультикамерну трансляцію? Зв’яжіться з нашою командою, і ми допоможемо обрати протоколи та архітектуру.
Часті запитання
Яку затримку вважають «реальним часом»?
Для відеодзвінків і керування камерами потрібна затримка до 500 мс, інакше співрозмовники перебивають одне одного. Для прямих трансляцій на велику аудиторію реальним часом вважають 1–3 секунди, які дає Low-Latency HLS. Стандартний HLS із затримкою 18–45 секунд підходить для ефірів, де глядач не взаємодіє з подією.
Чим WebRTC відрізняється від HLS?
WebRTC передає аудіо й відео безпосередньо між браузерами або через медіасервер із затримкою менше 500 мс і підходить для двостороннього зв’язку. HLS ділить потік на сегменти й доставляє їх через звичайний HTTP і CDN, тому легко масштабується на мільйони глядачів, але має затримку від 1–3 секунд у версії Low-Latency до 18–45 секунд у стандартній.
Чи використовують RTMP у 2026 році?
Так, але переважно для передачі потоку від енкодера чи OBS на сервер або стрімінгову платформу. Відтворення RTMP у браузерах зникло разом із Flash, тому глядачам потік доставляють через HLS, DASH або WebRTC.
Коли варто обирати SRT?
SRT підходить, коли сигнал треба передати з місця події в студію або хмару через звичайний інтернет із втратами пакетів. Протокол працює поверх UDP, повторно надсилає втрачені пакети, шифрує потік за AES і має буфер затримки 120 мс за замовчуванням.