Технологии за мултимедия в реално време

Актуализирано:
Мултимедията в реално време е предаване на аудио и видео от източника до зрителя със закъснение от няколкостотин милисекунди при разговори до 1–3 секунди при масови излъчвания. Закъснението зависи от протокола: според Wowza WebRTC доставя видео за по-малко от 500 ms, Low-Latency HLS за 1–3 секунди, а стандартният HLS за 18–45 секунди и повече.
По-долу разглеждаме от какви етапи се състои предаването, какво влияе на закъснението, с какво се различават WebRTC, HLS, MPEG-DASH, RTMP, SRT и RTSP и как да изберете протокол за конкретен продукт.
Как работи предаването в реално време
Между камерата и екрана на зрителя потокът преминава през няколко етапа и всеки добавя своя част от закъснението.
Заснемане и кодиране
Камерата и микрофонът записват сигнала, а енкодерът го компресира с кодек, например H.264, HEVC или AV1 за видео и AAC или Opus за звук. Колкото по-силна е компресията, толкова по-малко данни минават през мрежата, но кодирането изисква време и ресурси на устройството.
Медиен сървър и CDN
Сървърът приема потока, при нужда го прекодира в няколко качества и го пакетира във формат за доставка. При голяма аудитория потокът се разпространява чрез CDN: копия на сегментите се пазят на сървъри по-близо до зрителите, което намалява натоварването, но добавя закъснение от кеширането.
Възпроизвеждане
Плейърът на телефона, компютъра или телевизора получава данните, натрупва малък буфер и показва видеото. Буферът предпазва от прекъсвания в мрежата: колкото е по-голям, толкова по-стабилно е възпроизвеждането и толкова по-голямо е закъснението.
Какво влияе на закъснението
Основният фактор при протоколите, базирани на HTTP, е продължителността на сегментите. В презентацията на Low-Latency HLS на WWDC 2019 Apple показа, че със стандартни 6-секундни сегменти закъснението в примера достига около 12 секунди още преди доставката чрез CDN, а с CDN става още по-голямо. Low-Latency HLS разделя сегментите на по-малки части и Apple го проектира за закъснение от 1–2 секунди. За сравнение, кабелната и сателитната телевизия работят със закъснение от 2–8 секунди.
Протоколите, базирани на UDP, като WebRTC и SRT, не чакат края на сегмента и изпращат пакетите веднага. Затова постигат по-малко закъснение, но за хиляди зрители изискват специална инфраструктура: медийни сървъри (SFU) и CDN с поддръжка на WebRTC.
Планирате стрийминг услуга?
Протоколи за поточно предаване
WebRTC
WebRTC е стандарт на W3C и набор от протоколи на IETF (RFC 8825) за предаване на аудио, видео и данни между браузъри и приложения без плъгини. Използва се във видеоразговори, интерактивни уебинари, онлайн търгове и управление на камери, където е важно закъснение под секунда.
HLS и Low-Latency HLS
HTTP Live Streaming е разработен от Apple. Потокът се разделя на сегменти, които плейърът изтегля през обикновен HTTP, затова HLS лесно се мащабира чрез CDN и се поддържа на iOS, macOS, Android и в повечето уеб плейъри. Адаптивният битрейт сменя качеството според скоростта на мрежата. Low-Latency HLS запазва тези предимства и намалява закъснението до няколко секунди.
MPEG-DASH
MPEG-DASH е международен стандарт за адаптивно стрийминг, независим от кодека. Работи на същия принцип на сегментите като HLS и се използва широко в браузъри, на Android и Smart TV, докато устройствата на Apple разчитат основно на HLS.
RTMP
Real-Time Messaging Protocol е създаден за Flash Player. След края на поддръжката на Flash през 2020 г. RTMP почти не се използва за възпроизвеждане, но остава широко разпространен за изпращане на поток от енкодери и OBS към сървъри и платформи като YouTube Live. Защитената версия RTMPS криптира връзката с TLS.
SRT
Secure Reliable Transport е разработен от Haivision, която отвори кода му през 2017 г. SRT работи върху UDP, изпраща повторно загубените пакети, криптира потока с AES и по подразбиране държи буфер за закъснение от 120 ms. Използва се за предаване на сигнал от мястото на събитието до студио или облак през обикновен интернет.
RTSP
Real-Time Streaming Protocol управлява сесията на предаване: възпроизвеждане, пауза, преминаване към момент от записа. Поддържа се от повечето IP камери, включително съвместимите със стандарта ONVIF, затова RTSP е основният протокол във видеонаблюдението. Браузърите не възпроизвеждат RTSP директно, затова за уеб потокът се преобразува в WebRTC или HLS.
Сравнение на протоколите
| Протокол | Типично закъснение | За какво | Ограничения |
|---|---|---|---|
| WebRTC | Под 500 ms | Видеоразговори, интерактивни излъчвания, управление на камери | За голяма аудитория са нужни медийни сървъри (SFU) |
| Low-Latency HLS | 1–3 s | Излъчвания на живо за голяма аудитория, спорт, електронни спортове | Изисква поддръжка в плейъра и CDN |
| HLS | 18–45 s и повече | Видео при поискване, линейно OTT излъчване | Твърде голямо закъснение за интерактивност |
| MPEG-DASH | Като при HLS, зависи от сегментите | Браузъри, Android, Smart TV | Устройствата на Apple разчитат на HLS |
| RTMP / RTMPS | 1–5 s след настройка, обикновено 5–18 s | Изпращане на поток от енкодер към сървър или платформа | Не се възпроизвежда в съвременните браузъри |
| SRT | 0,5–3 s според сценария, буфер 120 ms по подразбиране | Предаване на сигнал от мястото на събитието през интернет | Не е предназначен за възпроизвеждане в браузър |
| RTSP | Малко над 1 s | IP камери, видеонаблюдение | Браузърите не го поддържат директно |
Стойностите на закъснението са ориентировъчни и са по данни на Wowza за типични сценарии, а за Low-Latency HLS и според целта на Apple от 1–2 секунди. Реалното закъснение зависи от настройките на енкодера, продължителността на сегментите, мрежата и плейъра.
Как да изберете протокол
Ако потребителите общуват помежду си или управляват събитие, например при видеоконсултация или онлайн търг, изберете WebRTC. Ако продуктът показва излъчване на живо за хиляди зрители, по-ефективно е да го предавате чрез Low-Latency HLS или DASH с CDN. За видео при поискване е достатъчен стандартният HLS.
Протоколите за доставка до зрителя и за изпращане към сървъра често са различни. Типична схема: камерата или енкодерът изпраща потока към сървъра чрез RTMP или SRT, сървърът го прекодира, а зрителите получават HLS или WebRTC. Ако продуктът работи на няколко устройства едновременно, помислете и за синхронизацията между тях, за която писахме в статията за екосистемата от свързани устройства.
Търсите екип за видеоплатформа?
Как NLT изгражда платформи в реално време
Повече от 6 години екипът на New Line Technologies работи по продукти за видеопроизводство и стрийминг, базирани на патентована в САЩ технология. Сред тях е Remote HD Recorder for Zoom за Cinamaker: приложения за macOS, Windows, iOS и Android и облачна услуга записват всеки участник в разговора отделно в 1080p, а ИИ открива активния говорител и сглобява крайното видео. Продуктът е създаден от екип от 14 души за 18 месеца.
В същото направление разработваме AI Sight Director, модул, който автоматично превключва камерите и сцените по време на излъчване на живо въз основа на анализ на поведението и сцената. Многокамерните ни приложения свързват едновременно до 4 видео и 12 аудио устройства, а закъснението на сигнала между тях е 40 ms. В стека на тези проекти са AVFoundation, VideoToolbox, Metal, NDI, RTMP/S, HLS и Zoom SDK.
Научете повече за опита ни в разработката на мултимедия в реално време, нашите услуги за разработка на софтуер и специализираните екипи от разработчици.
Изводи
Универсален протокол за реално време няма. За разговор и управление е нужен WebRTC, за масови излъчвания Low-Latency HLS или DASH, за изпращане на сигнал към сървъра RTMP или SRT, а камерите за видеонаблюдение използват RTSP. Повечето продукти съчетават два или три протокола.
Преди да изберете технология, определете допустимото закъснение за всеки сценарий: разговор, гледане, запис. От тази стойност зависят архитектурата, цената на инфраструктурата и изборът на CDN, затова е добре да я фиксирате преди началото на разработката.
Планирате стрийминг услуга, видеоразговори или многокамерно излъчване? Свържете се с нашия екип и ще ви помогнем да изберете протоколите и архитектурата.
Често задавани въпроси
Какво закъснение се смята за „реално време“?
Видеоразговорите и управлението на камери изискват закъснение под 500 ms, иначе събеседниците се прекъсват. При излъчвания на живо за голяма аудитория за реално време се смятат 1–3 секунди, които осигурява Low-Latency HLS. Стандартният HLS със закъснение 18–45 секунди е подходящ за излъчвания, при които зрителят не взаимодейства със събитието.
С какво WebRTC се различава от HLS?
WebRTC предава аудио и видео директно между браузъри или чрез медиен сървър със закъснение под 500 ms и е подходящ за двупосочна комуникация. HLS разделя потока на сегменти и ги доставя през обикновен HTTP и CDN, затова лесно се мащабира до милиони зрители, но има закъснение от 1–3 секунди във версията Low-Latency до 18–45 секунди в стандартната.
Използва ли се RTMP през 2026 г.?
Да, но главно за изпращане на поток от енкодер или OBS към сървър или стрийминг платформа. Възпроизвеждането на RTMP в браузърите изчезна заедно с Flash, затова зрителите получават потока чрез HLS, DASH или WebRTC.
Кога да изберете SRT?
SRT е подходящ, когато сигналът трябва да стигне от мястото на събитието до студио или облак през обикновен интернет със загуба на пакети. Протоколът работи върху UDP, изпраща повторно загубените пакети, криптира потока с AES и по подразбиране използва буфер за закъснение от 120 ms.