Блог

Всички статии

Технологии за мултимедия в реално време

Technologies for Real-Time Multimedia | New Line Technologies

Актуализирано:

Мултимедията в реално време е предаване на аудио и видео от източника до зрителя със закъснение от няколкостотин милисекунди при разговори до 1–3 секунди при масови излъчвания. Закъснението зависи от протокола: според Wowza WebRTC доставя видео за по-малко от 500 ms, Low-Latency HLS за 1–3 секунди, а стандартният HLS за 18–45 секунди и повече.

По-долу разглеждаме от какви етапи се състои предаването, какво влияе на закъснението, с какво се различават WebRTC, HLS, MPEG-DASH, RTMP, SRT и RTSP и как да изберете протокол за конкретен продукт.

Как работи предаването в реално време

Между камерата и екрана на зрителя потокът преминава през няколко етапа и всеки добавя своя част от закъснението.

Заснемане и кодиране

Камерата и микрофонът записват сигнала, а енкодерът го компресира с кодек, например H.264, HEVC или AV1 за видео и AAC или Opus за звук. Колкото по-силна е компресията, толкова по-малко данни минават през мрежата, но кодирането изисква време и ресурси на устройството.

Медиен сървър и CDN

Сървърът приема потока, при нужда го прекодира в няколко качества и го пакетира във формат за доставка. При голяма аудитория потокът се разпространява чрез CDN: копия на сегментите се пазят на сървъри по-близо до зрителите, което намалява натоварването, но добавя закъснение от кеширането.

Възпроизвеждане

Плейърът на телефона, компютъра или телевизора получава данните, натрупва малък буфер и показва видеото. Буферът предпазва от прекъсвания в мрежата: колкото е по-голям, толкова по-стабилно е възпроизвеждането и толкова по-голямо е закъснението.

Какво влияе на закъснението

Основният фактор при протоколите, базирани на HTTP, е продължителността на сегментите. В презентацията на Low-Latency HLS на WWDC 2019 Apple показа, че със стандартни 6-секундни сегменти закъснението в примера достига около 12 секунди още преди доставката чрез CDN, а с CDN става още по-голямо. Low-Latency HLS разделя сегментите на по-малки части и Apple го проектира за закъснение от 1–2 секунди. За сравнение, кабелната и сателитната телевизия работят със закъснение от 2–8 секунди.

Протоколите, базирани на UDP, като WebRTC и SRT, не чакат края на сегмента и изпращат пакетите веднага. Затова постигат по-малко закъснение, но за хиляди зрители изискват специална инфраструктура: медийни сървъри (SFU) и CDN с поддръжка на WebRTC.

Планирате стрийминг услуга?

Протоколи за поточно предаване

WebRTC

WebRTC е стандарт на W3C и набор от протоколи на IETF (RFC 8825) за предаване на аудио, видео и данни между браузъри и приложения без плъгини. Използва се във видеоразговори, интерактивни уебинари, онлайн търгове и управление на камери, където е важно закъснение под секунда.

HLS и Low-Latency HLS

HTTP Live Streaming е разработен от Apple. Потокът се разделя на сегменти, които плейърът изтегля през обикновен HTTP, затова HLS лесно се мащабира чрез CDN и се поддържа на iOS, macOS, Android и в повечето уеб плейъри. Адаптивният битрейт сменя качеството според скоростта на мрежата. Low-Latency HLS запазва тези предимства и намалява закъснението до няколко секунди.

MPEG-DASH

MPEG-DASH е международен стандарт за адаптивно стрийминг, независим от кодека. Работи на същия принцип на сегментите като HLS и се използва широко в браузъри, на Android и Smart TV, докато устройствата на Apple разчитат основно на HLS.

RTMP

Real-Time Messaging Protocol е създаден за Flash Player. След края на поддръжката на Flash през 2020 г. RTMP почти не се използва за възпроизвеждане, но остава широко разпространен за изпращане на поток от енкодери и OBS към сървъри и платформи като YouTube Live. Защитената версия RTMPS криптира връзката с TLS.

SRT

Secure Reliable Transport е разработен от Haivision, която отвори кода му през 2017 г. SRT работи върху UDP, изпраща повторно загубените пакети, криптира потока с AES и по подразбиране държи буфер за закъснение от 120 ms. Използва се за предаване на сигнал от мястото на събитието до студио или облак през обикновен интернет.

RTSP

Real-Time Streaming Protocol управлява сесията на предаване: възпроизвеждане, пауза, преминаване към момент от записа. Поддържа се от повечето IP камери, включително съвместимите със стандарта ONVIF, затова RTSP е основният протокол във видеонаблюдението. Браузърите не възпроизвеждат RTSP директно, затова за уеб потокът се преобразува в WebRTC или HLS.

Сравнение на протоколите

ПротоколТипично закъснениеЗа каквоОграничения
WebRTCПод 500 msВидеоразговори, интерактивни излъчвания, управление на камериЗа голяма аудитория са нужни медийни сървъри (SFU)
Low-Latency HLS1–3 sИзлъчвания на живо за голяма аудитория, спорт, електронни спортовеИзисква поддръжка в плейъра и CDN
HLS18–45 s и повечеВидео при поискване, линейно OTT излъчванеТвърде голямо закъснение за интерактивност
MPEG-DASHКато при HLS, зависи от сегментитеБраузъри, Android, Smart TVУстройствата на Apple разчитат на HLS
RTMP / RTMPS1–5 s след настройка, обикновено 5–18 sИзпращане на поток от енкодер към сървър или платформаНе се възпроизвежда в съвременните браузъри
SRT0,5–3 s според сценария, буфер 120 ms по подразбиранеПредаване на сигнал от мястото на събитието през интернетНе е предназначен за възпроизвеждане в браузър
RTSPМалко над 1 sIP камери, видеонаблюдениеБраузърите не го поддържат директно

Стойностите на закъснението са ориентировъчни и са по данни на Wowza за типични сценарии, а за Low-Latency HLS и според целта на Apple от 1–2 секунди. Реалното закъснение зависи от настройките на енкодера, продължителността на сегментите, мрежата и плейъра.

Как да изберете протокол

Ако потребителите общуват помежду си или управляват събитие, например при видеоконсултация или онлайн търг, изберете WebRTC. Ако продуктът показва излъчване на живо за хиляди зрители, по-ефективно е да го предавате чрез Low-Latency HLS или DASH с CDN. За видео при поискване е достатъчен стандартният HLS.

Протоколите за доставка до зрителя и за изпращане към сървъра често са различни. Типична схема: камерата или енкодерът изпраща потока към сървъра чрез RTMP или SRT, сървърът го прекодира, а зрителите получават HLS или WebRTC. Ако продуктът работи на няколко устройства едновременно, помислете и за синхронизацията между тях, за която писахме в статията за екосистемата от свързани устройства.

Търсите екип за видеоплатформа?

Как NLT изгражда платформи в реално време

Повече от 6 години екипът на New Line Technologies работи по продукти за видеопроизводство и стрийминг, базирани на патентована в САЩ технология. Сред тях е Remote HD Recorder for Zoom за Cinamaker: приложения за macOS, Windows, iOS и Android и облачна услуга записват всеки участник в разговора отделно в 1080p, а ИИ открива активния говорител и сглобява крайното видео. Продуктът е създаден от екип от 14 души за 18 месеца.

В същото направление разработваме AI Sight Director, модул, който автоматично превключва камерите и сцените по време на излъчване на живо въз основа на анализ на поведението и сцената. Многокамерните ни приложения свързват едновременно до 4 видео и 12 аудио устройства, а закъснението на сигнала между тях е 40 ms. В стека на тези проекти са AVFoundation, VideoToolbox, Metal, NDI, RTMP/S, HLS и Zoom SDK.

Научете повече за опита ни в разработката на мултимедия в реално време, нашите услуги за разработка на софтуер и специализираните екипи от разработчици.

Изводи

Универсален протокол за реално време няма. За разговор и управление е нужен WebRTC, за масови излъчвания Low-Latency HLS или DASH, за изпращане на сигнал към сървъра RTMP или SRT, а камерите за видеонаблюдение използват RTSP. Повечето продукти съчетават два или три протокола.

Преди да изберете технология, определете допустимото закъснение за всеки сценарий: разговор, гледане, запис. От тази стойност зависят архитектурата, цената на инфраструктурата и изборът на CDN, затова е добре да я фиксирате преди началото на разработката.

Планирате стрийминг услуга, видеоразговори или многокамерно излъчване? Свържете се с нашия екип и ще ви помогнем да изберете протоколите и архитектурата.

Често задавани въпроси

Какво закъснение се смята за „реално време“?

Видеоразговорите и управлението на камери изискват закъснение под 500 ms, иначе събеседниците се прекъсват. При излъчвания на живо за голяма аудитория за реално време се смятат 1–3 секунди, които осигурява Low-Latency HLS. Стандартният HLS със закъснение 18–45 секунди е подходящ за излъчвания, при които зрителят не взаимодейства със събитието.

С какво WebRTC се различава от HLS?

WebRTC предава аудио и видео директно между браузъри или чрез медиен сървър със закъснение под 500 ms и е подходящ за двупосочна комуникация. HLS разделя потока на сегменти и ги доставя през обикновен HTTP и CDN, затова лесно се мащабира до милиони зрители, но има закъснение от 1–3 секунди във версията Low-Latency до 18–45 секунди в стандартната.

Използва ли се RTMP през 2026 г.?

Да, но главно за изпращане на поток от енкодер или OBS към сървър или стрийминг платформа. Възпроизвеждането на RTMP в браузърите изчезна заедно с Flash, затова зрителите получават потока чрез HLS, DASH или WebRTC.

Кога да изберете SRT?

SRT е подходящ, когато сигналът трябва да стигне от мястото на събитието до студио или облак през обикновен интернет със загуба на пакети. Протоколът работи върху UDP, изпраща повторно загубените пакети, криптира потока с AES и по подразбиране използва буфер за закъснение от 120 ms.