Блог

Все статьи

Технологии мультимедиа в реальном времени

Technologies for Real-Time Multimedia | New Line Technologies

Обновлено:

Мультимедиа в реальном времени — это передача аудио и видео от источника к зрителю с задержкой от нескольких сотен миллисекунд для звонков до 1–3 секунд для массовых трансляций. Задержка зависит от протокола: по данным Wowza, WebRTC доставляет видео менее чем за 500 мс, Low-Latency HLS за 1–3 секунды, а стандартный HLS за 18–45 секунд и больше.

Ниже разбираем, из каких этапов состоит передача, что влияет на задержку, чем отличаются WebRTC, HLS, MPEG-DASH, RTMP, SRT и RTSP и как выбрать протокол под конкретный продукт.

Как работает передача в реальном времени

Между камерой и экраном зрителя поток проходит несколько этапов, и каждый добавляет свою часть задержки.

Захват и кодирование

Камера и микрофон записывают сигнал, а энкодер сжимает его кодеком, например H.264, HEVC или AV1 для видео и AAC или Opus для звука. Чем сильнее сжатие, тем меньше данных передаётся по сети, но кодирование требует времени и ресурсов устройства.

Медиасервер и CDN

Сервер принимает поток, при необходимости перекодирует его в несколько качеств и упаковывает в формат доставки. Для большой аудитории поток раздаёт CDN: копии сегментов хранятся на серверах ближе к зрителям, что снижает нагрузку, но добавляет задержку на кеширование.

Воспроизведение

Плеер на телефоне, компьютере или телевизоре получает данные, накапливает небольшой буфер и показывает видео. Буфер защищает от сбоев сети: чем он больше, тем стабильнее воспроизведение и тем больше задержка.

Что влияет на задержку

Главный фактор в протоколах на основе HTTP — длительность сегментов. В презентации Low-Latency HLS на WWDC 2019 Apple показала, что со стандартными 6-секундными сегментами задержка в примере достигает около 12 секунд ещё до доставки через CDN, а с CDN становится ещё больше. Low-Latency HLS делит сегменты на более мелкие части, и Apple рассчитывала его на задержку 1–2 секунды. Для сравнения, кабельное и спутниковое телевидение работает с задержкой 2–8 секунд.

Протоколы на основе UDP, например WebRTC и SRT, не ждут завершения сегмента и передают пакеты сразу. Поэтому они дают меньшую задержку, но для тысяч зрителей требуют специальной инфраструктуры: медиасерверов (SFU) и CDN с поддержкой WebRTC.

Планируете стриминговый сервис?

Протоколы потоковой передачи

WebRTC

WebRTC — это стандарт W3C и набор протоколов IETF (RFC 8825) для передачи аудио, видео и данных между браузерами и приложениями без плагинов. Его используют в видеозвонках, интерактивных вебинарах, онлайн-аукционах и управлении камерами, где важна задержка меньше секунды.

HLS и Low-Latency HLS

HTTP Live Streaming разработала Apple. Поток делится на сегменты, которые плеер загружает по обычному HTTP, поэтому HLS легко масштабируется через CDN и поддерживается на iOS, macOS, Android и в большинстве веб-плееров. Адаптивный битрейт переключает качество в зависимости от скорости сети. Low-Latency HLS сохраняет эти преимущества и сокращает задержку до нескольких секунд.

MPEG-DASH

MPEG-DASH — международный стандарт адаптивного стриминга, не зависящий от кодека. Он работает по тому же принципу сегментов, что и HLS, и широко используется в браузерах, на Android и Smart TV, а устройства Apple ориентируются прежде всего на HLS.

RTMP

Real-Time Messaging Protocol создавали для Flash Player. После прекращения поддержки Flash в 2020 году RTMP почти не используют для воспроизведения, но он по-прежнему распространён для передачи потока от энкодеров и OBS на серверы и платформы вроде YouTube Live. Защищённая версия RTMPS шифрует соединение по TLS.

SRT

Secure Reliable Transport разработала компания Haivision и в 2017 году открыла его код. SRT работает поверх UDP, повторно отправляет потерянные пакеты, шифрует поток по AES и по умолчанию держит буфер задержки 120 мс. Его используют для передачи сигнала с места события в студию или облако через обычный интернет.

RTSP

Real-Time Streaming Protocol управляет сеансом передачи: воспроизведением, паузой, переходом к моменту записи. Его поддерживает большинство IP-камер, в том числе совместимых со стандартом ONVIF, поэтому RTSP — основной протокол в видеонаблюдении. Браузеры не воспроизводят RTSP напрямую, поэтому для веба поток преобразуют в WebRTC или HLS.

Сравнение протоколов

ПротоколТипичная задержкаДля чегоОграничения
WebRTCМенее 500 мсВидеозвонки, интерактивные трансляции, управление камерамиДля большой аудитории нужны медиасерверы (SFU)
Low-Latency HLS1–3 сПрямые эфиры на большую аудиторию, спорт, киберспортНужна поддержка в плеере и CDN
HLS18–45 с и большеВидео по запросу, линейное OTT-вещаниеСлишком большая задержка для интерактива
MPEG-DASHКак у HLS, зависит от сегментовБраузеры, Android, Smart TVУстройства Apple ориентируются на HLS
RTMP / RTMPS1–5 с после настройки, обычно 5–18 сПередача потока с энкодера на сервер или платформуНе воспроизводится в современных браузерах
SRT0,5–3 с в зависимости от сценария, буфер 120 мс по умолчаниюПередача сигнала с места события через интернетНе предназначен для воспроизведения в браузере
RTSPЧуть больше 1 сIP-камеры, видеонаблюдениеБраузеры не поддерживают напрямую

Цифры задержки ориентировочные и приведены по данным Wowza для типичных сценариев, для Low-Latency HLS также с учётом цели Apple в 1–2 секунды. Реальная задержка зависит от настроек энкодера, длительности сегментов, сети и плеера.

Как выбрать протокол

Если пользователи общаются между собой или управляют событием, например на видеоконсультации или онлайн-аукционе, выбирайте WebRTC. Если продукт показывает прямой эфир тысячам зрителей, эффективнее транслировать его через Low-Latency HLS или DASH с CDN. Для видео по запросу достаточно стандартного HLS.

Протоколы доставки зрителю и передачи на сервер часто разные. Типичная схема: камера или энкодер отправляет поток на сервер по RTMP или SRT, сервер перекодирует его, а зрители получают HLS или WebRTC. Если продукт работает на нескольких устройствах одновременно, стоит также продумать синхронизацию между ними, о чём мы писали в статье об экосистеме подключённых устройств.

Нужна команда для видеоплатформы?

Как NLT создаёт real-time платформы

Команда New Line Technologies более 6 лет работает над продуктами для видеопроизводства и стриминга на технологии, защищённой патентом США. Среди них Remote HD Recorder for Zoom для Cinamaker: приложения для macOS, Windows, iOS и Android и облачный сервис записывают каждого участника звонка отдельно в 1080p, а ИИ определяет активного спикера и собирает итоговое видео. Продукт создала команда из 14 человек за 18 месяцев.

В том же направлении мы разрабатываем AI Sight Director — модуль, который автоматически переключает камеры и сцены во время прямого эфира на основе анализа поведения и сцены. Мультикамерные приложения одновременно подключают до 4 видеоустройств и 12 аудиоустройств, а задержка передачи сигнала между ними составляет 40 мс. В стеке этих проектов AVFoundation, VideoToolbox, Metal, NDI, RTMP/S, HLS и Zoom SDK.

Больше о нашем опыте в разработке мультимедиа в реальном времени, услугах по разработке программного обеспечения и выделенных командах разработчиков.

Выводы

Универсального протокола для реального времени нет. Для разговора и управления нужен WebRTC, для массовых эфиров Low-Latency HLS или DASH, для передачи сигнала на сервер RTMP или SRT, для камер видеонаблюдения RTSP. Большинство продуктов сочетает два-три протокола.

Прежде чем выбирать технологию, определите допустимую задержку для каждого сценария: разговор, просмотр, запись. От этой цифры зависят архитектура, стоимость инфраструктуры и выбор CDN, поэтому её стоит зафиксировать до старта разработки.

Планируете стриминговый сервис, видеозвонки или мультикамерную трансляцию? Свяжитесь с нашей командой, и мы поможем выбрать протоколы и архитектуру.

Частые вопросы

Какую задержку считают «реальным временем»?

Для видеозвонков и управления камерами нужна задержка до 500 мс, иначе собеседники перебивают друг друга. Для прямых трансляций на большую аудиторию реальным временем считают 1–3 секунды, которые даёт Low-Latency HLS. Стандартный HLS с задержкой 18–45 секунд подходит для эфиров, где зритель не взаимодействует с событием.

Чем WebRTC отличается от HLS?

WebRTC передаёт аудио и видео напрямую между браузерами или через медиасервер с задержкой менее 500 мс и подходит для двусторонней связи. HLS делит поток на сегменты и доставляет их по обычному HTTP и через CDN, поэтому легко масштабируется на миллионы зрителей, но имеет задержку от 1–3 секунд в версии Low-Latency до 18–45 секунд в стандартной.

Используют ли RTMP в 2026 году?

Да, но в основном для передачи потока от энкодера или OBS на сервер или стриминговую платформу. Воспроизведение RTMP в браузерах исчезло вместе с Flash, поэтому зрителям поток доставляют через HLS, DASH или WebRTC.

Когда стоит выбирать SRT?

SRT подходит, когда сигнал нужно передать с места события в студию или облако через обычный интернет с потерями пакетов. Протокол работает поверх UDP, повторно отправляет потерянные пакеты, шифрует поток по AES и по умолчанию использует буфер задержки 120 мс.