Технологии мультимедиа в реальном времени

Обновлено:
Мультимедиа в реальном времени — это передача аудио и видео от источника к зрителю с задержкой от нескольких сотен миллисекунд для звонков до 1–3 секунд для массовых трансляций. Задержка зависит от протокола: по данным Wowza, WebRTC доставляет видео менее чем за 500 мс, Low-Latency HLS за 1–3 секунды, а стандартный HLS за 18–45 секунд и больше.
Ниже разбираем, из каких этапов состоит передача, что влияет на задержку, чем отличаются WebRTC, HLS, MPEG-DASH, RTMP, SRT и RTSP и как выбрать протокол под конкретный продукт.
Как работает передача в реальном времени
Между камерой и экраном зрителя поток проходит несколько этапов, и каждый добавляет свою часть задержки.
Захват и кодирование
Камера и микрофон записывают сигнал, а энкодер сжимает его кодеком, например H.264, HEVC или AV1 для видео и AAC или Opus для звука. Чем сильнее сжатие, тем меньше данных передаётся по сети, но кодирование требует времени и ресурсов устройства.
Медиасервер и CDN
Сервер принимает поток, при необходимости перекодирует его в несколько качеств и упаковывает в формат доставки. Для большой аудитории поток раздаёт CDN: копии сегментов хранятся на серверах ближе к зрителям, что снижает нагрузку, но добавляет задержку на кеширование.
Воспроизведение
Плеер на телефоне, компьютере или телевизоре получает данные, накапливает небольшой буфер и показывает видео. Буфер защищает от сбоев сети: чем он больше, тем стабильнее воспроизведение и тем больше задержка.
Что влияет на задержку
Главный фактор в протоколах на основе HTTP — длительность сегментов. В презентации Low-Latency HLS на WWDC 2019 Apple показала, что со стандартными 6-секундными сегментами задержка в примере достигает около 12 секунд ещё до доставки через CDN, а с CDN становится ещё больше. Low-Latency HLS делит сегменты на более мелкие части, и Apple рассчитывала его на задержку 1–2 секунды. Для сравнения, кабельное и спутниковое телевидение работает с задержкой 2–8 секунд.
Протоколы на основе UDP, например WebRTC и SRT, не ждут завершения сегмента и передают пакеты сразу. Поэтому они дают меньшую задержку, но для тысяч зрителей требуют специальной инфраструктуры: медиасерверов (SFU) и CDN с поддержкой WebRTC.
Планируете стриминговый сервис?
Протоколы потоковой передачи
WebRTC
WebRTC — это стандарт W3C и набор протоколов IETF (RFC 8825) для передачи аудио, видео и данных между браузерами и приложениями без плагинов. Его используют в видеозвонках, интерактивных вебинарах, онлайн-аукционах и управлении камерами, где важна задержка меньше секунды.
HLS и Low-Latency HLS
HTTP Live Streaming разработала Apple. Поток делится на сегменты, которые плеер загружает по обычному HTTP, поэтому HLS легко масштабируется через CDN и поддерживается на iOS, macOS, Android и в большинстве веб-плееров. Адаптивный битрейт переключает качество в зависимости от скорости сети. Low-Latency HLS сохраняет эти преимущества и сокращает задержку до нескольких секунд.
MPEG-DASH
MPEG-DASH — международный стандарт адаптивного стриминга, не зависящий от кодека. Он работает по тому же принципу сегментов, что и HLS, и широко используется в браузерах, на Android и Smart TV, а устройства Apple ориентируются прежде всего на HLS.
RTMP
Real-Time Messaging Protocol создавали для Flash Player. После прекращения поддержки Flash в 2020 году RTMP почти не используют для воспроизведения, но он по-прежнему распространён для передачи потока от энкодеров и OBS на серверы и платформы вроде YouTube Live. Защищённая версия RTMPS шифрует соединение по TLS.
SRT
Secure Reliable Transport разработала компания Haivision и в 2017 году открыла его код. SRT работает поверх UDP, повторно отправляет потерянные пакеты, шифрует поток по AES и по умолчанию держит буфер задержки 120 мс. Его используют для передачи сигнала с места события в студию или облако через обычный интернет.
RTSP
Real-Time Streaming Protocol управляет сеансом передачи: воспроизведением, паузой, переходом к моменту записи. Его поддерживает большинство IP-камер, в том числе совместимых со стандартом ONVIF, поэтому RTSP — основной протокол в видеонаблюдении. Браузеры не воспроизводят RTSP напрямую, поэтому для веба поток преобразуют в WebRTC или HLS.
Сравнение протоколов
| Протокол | Типичная задержка | Для чего | Ограничения |
|---|---|---|---|
| WebRTC | Менее 500 мс | Видеозвонки, интерактивные трансляции, управление камерами | Для большой аудитории нужны медиасерверы (SFU) |
| Low-Latency HLS | 1–3 с | Прямые эфиры на большую аудиторию, спорт, киберспорт | Нужна поддержка в плеере и CDN |
| HLS | 18–45 с и больше | Видео по запросу, линейное OTT-вещание | Слишком большая задержка для интерактива |
| MPEG-DASH | Как у HLS, зависит от сегментов | Браузеры, Android, Smart TV | Устройства Apple ориентируются на HLS |
| RTMP / RTMPS | 1–5 с после настройки, обычно 5–18 с | Передача потока с энкодера на сервер или платформу | Не воспроизводится в современных браузерах |
| SRT | 0,5–3 с в зависимости от сценария, буфер 120 мс по умолчанию | Передача сигнала с места события через интернет | Не предназначен для воспроизведения в браузере |
| RTSP | Чуть больше 1 с | IP-камеры, видеонаблюдение | Браузеры не поддерживают напрямую |
Цифры задержки ориентировочные и приведены по данным Wowza для типичных сценариев, для Low-Latency HLS также с учётом цели Apple в 1–2 секунды. Реальная задержка зависит от настроек энкодера, длительности сегментов, сети и плеера.
Как выбрать протокол
Если пользователи общаются между собой или управляют событием, например на видеоконсультации или онлайн-аукционе, выбирайте WebRTC. Если продукт показывает прямой эфир тысячам зрителей, эффективнее транслировать его через Low-Latency HLS или DASH с CDN. Для видео по запросу достаточно стандартного HLS.
Протоколы доставки зрителю и передачи на сервер часто разные. Типичная схема: камера или энкодер отправляет поток на сервер по RTMP или SRT, сервер перекодирует его, а зрители получают HLS или WebRTC. Если продукт работает на нескольких устройствах одновременно, стоит также продумать синхронизацию между ними, о чём мы писали в статье об экосистеме подключённых устройств.
Нужна команда для видеоплатформы?
Как NLT создаёт real-time платформы
Команда New Line Technologies более 6 лет работает над продуктами для видеопроизводства и стриминга на технологии, защищённой патентом США. Среди них Remote HD Recorder for Zoom для Cinamaker: приложения для macOS, Windows, iOS и Android и облачный сервис записывают каждого участника звонка отдельно в 1080p, а ИИ определяет активного спикера и собирает итоговое видео. Продукт создала команда из 14 человек за 18 месяцев.
В том же направлении мы разрабатываем AI Sight Director — модуль, который автоматически переключает камеры и сцены во время прямого эфира на основе анализа поведения и сцены. Мультикамерные приложения одновременно подключают до 4 видеоустройств и 12 аудиоустройств, а задержка передачи сигнала между ними составляет 40 мс. В стеке этих проектов AVFoundation, VideoToolbox, Metal, NDI, RTMP/S, HLS и Zoom SDK.
Больше о нашем опыте в разработке мультимедиа в реальном времени, услугах по разработке программного обеспечения и выделенных командах разработчиков.
Выводы
Универсального протокола для реального времени нет. Для разговора и управления нужен WebRTC, для массовых эфиров Low-Latency HLS или DASH, для передачи сигнала на сервер RTMP или SRT, для камер видеонаблюдения RTSP. Большинство продуктов сочетает два-три протокола.
Прежде чем выбирать технологию, определите допустимую задержку для каждого сценария: разговор, просмотр, запись. От этой цифры зависят архитектура, стоимость инфраструктуры и выбор CDN, поэтому её стоит зафиксировать до старта разработки.
Планируете стриминговый сервис, видеозвонки или мультикамерную трансляцию? Свяжитесь с нашей командой, и мы поможем выбрать протоколы и архитектуру.
Частые вопросы
Какую задержку считают «реальным временем»?
Для видеозвонков и управления камерами нужна задержка до 500 мс, иначе собеседники перебивают друг друга. Для прямых трансляций на большую аудиторию реальным временем считают 1–3 секунды, которые даёт Low-Latency HLS. Стандартный HLS с задержкой 18–45 секунд подходит для эфиров, где зритель не взаимодействует с событием.
Чем WebRTC отличается от HLS?
WebRTC передаёт аудио и видео напрямую между браузерами или через медиасервер с задержкой менее 500 мс и подходит для двусторонней связи. HLS делит поток на сегменты и доставляет их по обычному HTTP и через CDN, поэтому легко масштабируется на миллионы зрителей, но имеет задержку от 1–3 секунд в версии Low-Latency до 18–45 секунд в стандартной.
Используют ли RTMP в 2026 году?
Да, но в основном для передачи потока от энкодера или OBS на сервер или стриминговую платформу. Воспроизведение RTMP в браузерах исчезло вместе с Flash, поэтому зрителям поток доставляют через HLS, DASH или WebRTC.
Когда стоит выбирать SRT?
SRT подходит, когда сигнал нужно передать с места события в студию или облако через обычный интернет с потерями пакетов. Протокол работает поверх UDP, повторно отправляет потерянные пакеты, шифрует поток по AES и по умолчанию использует буфер задержки 120 мс.