Внутрикадровое и межкадровое кодирование в MPEG.

В MPEG при обработке видеоданных применяются два типа сжатия: внутрикадровое и межкадровое кодирование.

Межкадровое кодирование основано на кодировании с предсказанием и интерполятивном кодировании. Кадры, последовательно "перехватываемые" из "живого" видео содержат множество идентичных данных. Не требуется кодировать весь кадр целиком (как при внутрикадровом кодировании). Достаточно закодировать лишь различия ("дельты") в информации этих кадров. В результате намного увеличится степень сжатия. Такой тип межкадрового кодирования называется кодированием с предсказанием. Схема двунаправ­ленного предсказания позволяет кодировать текущий кадр на основе различий между ним, предыдущим и следующим кадрами видеоданных. Этот тип межкадрового кодирования называется компенсирующим движение интерполятив-ным кодированием.

Для поддержки межкадрового и внутрикадрового кодирования поток данных MPEG содержит три типа закодированных кадров:

• I-кадры (внутрикадровое кодирование),

• Р-кадры (кодирование с предсказанием),

• В-кадры (двунаправленное кодирование).

В I-кадре записан один кадр видеоданных, который никак не связан с информацией любого другого кадра.

Р-кадр содержит различия между текущим кадром и предыдущим I- или Р-кадром.

В-кадр состоит из различий между текущим кадром и двумя (предыдущим и последующим) I- или Р-кадрами.

Типичная последовательность кадров в потоке MPEG выглядит так: IBBPBBPBBPBBIBBPBBPBBPBBI

Между каждым I-кадром располагаются двенадцать Р-кадров и В-кадров. Данные MPEG декодируются и отображаются не в том порядке, в котором кадры располагаются в потоке. Поскольку В-кадры связаны с двумя справочными кадрами (предыдущим и последующим), то последние должны быть декодированы раньше, чем можно будет декодировать и отобразить заключенный между ними В-кадр. В примере первым декодируется I-кадр. Однако, прежде чем декодировать следующие за ним два В-кадра, необходимо декодировать Р-кадр и сохранить его в памяти вместе с I-кадром. Только после этого можно будет декодировать два В-кадра, расположенных между этими I- и Р-кадрами. I-кадр сжимается с применением метода сжатия DCT (подобно JPEG). Если межкадровое кодирование уменьшает временную избыточность, то DCT-кодирование позволяет снизить избыточность пространственную. За счет объединения пространственной и временной составляющих кодировании вMPEG можно получить степень сжатия до 200:1.

В соответствии со стандартом MPEG, применение Р- и В-кадров не обязательно. Многие кодировщики MPEG считают Р- и В-кадры "излишеством" и кодируют только I-кадры. При этом каждый захваченный видеокадр сжимается и сохраняется целиком, подобно тому, как это делается в JPEG. Но степень сжатия файла MPEG, содержащего только I-кадры, значительно ниже, чем у такого же файла, закодированного с применением компенсации движения.

MPEG 1.

Первый MPEG стандарт появился в 1992 г. и был рассчитан па передачу видео по низкоскоростным сетям или для записи на компакт-диски (Video-CD). Максимально возможная скорость цифрового потока была изначально ограничена порогом в 150 Кбайт/с. Чтобы уложиться в заданные рамки, конечно, пришлось поступиться качеством, В MPEG1 разрешающая способность картинки снижена, по сравнению с разверткой вещательного телевидения, в 2 раза. То есть снижение разрешения автоматически делает внутрикадровую компрессию более грубой и как следствие - более заметными становятся ее последствия. Однотонные поверхности оказываются как бы составленными из рассыпающихся квадратиков, особенно назойливо квадратики «вылезают» на динамичных сценах. В целом качество фильмов в МРЕG 1 сравнимо с бытовой VНS-кассетой и полнометражный фильм можно уместить на 2 компакт-дисках, так что в середине просмотра предстоит их менять. По этим причинам, а также по причине прогресса цифровых технологий стандарт MPEG1 не успел получить большого распространения. От него остались в основном стандар­ты сжатия звука, существующие сегодня самостоятельно.

MPEG 2.

Прогресс в области цифровых технологий позволил существенно усовершенствовать процесс компрессии видеоданных. MPEG2 предназначался для обработки видеоизображения, соизмеримого по качеству с телевизионным вещательным, при пропускной способности каналов переда­чи данных от 3 до 15 Мбит/с.

Усовершенствования коснулись практически всех этапов «упаковки»; более того, появились операции, ранее не применявшиеся. К примеру, после разбивки видеопотока на кадры и группы кадров кодер анализирует содержимое очередного кадра на предмет повторяющихся, избыточных данных. Составляется список оригинальных участков и таблица повторяющихся участков. Оригиналы сохраняются, копии удаляются, а таблица повторяющихся участков используется при декодировании сжатого видеопотока. Значительное повышение плотности упаковки было также достигнуто благодаря применению во внутрикадровом сжатии нелинейного преобра­зования Фурье, взамен линейного. Оптимизации подвергся алгоритм предсказания движения, а также введены несколько новых, ранее не используемых алгоритмов компрессии видеоданных. В результате для фильмов, созданных в стандартах PAL и SECAM, поддерживается разрешение 720x576 при 25 кадрах в секунду при качестве, практическине уступающем вещательному. Собственно, MPEG-фильм нельзя отнести к какой-либо системе цветного телевидения, так как кадры в MPEG являются просто картинками и не имеют прямого отношения к исходной для фильма системе телевидения; речь может идти о соответствии размера и частоты следования кадров. В части аудио в MPEG2, посравнению с MPEG 1, добавлена поддержка многоканального звука (Dolby Digital 5.1, DTS). Компьютерная техника 1992гг. не могла обеспечить и нужную полосу пропускания. Зато спутниковое телевидение с новейшим по тем временам оборудо­ванием уже тогда готово было предоставить, канал передачи с необходимыми характеристиками. С появлением же в середине 90-х гг. цифрового многоцелевого диска DVD, обладающего в простейшей версии емкостью 4,7 Гб,он становится практически безальтернативным массовым носителем для распространения качественной кинопродукции, сжатой по стандарту MPEG2. Это обусловило массовое производство DVD-проигрывателей и, конечно, появление недорогих аппарат­ных кодеров/декодеров.

MPEG 3.

Стандарт MPEG3 первоначально разрабатывался для Использования в системах телевидения высокой четкости (High- definition Television, HDTV) со скоростью потока данных 20 – 40 Мбит/с. Но еще в процессе разработки стало очевидно, параметры, требуемые для передачи HDTV, вполне обеспечиваются использованием стандарта MPEG2 при увеличении скорости цифрового потока. Другими словами, острой нужды в существовании отдельного стандарта для HDTV нет. Таким образом, MPEG3, еще не родившись, стал фактически составной частью стандарта MPEG2 и отдельно теперь даже не упоминается.

MPEG 4.

В стандарте MPEG 4, полнившемся и самом конце 1999г., предложен более широкий взгляд на медиа-данные. Стандарт задаёт принципы работы с контентом (цифровым представлением медиа-данных) для трех областей: собственно интерактивного мультимедиа, графических приложений (синтетического контента) и цифрового телевидения (DTV).

В МPEG 4 определен двоичный язык описания объектов, классов и сцен BIFS, который разработчики характеризует как «расширение C++». Картинка разделяется на составные элементы — медиа-объекты, описывается структура этих объектов и их взаимосвязи, чтобы затем собрать их в единую видеозвуковую сцену. Результирующая сцена составляется из медиа-объектов, объединенных в иерархическую структуру.

а) неподижные картинки (фон);

б) видеообъекты (говорящий человек);

в) аудиообъекты (голос, связанный с этим человеком);

г) текст, связанный с данной сценой;

д) синтетические объекты, которых не было изначально в описываемой сцене, но которые туда добавляются при демонстрации конечному пользователю (например, синтезируется говорящая голова);

е) текст (например, связанный с головой), из которого в конце синтезируется голос. С точки зрения сжатия видеоматериалов стандарт MPEG4 является наиболее часто используемым стандартом, т.к. фильмы, сжатые по этому стандарту имея довольно приличное качество, умещаются на стандартном CD –диске (700 Мбайт). Алгоритм компрессии видео в стандарте MPEG4, в основном, работают по той же схеме, как и в предыдущих стандартах.Основное отличие алгоритма MPEG 4 от MPEG 2 заключаются в том, что применен интеллектуальный способ расстановки I- кадров. Также в отличие от предыдущих стандартов, которые делили кадр на квадратные блоки вне зависимости от содержимого, новый кодер оперирует целыми объектами произвольной формы. Фильмы на компакт-дисках с маркировкой МР4 уже давно появились в продаже, их можно смотреть на большинстве современных компьютеров вычислительной мощности которых достаточно для декодирования МР4-фильма в реальном масштабе времени. Можно и самому упаковать свое видео, установив программный DivX-кодер.

MPEG 7.

В конце 2001 года группа MPEG выпустила новый стандарт MPEG 7, который вовсе не является непосредственным продолжением линейки MPEG предшественников. MPEG 7 был разработан для формализации и стандартизации описания различных видов мультимедийной информации, а не ее кодирования, чтобы гарантировать эффективный и быстрый ее поиск. Официально новый стандарт называется Multimediа Content Description Interfаce- интерфейс описания мультимедийных данных. В нем определен стандартный набор дескрипторов для различных типов мультимедиа- информации. Этот стандарт призван обеспечить поиск мультимедийной информации аналогично тому, как сейчас осуществляется поиск текста по ключевым словам или фразе. Например,

· Музыка. Сыграв несколько нот на клавиатуре, можно получить список музыкальных произведений, которые содержат такую последовательность звуков;

· Графика. Нарисовав эскиз на экране, получим набор рисунков, содержащих подобный фрагмент.

· Картины. Определив объект (задав его форму и текстуру), получим перечень картин, в которых такой фрагмент содержится.

· Видео. Задав соответствующий объект и его движение, получим набор видео и анимационных роликов.

· Голос. Задав фрагмент голоса певца, получим набор песен и видеоклипов, где он поет.