Вступление в мультимедиа

Цифровое кино, видеоклипы и музыка становятся все более обычным способом предоставления информации и развлечений с использованием компьютера. Аудио- и видеофайлы могут храниться на диске и проигрываться по первому требованию. Но их характеристики сильно отличаются от традиционных текстовых файлов, для работы с которыми разрабатывались распространенные файловые системы. Поэто­му для работы с ними понадобились новые виды файловых систем. Более того, сохранение и воспроизведение аудио и видео выдвигает также новые требования к планировщику и другим частям операционной системы. В этой главе будут рас­смотрены многие аспекты этой проблемы и их влияние на операционные системы, разработанные для работы с мультимедийной информацией.

Обычно цифровое кино подпадает под терминмультимедиа, буквально озна­чающий более одного носителя информации. Согласно этому определению данная книга также является мультимедийной работой. В конце концов, в ней содержатся два носителя информации: текст и изображения (рисунки).¹ Но большинство лю­дей использует термин «мультимедиа» в значении документа, содержащего два или более протяженных и непрерывных во времени средств представления информа­ции, то есть требующих воспроизведения за определенный промежуток времени. В этой книге мы будем употреблять термин «мультимедиа» именно в этом смысле.

Другим не всегда однозначным понятием является «видео». В техническом смысле это всего лишь изобразительная часть фильма (в противоположность звуковой части). И действительно, цифровые видеокамеры и телевизоры часто имеют два гнезда, над одним из которых написано «видео», а над другим «аудио», поскольку эти сигналы разделены. Тем не менее термин «цифровое видео» обычно обозначает весь продукт, имеющий и изображение, и звук. Далее термин «видео» будет использоваться для ссылки на полноценный продукт. Следует заметить, что фильм в этом смысле не обязательно должен быть двухчасовым кинофильмом голливудского производства, который стоит больше Боинга-747. Согласно этому определению 30-секундный ролик новостей, скачанный из Интернета с домашней странички CNN, также является фильмом. А ссылки на очень короткие фильмы будут также называться видеоклипами.

^[1] Носитель информации (физический) как раз один — бумага. Но текст и изображение — это различные формы представления информации. — Примеч. ред.

1. Введение в мультимедиа

Перед тем как вплотную заняться технологией мультимедиа, следует сказать не­сколько слов о ее текущем состоянии и перспективах использования, которые помогут нам подготовить почву На отдельном компьютере мультимедиа часто озна­чает проигрывание ранее записанного фильма сDVD (Digital Versatile Disk — уни­версального цифрового диска). DVD являются оптическими дисками, для которых используются те же самые 120-миллиметровые поликарбонатные (пластмассовые) болванки, которые использовались и для компакт-дисков, но записанные с более высокой плотностью, доводящей объем в зависимости от формата до значений от 5 до 17 Гбайт.

В преемники DVD наперебой стремятся два кандидата. Один из них называется Blu-ray и содержит 25 Гбайт в однослойном формате (50 Гбайт в двухслойном фор­мате). Другой называетсяHD DVD и содержит 15 Гбайт в однослойном формате (30 Гбайт в двухслойном формате). Каждый формат поддерживается разными консорциумами компьютерных и кинокомпаний. По-видимому, индустрия электро­ники и развлечений испытывает ностальгию по той войне форматов, которая раз­горелась в 70-х - 80-х годах прошлого столетия между Betamax и VHS, поэтому они решили ее повторить. Несомненно, эта война форматов задержит широкое распространение обеих систем на годы, поскольку потребители выжидают, какая из них имеет больше шансов на победу¹.

Другим применением мультимедиа является загрузка видеоклипов через Интер­нет. Многие веб-страницы содержат ссылки или другие элементы, по щелчку на ко­торых могут быть загружены короткие фильмы. На таких веб-сайтах, как YouTube, имеются тысячи доступных видеоклипов. По мере вхождения в обиход таких более скоростных технологий распространения информации, как кабельное телевидение иADSL (Asymmetric Digital Subscriber Line — асимметричная цифровая абонент­ская линия), присутствие видеоклипов в Интернете получит стремительный взлет.

Другим аргументом в пользу поддержки мультимедиа служит создание филь­мов. Уже существуют системы редактирования мультимедиа, требующие запуска под управлением операционных систем, которые наряду с традиционной работой поддерживают и мультимедийную среду.

Еще одной областью, в которой мультимедиа приобретает особо важное зна­чение, являются компьютерные игры. В играх довольно часто проигрываются видеоклипы, чтобы изобразить некоторые виды действий. Клипы обычно имеют весьма небольшой размер, но их довольно много и из них динамически выбираются подходящие под какое-нибудь предпринятое пользователем действие. Игры все более и более усложняются. Разумеется, сами игры могут генерировать большой объем мультипликации, но обработка программно-генерируемого видео отличается от демонстрации фильма.

И наконец, заветной целью мира мультимедиа является видео по запросу, под которым понимается возможность клиентов находясь дома выбирать фильм, пользуясь пультом дистанционного управления (или мышью), и тут же видеть его

^[1] Ожидания уже окончены: победу одержал формат В1и-гау. — Примеч. перев.

на экранах своих телевизоров (или на дисплеях компьютеров). Чтобы получить видео по запросу, нужна специальная инфраструктура. На рис. 7.1 показаны два возможных варианта инфраструктуры видео по запросу. Каждый из них содержит три неотъемлемых компонента: один и более видеосерверов, распределительную сеть и абонентскую установку в каждом доме для декодирования сигнала. В ка­чествевидеосервера используется мощный компьютер, который хранит в своей файловой системе множество фильмов и воспроизводит их по запросу. Иногда в качестве видеосерверов используются универсальные машины, поскольку к ним несложно подключить, скажем, 1000 дисков большого объема, в то время как подключение тех же 1000 дисков к любому персональному компьютеру является серьезной проблемой. Основная часть материала в следующих разделах посвящена видеосерверам и их операционным системам.

Распределительная сеть между пользователем и видеосервером должна быть приспособлена для передачи данных в реальном времени и с высокой скоростью. Эти сети имеют довольно интересную и сложную конструкцию, но не относятся к теме данной книги. Больше они не будут упоминаться, кроме замечания, что эти сети всегда используют оптоволоконный кабель, идущий от видеосервера к раз- ветвительной коробке, находящейся по соседству с домами клиентов. В системах ADSL, предоставляемых телефонными компаниями, существующие телефонные линии из витой пары используются в качестве «последнего километра» в линии передачи данных. В системах кабельного телевидения, предоставляемых своими операторами, для логического распределения используются существующие линии кабельного телевидения. У системы ADSL есть преимущество, заключающееся в выделении каждому пользователю выделенного канала, гарантирующего посто­янную пропускную способность, но эта пропускная способность весьма невелика (несколько мегабит в секунду) из-за ограничений, накладываемых существующей телефонной линией. Кабельное телевидение использует коаксиальный кабель, обеспечивающий высокую пропускную способность (выражающуюся в гигабитах в секунду), но многим пользователям приходится совместно использовать один и тот же кабель, обеспечивающий их подключение, и не гарантирующий постоян­ную пропускную способность каждому отдельному пользователю. Но, соревнуясь с компаниями кабельного телевидения, телефонные компании стали протягивать оптоволокно к отдельным домам, и ADSL по оптоволокну будет иметь более ши­рокую пропускную способность, чем телевизионный кабель.

Последней частью системы, где заканчиваются ADSL или телевизионные ка­бели, являетсякомпьютерная пристарка к телевизору (set-top box). Фактически это устройство представляет собой обычный компьютер со специализированны­ми микросхемами для декодирования и распаковки видео. Как минимум она со­держит центральный процессор, оперативную и постоянную память, интерфейс к ADSL или к кабельной сети и переходник для подключения к телевизионному приемнику

Альтернативой компьютерной приставке служит использование имеющегося у пользователя персонального компьютера и проигрывание видео на его дисплее. Интересно, что использование компьютерных приставок рассматривается даже с учетом того, что большинство клиентов, вероятнее всего, уже имеют компьютер, поскольку операторы компаний, предоставляющих видео по запросу, ожидают, что людям захочется смотреть фильмы в гостиной, в которой обычно стоит телевизор и лишь изредка находится компьютер. С технической точки зрения использование персонального компьютера вместо компьютерной приставки имеет куда больше смысла, поскольку он мощнее, имеет диск большого объема и дисплей более высо­кого разрешения. Так или иначе, мы будем часто проводить линию, разделяющую видеосервер и клиентский процесс в оконечном устройстве, где декодируется и отображается фильм. Но с точки зрения системного проектирования неважно, где именно запущен клиентский процесс, на компьютерной приставке или на пер­сональном компьютере. При редактировании видео все процессы запускаются на одной и той же машине, но и в этом случае будут использоваться понятия сервера и клиента, чтобы легче было пояснить, чем именно занимается каждый процесс.

Возвращаясь к среде мультимедиа, нужно отметить, что для успешной работы с ней следует твердо усвоить две ее ключевые характеристики:

Мультимедиа использует очень высокие скорости передачи данных.

Мультимедиа требует проигрывания в реальном масштабе времени.

Высокая скорость передачи данных исходит из характера визуальной и звуковой информации. Наши глаза и уши способны обрабатывать в секунду грандиозный объем информации и должны снабжаться ею с такой скоростью, чтобы выраба­тывались приемлемые зрительные ощущения. Скорости передачи данных ряда цифровых мультимедийных источников и некоторого наиболее распространенного оборудования приведены в табл. 7.1 (заметим, что 1 Мбит/с равен 10⁶ бит/с, но 1 Гбайт равен 2³⁰ байт). Некоторые из этих форматов кодирования будут рассмо­трены далее в этой главе. Нужно обратить внимание на высокую скорость передачи данных, необходимую мультимедиа, потребности в сжатии данных и емкость тре­буемого для нее хранилища. К примеру, несжатый двухчасовой фильм в формате HDTV занимает 570 Гбайт. Видеосервер, на котором хранится 1000 таких файлов, нуждается в 570 Тбайт дискового пространства, что по современным стандартам составляет довольно существенный объем. Также следует отметить, что без сжатия современное оборудование не может справляться с требуемыми скоростями пере­дачи данных. К сжатию видео мы еще вернемся.

Второе требование, накладываемое мультимедиа на систему, заключается в не­обходимости доставки данных в реальном масштабе времени. Видеосоставляющая цифрового фильма состоит из некоторого количества кадров в секунду. Система NTSC, использующаяся в Северной и Южной Америке и Японии, работает со ско­ростью 30 кадров в секунду (точнее, 29,97), а системы PAL и SECAM, используемые большинством остальных стран, работают со скоростью 25 кадров в секунду. Кадры должны доставляться через определенные интервалы, соответственно около 33,3 мс или 40 мс, иначе фильм будет идти рывками.

Официально NTSC означает Национальный комитет по телевизионным стан­дартам — National Television Standards Committee, но не вполне удачный способ внедрения цвета в стандарт на заре изобретения цветного телевидения привел к появлению шутки, что на самом деле эта аббревиатура означает, что добиться одинаковой цветопередачи в этом стандарте невозможно — Never Twice the Same Color. Система PAL означает Phase Alternating Line (построчное изменение фазы). С технической точки зрения это наилучшая из систем. Система SECAM исполь­зуется во Франции (и была изобретена для защиты производителей француз­ских телевизионных приемников от зарубежных конкурентов), ее аббревиатура означает SEquentiel Couleur Avec Memoire (последовательное воспроизведение и считывание цветов с их запоминанием). Система SECAM также использует­ся в Восточной Европе, поскольку при появлении там телевидения тогдашние коммунистические правительства не хотели допустить, чтобы кто-то смотрел теле­видение ФРГ в системе PAL, поэтому они выбрали несовместимую с ней систему

Ухо более чувствительный орган, чем глаз, поэтому будет заметно даже откло­нение во времени доставки информации всего в несколько миллисекунд. Непосто­янство времени доставки называетсяджиттером, и для хорошего воспроизведения должно быть строго ограничено. Учтите, что джиттер — это не задержка. Если распределительная сеть, показанная на рис. 7.1, допускает равномерную задержку всех битов ровно на 5000 с, то фильм начнется чуть позже, но изъянов в нем не бу­дет. А вот если будут бессистемные задержки кадров в диапазоне от 100 до 200 мс, фильм будет выглядеть как старая картина с Чарли Чаплином, независимо от того, кто там будет в главной роли.

Параметры реального времени, необходимые для приемлемого воспроизведения мультимедиа, зачастую описываются параметрамикачества обслуживания. К ним относятся средняя доступная пропускная способность, максимальная пропускная способность, минимальная и максимальная задержка (которые ограничивают джиттер) и вероятность потери бита. К примеру, сетевой оператор может предла­гать услугу, гарантирующую среднюю пропускную способность, равную 4 Мбит/с, попадание 99% задержек при передаче в интервал от 105 до 110 мс и частоту потерь битов, равную 10^-10, что будет вполне приемлемо для фильмов в формате MPEG-2. Оператор может также предоставлять более дешевую, но менее качественную услугу, со средней пропускной способностью 1 Мбит/с (например, ADSL). В этом случае в отношении качества придется пойти на какой-нибудь компромисс, воз­можно, снизить разрешение или частоту кадров или исключить информацию о цвете и демонстрировать фильм в черно-белом варианте.

Наиболее распространенный способ предоставления гарантий качественного обслуживания заключается в резервировании емкостей в расчете на каждого нового клиента. Резервируемые ресурсы включают в себя долю времени центрального про­цессора, буферы памяти, доли пропускной способности диска и пропускной способ­ности сети. Если при появлении нового клиента, желающего посмотреть фильм, вы­ясняется, что видеосерверу или сети не хватает емкости для еще одного клиента, то такому клиенту нужно будет отказать, чтобы не снизить качество услуги, предостав­ляемой текущим клиентам. Следовательно, мультимедийным серверам нужны схе­мы резервирования ресурсов иалгоритм управления доступностью услуги, согласно которому принимается решение о возможности выполнения дополнительных задач.

Мультимедийные файлы

В большинстве систем обычные текстовые файлы состоят из линейной последова­тельности байтов и не имеют какой-либо структуры, известной или представляю­ щей интерес для операционной системы. С мультимедийными файлами ситуация намного сложнее. Начнем с того, что видео и аудио полностью отличаются друг от друга. Они формируются разными устройствами (ПЗС-микросхемой — видео и микрофоном — аудио), имеют разную внутреннюю структуру (у видео 25-30 ка­дров в секунду, а у аудио — 44 100 сэмплов в секунду) и проигрываются разными устройствами (видео — на дисплее, а аудио — через громкоговорители).

Кроме того, большинство голливудских фильмов сегодня предназначено для всемирной аудитории, большая часть которой не говорит по-английски. Проблема решается двояко. Для некоторых стран создается дополнительная звуковая до­рожка, голоса на которой дублированы на местном языке (но звуковые эффекты оставлены прежними). В Японии у всех телевизоров два звуковых канала, позво­ляющих зрителю слушать звуковое сопровождение зарубежных фильмов либо на языке оригинала, либо на японском языке. Для выбора языка используется кнопка на пульте дистанционного управления. В других странах используются оригиналь­ный звук и субтитры на местном языке.

Вдобавок многие телевизионные фильмы сейчас сопровождаются также скры­ваемыми субтитрами на английском, которые позволяют смотреть эти фильмы англоговорящим, но слабослышащим людям. В конечном итоге цифровые фильмы могут состоять из множества файлов: одного видеофайла, нескольких аудиофайлов и нескольких текстовых файлов с субтитрами на разных языках. На DVD имеется возможность хранить до 32 файлов с разноязычными звуковыми дорожками и суб­титрами. Простой набор мультимедийных файлов показан на рис. 7.2. Значение файлов быстрой перемотки вперед и назад будет объяснено чуть позже.

Следовательно, файловой системе нужно наряду с одним файлом отслеживать сразу несколько «подфайлов». Одна из возможных схем заключается в управле­нии каждым подфайлом как обычным файлом (например, используя i-узел для учета его блоков) и в наличии новой структуры данных, в которой перечисляются все подфайлы для каждого мультимедийного файла. Другой способ заключается в изобретении своего рода двумерного i-узла, в каждом столбце которого пере­числяются блоки каждого подфайла. В общем, все должно быть организовано так, чтобы зритель мог непосредственно при просмотре фильма выбирать нужную ему аудиодорожку и субтитры.

Во всех случаях нужен какой-нибудь способ синхронизации подфайлов, чтобы при проигрывании выбранной звуковой дорожки она сохраняла синхронность с видеопотоком. Если аудио и видео будут воспроизводиться хотя бы немного не синхронно, зритель может услышать слова актера перед или после движения его губ, что становится легко заметным и сильно раздражающим явлением.

Чтобы лучше разобраться в организации мультимедийных файлов, нужно усвоить некоторые особенности работы цифровых аудио и видео. Поэтому теперь давайте рассмотрим введение в эти области.