Тема 1. Определение мультимедиа, природа основных качественных и количественных характеристик устройств, файлов, каналов передачи

Определение термина «мультимедиа».

Взаимодействие визуальных и аудио-эффектов под управлением интерактивного программного обеспечения с использованием современных технических и программных средств, они объединяют текст, звук, графику, фото, видео в одном цифровом представлении.

И в 2012 году эти устройства претерпевают конвергенцию: телефон, телевизор, фотоаппарат, персональный компьютер или тонкий клиент, планшет или ноутбук выполняют сходные функции: чего не было еще лет 10 назад, и рассуждения о мультимедиа сводились к CD дискам, звуковым или видео-картам.

Например, в одном объекте-контейнере (англ. container) может содержаться текстовая, аудиальная, графическая и видео информация, а также, возможно, способ интерактивного взаимодействия с ней.

Поскольку регулярно выходит множество журналов, интернет публикаций и обзоров, в магазинах продаются десятки тысяч наименований всевозможных устройств, наименований носителей информации, в интернете и пиринговых сетях – петабайты информации и:

Это направление постоянно обновляется, новые технологии смещают морально устаревшие гораздо раньше, чем мы успеваем не то, что исчерпать возможности предшествующих, или привыкнуть, но мы просто не успеваем вникнуть, или хотя бы попробовать.

В теме разобраться весьма не просто.

Можно пойти от человека, от его органов чувств:

• Зрение

• Слух

• Вестибулярный аппарат…

Тогда очевидно, что раз мы не собаки, которые слышат ультразвук, и не слоны, которые слышат инфразвук, и не насекомые, которым удается видеть ультрафиолет…

То можно сосредоточится на частотных (пространственных и временных) характеристиках наших органов чувств…

И можно вводить количественные характеристики физических устройств (мониторы, усилители, колонки), устройств АЦП или ЦАП, хранения, передачи и сжатия мультимедийной информации…

Однако абстрагироваться от типа информации удается, например, на неких стадиях компрессии и обработки, впрочем, эти аспекты уже не столь актуальны в силу огромной емкости накопителей и производительности устройств передачи информации (когда речь идет о цифровой эре. Проблема отчасти сводится к LZW, RAR или иным технологиям компрессии без потерь).

• Форматы PAL и NTSC призваны обеспечить незаметность строчной развертки, если ТВ с диагональю 54 см смотреть с расстояния 2.5 – 4 метра

• Если экран меньше – то и расстояние порядка метра…

Это аналоговая эра, когда актуальны были вопросы выделения частот для радиостанций и ТВ. Проблема сводилась к модуляции электромагнитных волн и влиянию разнообразных помех.

• Современные HD мониторы предполагают большие размеры по диагонали и меньшие расстояния до зрителя…

• Retina Display – еще меньше расстояние, больше телесный угол…

• Таким образом, соображения в выборе разрешения схожи…

Если так рассуждать, то имеется некий «потолок», за которым нет смысла увеличивать требования к объемам или полосе пропускания…

Но это утверждение ложно, поскольку наши глаза имеют область фовеа – и там разрешение очень велико: так, можно обращать внимание на газету или карту, и видеть ее периферийным зрением, можно – рассматривать отдельные строки…

Представьте, как должна работать система видеонаблюдения, призванная отслеживать хулиганов на стадионе: это могут быть камеры в десятки мегапикселов и специальные мониторы сразрешением 4K пикселов…

Или подобные системы для военного применения.

Наша способность выделять отдельные звуки в сложной звуковой симфонии обеспечивается выработанными механизмами адаптации (за миллионы лет). Например, система IOSONO позволяет достоверно восстанавливать звуковую картину – распределение а пространстве множества источников звука. Для этого используются сотни колонок, каждая из которых имеет свой, генерируемый компьютером сигнал, а вместе они создают звуковые волны как интерференцию множества источников, находящихся вне пределов кинозала или посреди него.

Зритель может выделить одни источники – прислушаться, и игнорировать другие. Опытный слушатель может различать голоса на иностранном языке, или партии отдельных инструментов.

Так что идея свести все к пикселам или битрейту приводит к пониманию, что данный путь еще не исчерпан, и пройдет не один десяток лет, прежде, чем устройства мультимедиа создадут имитацию визуального и звукового окружения, близкую к реальности…

Наши дети или внуки будут, возможно, пользоваться устройствами с разрешением в сотни миллионов пикселов – хоть это и кажется сейчас абсурдом. Те, кто застал дискеты – а сейчас пользуется винчестерами на несколько террабайт или облачным хранением в петабайты – ничему такому не удивляются.

Рассмотрим характеристики движущегося изображения:

• Самые примитивные 7 - 14 кадров секунду, для черно-белой хроники…

• Почему такое ограничение? Трудно проявлять пленку, трудно работать с большими и тяжелыми бобинами…

• Кино – 24 кадра в секунду, есть Motion Blur

• Можно довести до 60 кадров в секунду…

• Больше – в компьютерных играх (что важно, скажем, на соревнованиях)…

• Почему? Рефлекторная работа нейронных ассамблей, отвечающих за формирование ощущения скорости вместе с глазодвигательными мышцами…

«Почему» требует разъяснения.

Дело, вероятно, в таком тонком, трудно формулируемом в научных терминах понятии, как сознание и, пожалуй, душа. Есть субъективное время, мы воспринимаем некие процессы в движении – но быстрые процессы как смену состояния. Если отсутствует смазывание при движении, то нередко мы видим множество предметов вместо иллюзии движения. Схожее явление возникает и на дискотеке, когда включается стробоскоп: у танцовщиц будет по десять рук и ног.

Граница, когда мы видим движение или смену состояния может составлять от одной седьмой до одной 15 секунды, поскольку глаз фиксируется на это время в некотором положении. Затем резкое движение, называемое «саккада». Если подключать осциллограф к датчику, связанному с глазодвигательной мышцей, то пациент видит аккуратную линию на экране, а вот экспериментаторы видят частые скачки. Понимание явлений, связанных со зрением в динамике весьма трудно, но оно позволяет формализовать требования к мультимедийным кодекам.

В настоящий момент, к сожалению, качество сжатия видео весьма низкое: имеются шлейфы и пятна, неровные цветастые градиенты, блочные артефакты и т.п. С этим борются, иногда более, иногда менее успешно…

Применительно к CG – компьютерной графике – это тема исследований Вашего покорного…

Вернемся к звуку:

• Граммофонные пластинки на 78 оборотов…

• Долгоиграющие на 33 1/3 оборота…

• Частота дискретизации обеспечивает точное воспроизведение звука, исходя из теоремы Котельникова…

• Однако можно сжимать звук…

• Можно продавать звук в 96kHz 24bit без сжатия…

• Субъективно разница есть, но не вполне очевидно, чем именно она обусловлена. Если слушать в студии на хорошем оборудовании.

Вроде бы проблемы нет – и передача, и хранение цифрового звука решены лет 20 назад…

А если слушать в машине под шум шин? Или оглушив себя децибелами так, что и слов не слышно?

Проблема может быть, например – создание систем активного шумоподавления…

http://www.businesspress.ru/newspaper/
05.07.2000 РАЗРАБАТЫВАЮТСЯ ОКОННЫЕ РАМЫ, ОБОРУДОВАННЫЕ СИСТЕМОЙ АКТИВНОГО ШУМОПОДАВЛЕНИЯ
Инженеры-акустики Берлинского Технического университета разрабатывают звукоизолирующие оконные рамы, оборудованные системой активного шумоподавления. Идея состоит в том, чтобы вмонтировать между стеклами компактные громкоговорители и гасить внутри рамы проникающие снаружи звуки такими же звуками, но излучаемыми в противофазе. Разработчики надеются, что их конструкция найдет применение не только в жилых и административных зданиях, но также в самолетах и автомобилях. /"Немецкая волна"/
Обсудить статью на форуме http://mbm.ru/Forum/viewtopic.asp?pt=28373
Aктивное шумоподавление в автомобилях
Корейские ученые разработали компьютерную технологию активного подавления шума внутри салона движущегося автомобиля. Простейший вариант системы уже снижает уровень шума на 6 децибел, что заметно лучше всех альтернативных подходов.
Как известно, звук представляет собой волны сжатия и разрежения воздуха. Если с помощью динамиков создать волны той же частоты и амплитуды, но противоположной фазы, то они подавят друг друга. Такой подход успешно применяют для подавления монотонного гула в салонах судов и самолетов.
Шум в салоне автомобиля в основном производит вибрация колес на дороге, передающаяся через подвеску и кузов. Спектр шума сильно зависит от скорости автомобиля, а также от состояния подвески, кузова и дорожного покрытия. Автомобиль значительно меньше самолета, так что в нем трудно расположить динамики так, чтобы они выполняли свою задачу, не мешая пассажирам. К тому же уровень шума в салоне может быстро меняться во время поездки, и поэтому система подавления должна быстро реагировать на изменения. Все это до сих пор препятствовало внедрению активного шумоподавления в автомобилях.
Корейские ученые расположили на подвеске четыре датчика вибраций, а на полу, позади передних сидений - два динамика. Бортовой компьютер обрабатывает сигнал с датчиков вибраций и так формирует сигнал, подаваемый на динамики в салоне, чтобы максимально снизить шум в зоне вокруг головы водителя и сидящего на переднем сиденье пассажира. Сейчас ученые работают над новым, более эффективным вариантом системы.
Источник: Компьютерра, №4(429), 2002.
Шумоподавление в автомобиле, посредством интерференции
http://www.membrana.ru/articles/business/2003/11/10/234800.html

Вопросы для рефератов:

Пространственный звук. Звуковые текстуры поверхностей, их имитация. Системы звучания OpenAL, решения от Creative.

Система IOSONO и ее аналоги

Системы активного шумоподавления

Retina Display и аналоги: технологии производства и применение в мультимедиа устройствах.

Мониторы и видеосистемы с разрешением 4K

Растеризация шрифтов и векторной графики для современных мониторов высокого разрешения: антиалайсинг, патенты, поддержка операционными системами.

Тема 2. Тенденция: от системы централизованного устройства хранения и обработки мультимедиа и периферии – через конвергенцию устройств к облачной модели хранения и обработки и далее к «transparent computing».

Начинаю с риторического вопроса: почему везде реклама ноутбуков, фотоаппаратов, планшетов, сотовых телефонов, ультрабуков…?

• Проще говоря – всевозможных мультимедийных устройств?

А потому, что сейчас это выгодно!

• Продажа всевозможных мобильных мультимедийных устройств обеспечивает высокую маржу.

• Себестоимость составляет сравнительно малую часть розничной цены. (Для устройств фирмы apple раза в три)…

• Разница идет в рекламу…

• Но и покупает все это обеспеченная часть населения…

• Расчет на эту группу…

Однако такая ситуация – не надолго. «Бум» уже закончился для NOKIA, RIM, с трудом держится HTC. Вопрос в том, сколько устройств фирма продает, поскольку затраты распределены на тираж. И потеря доли рынка приводит к тому, что затраты на единицу товара становятся кратно больше – отсюда убытки. У Samsung или Apple мало типов устройств, но огромные тиражи и платежеспособный рынок США и западной Европы, они могут получать прибыль там, где теряют другие.

Для многих пользователей мультимедиа сейчас – это бум, мода на мобильные устройства, а громоздкий ПК они и не включают. Как не включают иные товарищи телевизор, или не ходят в кино. Однако к такой ситуации мы пришли не сразу:

• ВТ – вычислительная техника:

• Мало памяти – алгоритмы и их программные реализации, призванные синтезировать изображение и звук процедурными методами

• Многократное повторение шаблона текстур…

• Много из малого – трассировка лучей, многократные переотражения создают иллюзию естественной сложности…

• Задачи – повышение качества изображения (dithering), кодирование звука…

В 2013 году ряд производителей обещают смартфоны с разрешением HD 1920x1080, а планшеты с подобным разрешением можно и сейчас купить… Но по теме «конвергенция» будет отдельная лекция…

• Я застал эпоху перфолент и перфокарт…

• Диски 1.44 MB

• Расчет на CD 650 MB

• DVD 4.7 GB

• BR 50 GB

• Это оказывается недостаточным, поскольку вместо того, чтобы создавать Частные хранилища данных информация – результат вклада всего IT человечества, она постоянно обновляется…

• Диски на 1-4 TB. – только ничтожная часть того, что накоплено человечеством (и нет времени все просмотреть – послушать, а игры обойти… что уж там играть и выигрывать)…

• (Статистически – винчестеров продается все больше)

• Храним в Stores, Шарах, Облаках.

• И на первое место выходит скорость доступа и в дело включаются провайдеры и телекомы…

И тут разницы: что ПК, что мобильное устройство уже не существенна.

Аналогично можно говорить и о камерах, о числе ядер процессора…

Значит ли это наступление заката ПК?

• Нет, это неверное определение.

• Нужно исходить из смены модели взаимодействия пользователя и гетерогенного комплекса, обеспечивающего создание, редактирование, просмотр (чтение, прослушивание), хранение и т.д…

• Когда то в прошлом были – системы коллективного доступа (mainframes), позволявшие множеству пользователей работать со своих консолей…

• Но удешевление ПК обеспечило возможность каждому работать не сталкиваясь с задержками…

• Системы клиент – сервер обеспечивают доступ к различным данным множеству пользователей…

• Сервер стал распределенным, стал сетью…

• Но к сути я пока не перешел…

Режим дня пользователя (в некотором недалеком будущем)

• Встал – подошел к зеркалу в ванной – а поему зеркало не может быть интерактивным устройством?

• Телевизор на кухне – доступ к новостям и мультикам…

• Радио в машине.

• Планшет в метро (книги, фильмы… )

• Экраны на автострадах…

• Компьютеры на работе

• Презентационные доски

• Домой пришел – приставки…

• Друг позвонил – телефоны, айфоны…

• Фотоаппараты с возможностью выхода в социальные сети…

• И множество других устройств…

• Прогнозируется, что к 2020 году количество гаджетов вырастет до 50 млрд, то есть каждый из нас будет выходить во всемирную паутину сразу с шести устройств. Интернет вещей захватывает все области нашей жизни, он буквально проникает внутрь человека. (Дэйв Эванс, Cisco)

Эти устройства:

• Могут отслеживать перемещение пользователей

• Их поисковые запросы и предпочтения…

• Готовы предоставлять им требуемую информацию или навязывать рекламу…

• Доступ к информации – с устройства с различными процессорами, ОС, приложениями и т.п. достигается благодаря универсальности браузеров, приложений, плагинов конвертации

Поэтому:

Традиционный подход к определению мультимедиа сосредоточен на взаимодействии визуальных и аудио-эффектов под управлением интерактивного программного обеспечения с использованием современных технических и программных средств, они объединяют текст, звук, графику, фото, видео в одном цифровом представлении.

А новый подход обращает внимание на возможности получать не только доступ, но и интерактивно взаимодействовать, и создавать контент, и осуществлять профессиональную деятельность со множества устройств с конкретным мультимедийным контентом. С какого устройства, где именно данные физически хранятся, где обрабатываются уже не важно. Рабочее место – где угодно, кино – где угодно, учиться где угодно и чтобы книжку найти не нужны ни библиотеки, ни книжные магазины.

Под Transparent Computing понимается ситуация, когда пользователь использует нужные ему приложения на всех своих устройствах — домашнем ПК, рабочем ноутбуке и смартфоне или планшете в дороге. При этом приложение на разных устройствах работает одинаково, и данные пользователя автоматически синхронизируются при необходимости через облако.

Важной предпосылкой для внедрения Transparent Computing является внедрение HTML5, поскольку оно обеспечивает представление разнообразной информации независимо от аппаратной платформы, ОС, браузера и жадности фирм, стремящихся зарабатывать royalty на патентах.

Однако этот сценарий развития – один из возможных. Другой путь состоит в навязывании единых экосистем, включающих и компьютер, и телевизор, и смартфон, и свои единые интерфейсы ОС и форматы файлов. Таким путем идет Microsoft и Apple, отчасти Google, Samsung и LG…

Итак:

• Есть устройства, которые хранят контент.

• Адаптируют его к возможностям передающей сети и возможностям приемных устройств. (в реальном времени либо хранят несколько версий)

• Обеспечивают передачу с нужным качеством.

• Есть пользовательские устройства, для которых заранее не известны их возможности приема и декодирования данных…

И есть относительная свобода передавать этот контент с устройств одних вендоров на устройства других…

В тоже время пока сохраняется:

• Неопределенность в системных требованиях

• Если устройство стационарное – больше потребление энергии, лучше качество связи

• Если мобильное – экономь энергию.

• Если движется – вопросы надежности связи…

В будущем, вероятно, как мобильные, так и стационарные устройства будут иметь возможность воспроизводить HD контент или удаленно создавать его, а стационарные системы будут демонстрировать свое преимущество лишь при создании контента.

Так и было в эпоху рабочих станций, которые противопоставлялись ПК, только ПК стали мощными, как рабочие станции, а бизнес последних стал нерентабельным.

Вопросы для рефератов по теме 2:

Что именно пользователю может потребоваться? Эти темы могут взять знатоки конкретных пакетов, сами создававшие тот или иной контент.

ПО для перекодирования файлов разнообразных мультимедийных форматов

Профессиональное и любительское ПО для просмотра и работы с видео: общая классификация, модели работы пользователей.

Профессиональное и любительское ПО для просмотра и работы с аудио: общая классификация, модели работы пользователей.

Анализ устройств в экосистеме Apple

Анализ устройств в экосистеме Microsoft

Серверное ПО для поддержания функционала Transparent Computing.

Тема 3.

Особенности эры «пост ПК»: демонстрация на децентрализованной экосистеме устройств разнообразных продуктов, входящих в состав художественных проектов.

Мы уже рассмотрели несколько понятий:

Таким образом, тема «transparent computing» вместе и с разнообразными мультимедиа устройствами, и «интернетом вещей», и конвергенцией мультимедийных устройств, и экосистемами устройств – позволяет говорить об эре пост-ПК.

Ее отличает разнообразие ОС, аппаратных платформ.

Корректно говорить о ее наступлении по мере того, как HD видео становится стандартным, а HTML5 устройства становятся стандартом де факто, и высокопроизводительная беспроводная связь становится доступной и повсеместной.

При этом исчезает необходимость поддержания контента с малым разрешением, и, подобно тому, как исчез GIF и сильно оптимизированные JPEG картинки по мере того, как пользователи перешли с модемов на высокоскоростной интернет, исчезнет и архаичная инфраструктура адаптации мультимедийных данных к устаревающим мобильным устройствам с низким разрешением экрана и производительностью.

Это лишает ПК эксклюзивного статуса устройства, на котором только и можно смотреть качественное мультимедиа, вообще говоря, теперь можно будет работать хоть с «холодильником»…

ПК перестает быть или восприниматься как физическое устройство.

ПК становится неким виртуальным объектом, вроде login в облаке, дающим доступ к рабочей сессии – последними открытыми и сохраненными файлами, к играм, к социальным сетям.

Эта эра сделает одни привычки устаревшими, другие – модными, третьи будут полезными и окажутся определяющими в характере человека будущего.

Поэтому корректно говорить, что с эрой пост ПК связан и человек нового типа…

Впрочем, было время, когда не было телезрителей или геймеров. Было время, когда и читателей не было.

Человек эры пост ПК – это не столько экономическая или моральная, сколько лежащая в области поведения совокупность переносимых из различных областей, таких как образование, работа, развлечение, спорт и т.п. общение общих привычек и черт поведения. Они обусловлены систематическим, привычным использованием разнообразия мультимедийных устройств.

Такой человек характеризуется и иным потребительским поведением, он иначе строит отношения в семье или коллективе – чему способствуют социальные сети.

Соответственно постепенно такой человек – или шире говоря, общество, сумеет выработать некое подобие идентичности – впрочем, отличное от национального, религиозного и т.п. Он, очевидно, принадлежит некой новой фазе пост-индустриального общества. Имеется ряд политических и экономических факторов, обеспечивающих его успешность: возможность как переезжать из города в город, из страны в страну, получать разнообразное образование и практиковаться в различных областях.

Однако в дальнейшем мы увидим, что такими преимуществами пользуется лишь малая часть, поскольку лишь несколько фирм получают огромные прибыли, а остальные мелкие фирмы создают едва востребованные в коммерческом плане продукты…

Кроме того, множество людей не чувствуют себя включенными в эту систему, и она вызывает некоторое раздражение или отторжение.

Перейдем теперь к следующей особенности эры пост-ПК:

Создаются проекты:

• Автор, сквозные персонажи, исторические эпохи, антураж

• Текст, книга, литературный источник

• Кино, фильм, сериал

• Комиксы

• Аттракционы в парках развлечений

• Музыка, OST

• Стили в одежде, сувениры

• Игрушки

• Компьютерные игры

• Социальные группы – мероприятия…

Разные группы людей:

• Являются потребителями разных сторон одного проекта:

• Кто читает бумажные книги

• Кто электронные

• Кто идет в кино

• Кто скачивает видео

• Кто покупает диски

• Кто играет в игры по мотивам

• Кто покупает одежду, рекламируемые товары?

• Мнение одних влияет на мнение других потребителей

Важна «цепная реакция» - когда вложения многократно окупаются, и опасна ситуация убыточности

Разные фирмы развивают отдельные стороны проектов

• Издательства издают книги и комиксы

• Студии снимают фильмы,

• Компьютерные студии – игры

• Освещение в прессе, фестивали…

• Коллективный труд большого числа людей.

• Он развивается в динамике (и если проект успешен – к нему подключается все больше людей. Или пока не закончится бюджет убыточного).

• Тогда подмножеством проекта является – мультимедиа.

• Доступ к нему – с любого устройства…

А теперь вы можете уже сами объяснить, как, скажем, Original Sound Track, текст для читалки, компьютерная игра, костюмы для косплея и множество иных товаров могут поддерживать бизнес некоего производителя?

Почему те фирмы, что создают отдельные устройства теряют рынок, а выживают корпорации, создающие экосистемы с разнообразием мультимедийных устройств и магазинами приложений?

Вместе с тем, выживание проектов – это самостоятельная сторона дел: так, один фильм нередко порождает три версии игры для PC, Xbox360 и PS3, несколько книг, альбомов и комиксов, сувениры, или костюмы, майки – футболки, которые, очевидно, никакого отношения к мультимедиа не имеют, это продукты, входящие в состав художественного проекта. Они «поддерживают» на плаву студии, коллективы людей, профсоюзы артистов, систему copyrights и т.п.

Тема для доклада:

По открытым источникам выявить все продукты, относящиеся к некоторому художественному проекту.

Установить авторство всех участников (которые можно найти по credits).

Бюджет всех продуктов. Как и что окупалось, в каких странах продукты выходили, как они были смонтированы и переведены…

Дать характеристику мультимедиа – продуктам, вошедшим в проект с точки зрения рекомендуемых системных требований, возрастных групп и т.п.

Тема 4. От классических оконных интерфейсов – к интерфейсам, использующим технологии мультимедиа.

Системы вывода:

Мы продолжаем анализировать тенденции, заглядывая то в прошлое на несколько десятилетий, то на несколько десятилетий в будущее, и пытаемся понять: как именно меняются технологии мультимедиа, современная культура, поведение людей, чего ожидать и какие знания могут стать актуальными, какие – только модой или маркетинговой «разводкой».

В России обычно мультимедиа = ПК = Windows. Хотя во всем мире это сонм разных компьютеров, вроде Amiga, Sinclair, Apple из разных эпох, игровых приставок с картриджами, с дисками и разными устройствами ввода…

Интерфейсы…

Устаревшие концепции ввода, привычные для ПК…

• Клавиатура

• Мышь

• А сейчас?

Работа с сенсорными панелями!

• Сенсорные клавиатуры

• Датчики движения, перемещения, наклона устройств

• Устройства ДУ

• Устройства ввода консолей…

• Джойстики и устройства, имитирующие приборные панели в симуляторах

• Kinex и аналоги.

• Новые ОС…

• И приложения, рассчитанные на такие интерфейсы.

Опять – способов организовать ввод информации много, и много ОС, и много библиотек, которые всю эту всячину обслуживают…

Советую просмотреть ролик

https://www.youtube.com/watch?v=aVSp_km6Aks

(Один из лучших роликов, дает очень проработанное представление о будущем. «Жить в эту пору прекрасную Уж не придется — ни мне, ни тебе»…

Как видно, экран может быть вмонтирован в любую поверхность, это не обязательно привычные телевизор или планшет: это и окна, и зеркала, и стол, и холодильник…

Очевидно, должны быть и процессоры, и графические платы, чтобы все такое «прозрачное вычислительное» хозяйство обслуживать – даже если вычислительных устройств нет непосредственно в плите или холодильнике.

Так как рынок дисплеев с высоким разрешением насыщен – другого пути, как наполнять окружающее пространство такими устройствами не остается.

Аналогично – так как постепенно будет насыщен рынок ПК, смартфонов, читалок, фотоаппаратов – постепенно мир будет все больше заполняться всевозможными устройствами, обеспечивающими «прозрачные вычисления». И крупнейшие вендоры будут пробивать свои решения, поскольку модель «купить несколько компонентов и достраивать систему» обеспечит им долговременное выживание, а магазины приложений – успешность их проектов.

Можно поискать и другие ролики на тему “интерфейсы будущего”, и самостоятельно привести примеров 20-30 приложений «по ту сторону ПК или консольных игр…»

Разберем, как к этому пришли, и почему альтернативные концепции так и не вышли за пределы ограниченного круга пользователей.

Есть такой класс приложений – augmented reality. Например – выводящий перевод уличных надписей на стекло очков. Например – Google glass, или то, что показано в сериале dennou coil[1]. Технически, такие системы, «отпочковавшись» от виртуальной реальности, для которой характерно полное погружение в сгенерированный и озвученный трехмерный мир, имеют дело с привычной, но дополненной виртуальными объектами реальностью демонстрировались давно, отслеживание положения головы и наложение предметов – также решенная задача, но коммерциализация и внедрение

Или системы автоматического распознавания и перевода речи – впрочем, над темой работают лет 25: и нет четкой уверенности, что разработчики не водят за нос, поскольку так ничего за 25 лет коммерциализировано не было, а «вот сейчас, только погодите – и будет всем счастье» раздавалось несколько раз.

Итак, с помощью речевого ввода можно было бы вводить данные быстрее, чем мы вводим их с клавиатуры. Однако оконный интерфейс организует активность пользователя, предоставляя ему набор возможных команд. Переход от командной строки к оконной ОС произошел 25 лет назад, а для обладателей рабочих станций несколько раньше: рядовой пользователь избавлен от необходимости изучать сотни или тысячи команд, и наговаривать их в микрофон, на что обрек бы его путь развития сторонников распознавания речи. Пользователи уже сформированы, например, интерфейсом Office 2010, в котором всевозможные действия сгруппированы в лентах (а не так, как раньше – в древовидном списке. Например, некоторые САПР и не думают переходить к «лентам»: пользователи рыщут по спискам ловко и привычно, и не желают переучиваться. Кривая обучения очень пологая, хуже чем для Office 2010, но они ведь и возможных действий на порядок больше).

Традиционный интерфейс:

• Концепция оконного приложения

• В ОС запускается несколько приложений

• Каждое регистрирует свои уникальные элементы управления – например, кнопки

• Каждое выводит изображение в свою прямоугольную область на экране

• ОС отслеживает фокус ввода и делает приложение активным

• Возможно – вывод информации со звуком

• Где именно на desktop-е окно, какое разрешение, цветовой режим монитора – проблема не приложения, а ОС, оно передает в обработчик событий, имеющийся в оконном приложении события – нажатия клавиш, колесо прокрутки и т.п.

Ограничения:

• Вводится координатная информация + нажатия клавиш

• Дополнительно используется клавиатура

• Выводятся – простые битовые поля (изображения) с прозрачностью…

• И это по сути эволюционирует, эволюционирует…

• пусть и возможность сделать красивый дизайн…

• Все равно производительность труда пользователя и удобство совершенствуются медленно!

Итак, современной тенденцией развития интерфейса – (ясное дело,) – использование программных и аппаратных ресурсов, изначально предназначенных для работы с мультимедиа.

Примером может быть небезызвестный интерфейс Aero (входит в Windows Vista или Windows 7).

Эксперименты в данной области проводятся давно. Так, древовидная структура каталога, которая может быть представлена средствами, встроенными в ОС, может быть представлена в виде карты, где есть районы, города, деревни, улицы дома и комнаты. Таким виделось будущее создателям фильма парк Юрского периода в 1993 году. И по такому трехмерному городу нужно было перемещаться в поисках нужного файла.

Возможно для работы с КД – конструкторской документацией или системами ГИС такой подход и удобен, но на практике он не прижился.

Однако как ни старались разработчики развивать интерфейс за счет привлечения 3d функционала – он обычно лишен теплоты и человечности. А человеку нужен человек, нужен канал, по которому доходчиво передаются эмоциональные аспекты информации (что проходит по разделу «искусство», однако имеет более широкое значение, и может быть задействовано в работе для более эффективного воздействия на пользователей – будь то реклама, привлечение внимания, создания дружественной атмосферы, настроения, мотивации и т.п.).

Live2d

• Предполагается как инструмент анимации

• Кавайные персонажи – не дайте себя запутать!

• Это не инструмент только для аниматоров, и тем более не поддержка хентая…

• Вместо персонажной анимации может быть что угодно: кнопки, рычаги, текстуры с текстом или картинками…

• Технология базируется на 3d ускорении!

• В отличии от 3d технологий – удивительное очарование и художественное качество…

Тема 5. От классических оконных интерфейсов – к интерфейсам, использующим технологии мультимедиа.

Системы ввода.

И такие приложения, вообще говоря, реализуют свою «механику» через внутренние механизмы. Говорим ли мы о том, какое тело в системе САПР разработчик выделил, или какого монстра подстрелил игрок из арбалета – вопрос во что попала некая виртуальная прямая (называют ее «vision», хотя это сленг) или парабола, по которой летела стрела арбалета – вопрос приложения, а не ОС.

Следующим шагом от «мышки», дающей уникальное положение на экране (game pad не является устройством ввода координатной информации, с этой точки зрения консольные игры являются регрессом) становится multi touch interface.

• У человека не просто один единственный палец!

• А целая рука!

• Или даже две!

• Результат эволюции, труда –

• -развившего руку и артикуляцию (речь)

• И мы можем рисовать, играть на музыкальных инструментах, заниматься декоративно-прикладными работами кистью, а не кончиками пальцев!

• Жест разнообразен, эмоционален и выразителен!

• Поэтому умея вводить информацию РАЗНОЙ ПРИРОДЫ с помощью руки, а не координату мышкой!

• Можно поднять производительность труда!

• (вспомним труд кассиров в 70 годы, и как изменился при использовании штрих кодов)… - конкуренция быстро изменила расстановку сил.

• Вводите информацию мышью по экранной клавиатуре?

• Нажимаете клавиши MIDI?

• А если набирать текст (или произносить в микрофон?)

• Петь или играть на гитаре?

• Управление самолетом в симуляторах – специализированные джойстики (иначе вообще невозможно ввести все, что нужно в условиях боя)

• Производительность труда!!!(сто раз повторю)

• Ускорить проектирование 3d объектов, предоставив дизайнерам возможность аккуратно манипулировать предметами, виртуальными инструментами как если бы они были скульпторами…

• Фотографам и графическим дизайнерам – быстро редактировать фотографии, работать с оригинал макетами…

• Важна чувствительность к нажатию…

• Раньше это были профессиональные инструменты Wacom – планшеты…

Кстати – для САПР определенное распространение получил trackball. При его использовании всевозможные манипуляции в пространстве заметно ускоряются – другой вопрос: а может ли производство эти дизайнерские выкрутасы изготовить?

Система Surface:

См . видео.

• Разнообразие движений позволяет:

• Задавать не только положение, но и размер, угол, наклон (параллелограмм), растяжения плоского объекта…

• Располагать слои друг за другом можно быстрее…

• Не обязательно манипуляции изображениями…

• Ускорить ввод разнообразной информации: планы, графики, схемы

• + логика (или имитационное моделирование) – мощный инструмент, позволяющий быстрее вводить и проверять варианты чего – либо…

Манипулируем «фигурками» - хаб планирования.

• Например – размещение военной техники, мебели, деталей…

• Фигурки содержат основания, которые распознаются сенсорным экраном

• Напоминает игру в «формочки» на карте вместо песка…

• Эти «формочки» могут иметь иной смысл, карта быть многомерной, в ней появляется информация о времени, об исполнителях…

• Ускоряет процесс планирования…

• Уже не «бумажная» технология – когда есть документ, а интерактивный черновик, доска, с которой можно стирать.

• Такой электронный документ – результат работы коллектива в некой «экосистеме»…

• Отдельные работники создают свои аспекты общего дела, затем они совместно анализируются, собираются, меняются требования…

•