Уровни описания информационных систем
ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СИСТЕМ
Как только мы сказали слово "система", мы разделили всю рассматриваемую область на две части: на саму систему и внешнюю среду. Таким образом, мы представляем всю вселенную состоящей из множества систем, каждая из которых содержится в более масштабной системе. Термин "система" греческого происхождения и означает целое, состоящее из отдельных частей. Существует большое количество определений "систем".
Л. фон Берталанфи – комплекс элементов находящихся во взаимодействии.
А.Холл – множество объектов вместе с отношениями между ними и их атрибутами.
У. Гослинг – система это собрание простых частей.
Р. Акофф – система это любая сущность, состоящая из взаимосвязанных частей.
К. Уотт - система это взаимодействующий информационный комплекс, характеризующийся многими причинно-следственными взаимодействиями.
Общие моменты этих определений позволяют нам рассматривать систему как целенаправленный комплекс взаимосвязанных элементов любой природы и отношений между ними.
В последнее время в определение понятия системы наряду с элементами, связями и их свойствами и целями начинают включать наблюдателя, хотя впервые на необходимость учета взаимодействия между исследователем и изучаемой системой указал один из основоположников кибернетики У. Р. Эшби.
М. Месарович и Я. Такахара в книге "Общая теория систем" считают, что система - "формальная взаимосвязь между наблюдаемыми признаками и свойствами".
Рассматривая различные определения системы и не выделяя ни одного из них в качестве основного обычно подчеркивают сложность понятия системы, неоднозначность выбора формы описания на различных стадиях исследования. При описании системы рекомендуется воспользоваться максимально полным способом, а потом выделить компоненты наиболее влияющие на ее функционирование и сформулировать рабочие описание системы.
Рассмотрим основные понятия, характеризующие строение и функционирование систем.
Элемент. Под элементом принято понимать простейшую неделимую часть системы. Ответ на вопрос, что является такой частью, может быть неоднозначным и зависит от цели рассмотрения объекта как системы, от точки зрения на него или от аспекта его изучения. Таким образом, элемент - это предел деления системы с точек зрения решения конкретной задачи и поставленной цели. Систему можно расчленить на элементы различными способами в зависимости от формулировки цели и ее уточнения в процессе исследования.
Подсистема. Система может быть разделена на элементы не сразу, а последовательным расчленением на подсистемы, которые представляют собой компоненты более крупные, чем элементы, и в то же время более детальные, чем система в целом. Возможность деления системы на подсистемы связана с вычленением совокупностей взаимосвязанных элементов, способных выполнять относительно независимые функции, подцели, направленные на достижение общей цели системы. Названием "подсистема" подчеркивается, что такая часть должна обладать свойствами системы (в частности, свойством целостности). Этим подсистема отличается от простой группы элементов, для которой не сформулирована подцель и не выполняются свойства целостности (для такой группы используется название "компоненты"). Например, подсистемы АСУ, подсистемы пассажирского транспорта крупного города.
Структура. Это понятие происходит от латинского слова structure, означающего строение, расположение, порядок. Структура отражает наиболее существенные взаимоотношения между элементами и их группами (компонентами, подсистемами), которые мало меняются при изменениях в системе и обеспечивают существование системы и ее основных свойств. Структура - это совокупность элементов и связей между ними. Структура может быть представлена графически, в виде теоретико-множественных описаний, матриц, графов и других языков моделирования структур.
Частным случаем структуры является известная всем иерархия. Иерархия - это упорядоченность компонентов по степени важности (многоступенчатость, служебная лестница). Между уровнями иерархической структуры могут существовать взаимоотношения строгого подчинения компонентов (узлов) нижележащего уровня одному из компонентов вышележащего уровня, т. е. отношения так называемого древовидного порядка. Такие иерархии называют сильными или иерархиями типа "дерева", т.е. связного графа без циклов.. Они имеют ряд особенностей, делающих их удобным средством представления систем управления. Однако могут быть связи и в пределах одного уровня иерархии. Один и тот же узел нижележащего уровня может быть одновременно подчинен нескольким узлам вышележащего уровня. Такие структуры называют иерархическими структурами «со слабыми связями». Между уровнями иерархической структуры могут существовать и более сложные взаимоотношения, например, типа "страт", "слоев", "эшелонов". Примеры иерархических структур: энергетические системы, АСУ, государственный аппарат.
Связь. Понятие "связь" входит в любое определение системы наряду с понятием "элемент" и обеспечивает возникновение и сохранение структуры и целостных свойств системы. Это понятие характеризует одновременно и строение (статику), и функционирование (динамику) системы.
Связь характеризуется направлением, силой и характером (или видом). По первым двум признакам связи можно разделить на направленные и ненаправленные, сильные и слабые, а по характеру - на связи подчинения, генетические, равноправные (или безразличные), связи управления. Связи можно разделить также по месту приложения (внутренние и внешние), по направленности процессов в системе в целом или в отдельных ее подсистемах (прямые и обратные). Связи в конкретных системах могут быть одновременно охарактеризованы несколькими из названных признаков.
Важную роль в системах играет понятие "обратной связи". Это понятие, легко иллюстрируемое на примерах технических устройств, не всегда можно применить в организационных системах. Исследованию этого понятия большое внимание уделяется в кибернетике, в которой изучается возможность перенесения механизмов обратной связи, характерных для объектов одной физической природы, на объекты другой природы. Обратная связь является основой саморегулирования и развития систем, приспособления их к изменяющимся условиям существования.
Состояние. Понятием "состояние" обычно характеризуют мгновенную фотографию, "срез" системы, остановку в ее развитии. Его определяют либо через входные воздействия и выходные сигналы (результаты), либо через макропараметры, макросвойства системы (например, давление, скорость, ускорение - для физических систем; производительность, себестоимость продукции, прибыль - для экономических систем).
Более полно состояние можно определить, если рассмотреть элементы e (или компоненты, функциональные блоки), определяющие состояние, учесть, что "входы" можно разделить на управляющие u и возмущающие х (неконтролируемые) и что "выходы" (выходные результаты, сигналы) зависят от e, u и х, т.е. zt=f(et, ut, xt). Тогда в зависимости от задачи состояние может быть определено как {e, u}, {e, u, z} или {e, х, u, z}.
Таким образом, состояние - это множество существенных свойств, которыми система обладает в данный момент времени.
Поведение. Если система способна переходить из одного состояния в другое (например, z1®z2®z3), то говорят, что она обладает поведением. Этим понятием пользуются, когда неизвестны закономерности переходов из одного состояния в другое. Тогда говорят, что система обладает каким-то поведением и выясняют его закономерности. С учетом введенных выше обозначений поведение можно представить как функцию zt=f(zt-1, xt, ut).
Внешняя среда. Под внешней средой понимается множество элементов, которые не входят в систему, но изменение их состояния вызывает изменение поведения системы.
Модель. Под моделью системы понимается описание системы, отображающее определенную группу ее свойств. Углубление описания - детализация модели. Создание модели системы позволяет предсказывать ее поведение в определенном диапазоне условий.
Модель функционирования (поведения) системы - это модель, предсказывающая изменение состояния системы во времени, например: натурные (аналоговые), электрические, машинные на ЭВМ и др.
Равновеcие- это способность системы в отсутствие внешних возмущающих воздействий (или при постоянных воздействиях) сохранять свое состояние сколь угодно долго.
Устойчивость. Под устойчивостью понимается способность системы возвращаться в состояние равновесия после того, как она была из этого состояния выведена под влиянием внешних возмущающих воздействий.
Состояние равновесия, в которое система способна возвращаться, по аналогии с техническими устройствами называют устойчивым состоянием равновесия. Равновесие и устойчивость в экономических и организационных системах - гораздо более сложные понятия, чем в технике, и до недавнего времени ими пользовались только для некоторого предварительного описательного представления о системе. В последнее время появились попытки формализованного отображения этих процессов и в сложных организационных системах, помогающие выявлять параметры, влияющие на их протекание и взаимосвязь.
Развитие. Исследованию процесса развития, соотношения процессов развития и устойчивости, изучению механизмов, лежащих в их основе, уделяют в кибернетике и теории систем большое внимание. Понятие развития помогает объяснить сложные термодинамические и информационные процессы в природе и обществе.
Цель. Применение понятия "цель" и связанных с ним понятий целенаправленности, целеустремленности, целесообразности сдерживается трудностью их однозначного толкования в конкретных условиях. Это связано с тем, что процесс целеобразования и соответствующий ему процесс обоснования целей в организационных системах весьма сложен и не до конца изучен. Его исследованию большое внимание уделяется в психологии, философии, кибернетике. В Большой Советской Энциклопедии цель определяется как "заранее мыслимый результат сознательной деятельности человека". В практических применениях цель - это идеальное устремление, которое позволяет коллективу увидеть перспективы или реальные возможности, обеспечивающие своевременность завершения очередного этапа на пути к идеальным устремлениям.
В настоящее время в связи с усилением программно-целевых принципов в планировании исследованию закономерностей целеобразования и представления целей в конкретных условиях уделяется все больше внимания. Например: энергетическая программа, продовольственная программа, жилищная программа, программа перехода к рыночной экономике. Понятие цель лежит в основе развития системы.
Вывод формулы Шеннона.
Нам необходимо научиться оценивать степень неопределенности различных ситуаций, опытов. Для самых простых опытов, имеющих k равновероятных исходов, степень неопределенности измеряется с помощью самого числа k: при k = 1 никакой неопределенности нет, т.к. исход предопределен, но не случаен. При росте числа возможных исходов предсказание результата опыта становится все более затруднительным, так что естественно предположить, что мера степени неопределенности является функцией k – f(k), причем f(1)=0, и f(k) монотонно растет с ростом k.
Кроме того, надо научиться оценивать неопределенность нескольких опытов. Рассмотрим два независимых опыта α и β (т.е. такие два опыта, что любые сведения об исходе первого из них никак не меняют вероятностей исходов второго). Если опыт α имеет p равновероятных исходов, а опыт β – q равновероятных исходов, то сложный опыт αβ, состоящий в одновременном выполнении опытов α и β, очевидно обладает неопределенностью большей, чем каждый опыт α или β в отдельности.
Пример сложного опыта
Пусть в одной урне находятся таблички с буквами русского алфавита в количестве 32 штук (е и ё будем считать неразличимыми), а в другой – таблички с арабскими цифрами 0, 1, …, 9. Опыт α состоит в извлечении из первой урны одной буквы, а опыт β – в извлечении из второй урны одной цифры. В первом случае у нас – 32 равновероятных исхода, а во втором – 10. При этом извлечение какой бы то ни было буквы из первой урны никак не влияет на то, какая будет извлечена цифра. В сложном опыте αβ – 320 исходов и степень неопределенности этого опыта больше, чем исходных двух.
Очевидно, что в сложном опыте степень неопределенности опыта α дополняется степенью неопределенности β. Можно считать, что степень неопределенности опыта αβ равна сумме неопределенностей опытов α и β. Так как опыт αβ имеет pq равновероятных исходов, то мы можем формировать условие, которому должна удовлетворять функция f(k): f(pq)= f(p)+ f(q).
Последнее условие вместе с требованием f(1)=0 и условием монотонного роста наталкивает на мысль, что в качестве меры неопределенности опыта, имеющего k равновероятных исходов, можно взять число log k. Формально доказывается, что логарифмическая функция является единственной функцией аргумента k, удовлетворяющей условиям f(pq)= f(p)+f(q), f(1)=0 и f(p)>f(q) при p>q.
При определении конкретной оценки меры неопределенности обычно используют логарифм по основанию два, т.е. f(k)=log2k. Это означает, что за единицу измерения степени неопределенности здесь принимается неопределенность, содержащаяся в опыте, имеющем два равновероятных исхода (как в опыте подбрасывания монеты). Такая единица измерения неопределенности называется БИТ (bit – binary digit – двоичный разряд). В случае использования десятичных логарифмов в качестве единицы степени неопределенности принималась бы неопределенность опыта с десятью равновероятными исходами – ДИТ. Чаще всего именно бит принимается в качестве единицы измерения: - мы соглашаемся оценивать неопределенность системы в самых мелких возможных единицах. Неопределенность десятичного набора – гораздо крупнее - дит почти в 3, 3 раза больше бита (т.к. log210 ≈ 3,32).
Вероятности исходов опыта могут задаваться в виде таблицы и при k равновероятных исходах это может выглядеть так:
| Исходы опыта | А1 | А2 | … | Аk |
| Вероятность | 1/k | 1/k | … | 1/k |
Поскольку общая неопределенность такого опыта по нашему условию равна logk, то можно считать, что каждый исход вносит неопределенность 1/k*log k = - 1/k*log 1/k. Если таблица вероятностей будет иной, например,
| Исходы опыта | А1 | А2 | А3 | А4 |
| Вероятность | ½ | 1/4 | 1/8 | 1/8 |
естественно считать, что в результате опыта исходы А1, А2, А3 и А4 вносят неопределенность, равную:
- ½ * log ½; - ¼ * log ¼ ; - ⅛* log ⅛ и - ⅛* log ⅛, так что общая степень неопределенности этого опыта равна: - ½ *log ½ - ¼* log ¼ - ⅛* log ⅛ - ⅛*log ⅛ =7/4.
Тогда в самом общем случае для опыта α с таблицей вероятностей
| Исходы опыта | А1 | А2 | … | Аi | … | Аk |
| Вероятность | p(А1) | p(А2) | … | p(Аi) | … | p(Аk) |
степень неопределенности равна
- p(А1) log p(А1) - p(А2) log p(А2) - … - p(Аi) log p(Аi) - … - p(Аk) log p(Аk).
Клод Шеннон предложил в качестве меры неопределенности системы α с k состояниями энтропию H(α):
Энтропия равна нулю, только в одном случае, когда все вероятности P равны нулю, кроме одной, которая равна единице. Это точно описывает отсутствие неопределенности: система находится всегда в одном и том же состоянии.
Энтропия – максимальна, когда все вероятности равны.
Если все исходы равновероятны pi = 1/k, то
k
H(α) = - 1/k ∑ log1/k = log k.
Например, энтропия нашего алфавита из 32 букв: H= log32 = 5 бит. Энтропия десятичного набора цифр: H=log10=3.32 бит. Энтропия системы, в которой отдельно хранятся 32 буквы и 10 цифр: H=log(32*10)= 5 + 3.32 = 8.32 бит.
1.3. Алгоритмический подход
Энтропийный подход в теории информации позволяет ответить на вопрос “Сколько информации содержит объект Y относительно объекта X?” В рамках другого подхода – алгоритмического – можно ответить и на вопрос “Сколько нужно информации, чтобы воссоздать (описать) объект X?” Этот подход, разработанный А. Н. Колмогоровым основан на теории алгоритмов и предполагает наличие априорной вероятностной меры на множестве сигналов.
В алгоритмическом подходе количество информации, содержащейся в слове (последовательности нулей и единиц), по существу, измеряется минимальной длиной программы, необходимой для воспроизведения этого слова (последовательности).
1.4. Семантический подход
Основное достоинство трех перечисленных подходов к определению количества информации состоит в том, что они опираются на строгие системы аксиом и поддерживаются развитым математическим аппаратом для исследования свойств определяемого так количества информации. Основной недостаток этих подходов состоит в том, что в рамках этих формальных моделей не удается оценить содержательную сущность каждого сообщения, его семантику. Этот недостаток был замечен исследователями в скором времени после появления работы Шеннона. Предпринимались многочисленные попытки формального описания сущности интеллектуальных процессов в информационном взаимодействии “источник – приемник”. Однако большинство из них нельзя назвать удачными. В последние годы интерес к построению формальных моделей смысла, содержащегося в сообщении, необычайно возрос в связи с созданием систем автоматического перевода с одного естественного языка на другой. Для того чтобы построить систему автоматического перевода, необходимо создать формализованную процедуру построения моделей “Текст ,Смысл”, “Смысл ,Текст”.
Для измерения смыслового содержания информации, т.е. её количества на семантическом уровне, введем понятие тезаурус получателя информации.
Тезаурус – это совокупность сведений, и связей между ними, которыми располагает получатель информации. Можно сказать, что тезаурус – это накопленные знания получателя.
В очень простом случае, когда получателем является техническое устройство - персональный компьютер –тезаурус формируется «вооружением» компьютера - заложенными в него программами и устройствами, позволяющими принимать, обрабатывать и представлять текстовые сообщения на разных языках, использующих разные алфавиты, шрифты, а также аудио- и видеоинформацию с локальной или всемирной сети. Если компьютер не снабжен сетевой картой, нельзя ожидать получения на него сообщений из сети ни в каком виде. Отсутствие драйверов с русскими шрифтами не позволит работать с сообщениями на русском языке и т.д.
Если получателем является человек, его тезаурус – это тоже своеобразное интеллектуальное вооружение человека – арсенал его знаний. Он также образует своеобразный фильтр для поступающих сообщений. Поступившее сообщение обрабатывается с использованием имеющихся знаний с целью получения информации. Если тезаурус очень богат – арсенал знаний глубок и многообразен, он позволит извлекать информацию из практически любого сообщения. Маленький тезаурус, содержащий скудный багаж знаний, может стать препятствием для понимания сообщений, требующих лучшей подготовки.
Заметим однако, что одного понимания сообщения для влияния на принятие решения мало – надо, чтобы в нем содержалась нужная для этого информация, которой нет в нашем тезаурусе и которую мы в него хотим включить. Если полученное сообщение изменяет наш тезаурус, может измениться и выбор решения. Такое изменение тезауруса и служит семантической мерой количества информации – своеобразной мерой полезности полученного сообщения.
Формально – количество семантической информации Is , включаемой в дальнейшем в тезаурус, определяется соотношением тезауруса получателя Si и содержанием передаваемой в сообщении b информации S0.
При Si = 0 получатель не воспринимает поступающую информацию;
При 0<Si£S0 получатель воспринимает, но не понимает поступившую в сообщении информацию;
При Si ® ¥ получатель имеет исчерпывающие знания и поступающая информация не может пополнить его тезауруса.
При тезаурусе Si>S0 количество семантической информации Is получаемое из вложенной в сообщение b информации S вначале быстро растет с ростом собственного тезауруса получателя, а затем – начиная с некоторого значения Si - падает. Падение количества полезной для получателя информации происходит от того, что багаж знаний получателя стал достаточно солидным и удивить его чем-то новым становится все труднее.
Это можно проиллюстрировать на примере студентов, изучающих, например, материалы по корпоративным ИС. Вначале при формировании первых знаний об информационных системах чтение мало что дает – много непонятных терминов, аббревиатур – даже заголовки не все понятны. Настойчивость в чтении книг, посещении лекций и семинаров, общении с профессионалами – помогают пополнить тезаурус. Со временем чтение становится полезным и даже приятным, а к концу профессиональной карьеры – после написания многих статей и книг – получение новых полезных сведений будет случаться намного реже.
Можно говорить об оптимальном для данной информации S тезаурусе получателя, при котором им будет получена максимальная информация Is , а также – оптимальной информации в сообщении b для данного тезауруса Si. В нашем примере, когда получателем является компьютер, оптимальный тезаурус означает, что его аппаратная часть и установленное программное обеспечение воспринимают и правильно интерпретируют для пользователя все содержащиеся в сообщении b символы, передающие смысл информации S. Если в сообщении есть знаки, которые не соответствуют содержимому тезауруса – часть информации будет утрачена и величина Is уменьшится.
С другой стороны, если мы знаем, что получатель не имеет возможности получать тексты на русском (его компьютер не имеет нужных драйверов), а иностранных языков на которых наше сообщение может быть послано – ни он ни мы не изучали, для передачи необходимой информации мы можем прибегнуть к транслитерации – написанию русских текстов, с использованием букв иностранного алфавита, хорошо воспринимаемого компьютером получателя. Так мы приведем в соответствие нашу информацию с имеющимся в распоряжении получателя тезаурусом компьютера. Сообщение будет выглядеть некрасиво, но всю необходимую информацию получателю удастся прочитать.
Итак, максимальное количество семантической информации Is из сообщения b получатель приобретает при согласовании ее смыслового содержания S с тезаурусом Si (при Si = Siopt).
Информация из одного и того же сообщения может иметь смысловое содержание для компетентного пользователя и быть бессмысленной для пользователя некомпетентного.
Количество семантической информации в сообщении, получаемом пользователем, является величиной индивидуальной, персонифицированной – в отличие от синтаксической информации. Однако измеряется семантическая информация также как синтаксическая – в битах и байтах.
Для простоты изложения, будем считать, что получаемые сообщения отправлены не с целью ввести нас в заблуждение и наши тезаурусы сформированы только из верной информации.
Относительной мерой количества семантической информации cлужит коэффициент содержательности C, который определяется как отношение количества семантической информации к её объёму данных Vd, содержащихся в сообщении b:
.
1.5. Прагматический подход
При этом подходе количество информации, получаемой приемником, предлагается оценивать степенью ее полезности для достижения поставленной цели. Такой подход особенно привлекателен для оценки количества информации в системах управления, в которых применяется более сложная схема информационного взаимодействия “источник – приемник”, чем в концепции Шеннона. В них информация рассматривается не сама по себе, а как средство, с помощью которого управляющий объект A может влиять на управляемый объект B с целью получения желательного поведения этого объекта, оцениваемого критериями качества. В этом случае рассматривается двойная схема информационного взаимодействия. С одной стороны, передается управляющая информация от A к B о том, как должны меняться состояния B (прямая связь). С другой стороны, передается информация от B к A о том, насколько реальные изменения состояний B соответствуют должным (обратная связь). В этой схеме количество получаемой информации как в прямой, так и в обратной связи можно оценивать степенью её полезности для достижения цели, стоящей перед системой управления.
Приведем два показателя, оценивающих прагматическую меру информации.
- Приращение вероятности достижения цели.
Если до получения сообщения b вероятность достижения цели была p0 , а после получения - р1 , то ценность информации, полученной из сообщения b можно оценить с помощью показателя Ip:
Ip = log (р1/ р0).
Если сообщение не изменило вероятность достижения цели ир1= р0, ценность полученной с ним информации – нулевая.
В центре города, Вы спрашиваете у прохожего, который выглядит как местный житель - о том, как пройти к искомому Вами Старокоромысловскому переулку. Самостоятельно его найти Вы не можете и до получения ответа вероятность достижения цели ненулевая, но близка к нулю р0 @ 0.01. Может быть, что из полученного ответа Вы ровно ничего не поняли и, поблагодарив, пошли дальше, имея прежнюю вероятность достижения цели: р1= р0 и Ip = 0. Позже Вам вдруг повезло и следующий встречный так хорошо объяснил путь до Старокоромысловского, что Вы даже поняли, что доберетесь за 5 минут. р1 сталапрактически равной единице р1 @ 0.99. Так что прагматическая мера информации, ее ценность в данной модели измерения равна log (0.99/0.01)= log 99 @ 6.63 бит или почти 2 дита.
2. Прагматическая мера (ценность) информации оценивается величиной изменения целевой функции, обусловленным получением информации. Измеряется в тех же самых единицах, в которых измеряется целевая функция.
Целевая функция служит для определения экономического результата принятия решения (экономического эффекта) или проще – для количественной оценки конкретного варианта решения. Она может оценивать величину прибыли (в рублях, долларах, евро и т.д.), получаемой в случае принятия данного решения или измерять величину соответствующих данному решению расходов имеющегося набора ресурсов (в килограммах, метрах, штуках и т.д.).
Желаемым результатом принятия решения должна быть либо наибольшая из всех возможных при данном наборе ресурсов прибыль, либо наименьшие расходы ресурсов, соответствующие выбранному решению.
Тогда прагматическую меру (ценность) информации Ib(a), содержащейся в сообщении b можно оценить по величине изменения целевой функции:
Ib(a)= С(a/b) – С(a),
где Ib(a) – ценность информационного сообщения b для системы a,
С(a) – значение целевой функции, оценивающей экономический эффект функционирования системы a до получения сообщения b,
С(a/b) – значение целевой функции, оценивающей эффект функционирования системы a при условии, что будет использована информация, содержащаяся в сообщении b.
Термин «целевая функция» активно используется в линейном программировании и исследовании операций, изучающими способы получения оптимальных решений. На практике мы пользуемся методами оптимизации постоянно, когда сталкиваемся с проблемой выбора, например, маршрута следования (длина пути должна быть минимальной по времени или деньгам). Например, готовясь к ремонту квартиры, мы составляем длинный перечень необходимых для него материалов и инструментов, которые необходимо закупить: обои, клей, краска, кисти, гвозди, шурупы и т.д. По каждому названию известно требуемое количество: q1– обоев, q2 - клея,… и т.д. – всего n названий. В соседнем магазине есть все n необходимых названий по ценам с1, с2, …, сn (в рублях за единицу измерения) и поэтому существует разумное решение: закупить все необходимое здесь. Цена этого решения определится так:
C(c,q) = с1*q1 + с2*q2 + ….+ сn*qn = С0
Пусть С0 = 15000 руб. С0 = C(c,q) представляет суммарную стоимость необходимых для ремонта материалов. Это и есть наша целевая функция. Естественно стремление каждого нормального хозяина минимизировать расходы на ремонт, в частности – на закупаемые материалы. Полученный по почте каталог принес сообщение о ценах на стройматериалы в других магазинах города. С помощью этого каталога удалось найти магазины, в которых цены на требуемые материалы минимальны и равны с¢1, с¢2, …, с¢n . Затраты на материалы изменятся, величина новой целевой функции теперь равна:
C(c¢,q) = с¢1*q1 + с¢2*q2 + ….+ с¢n*qn = С1
Пусть С1=10000 руб. Тогда изменение величины целевой функции и представляет прагматическую оценку информации, полученную из сообщения в каталоге:
Ib(c,c¢,q)= С0 - С1
В нашем примере ценность полученной из каталога информации равна 5000. Заметим, что измеряется она не в битах или дитах, а в рублях.
Источники сообщений
Источник сообщений - это то, что вырабатывает сообщения. Это устная речь, письмо, газеты, книги, сообщения по радио, телевидению, результаты измерений, представленные в виде последовательности цифр и т. д. Сообщение может поступать в форме последовательности каких-либо кодовых знаков.
Нас интересует источник с математической точки зрения, так чтобы можно было отличать источники друг от друга с каких то обобщенных позиций.
С математической точки зрения, под источником информации понимают множество возможных сообщений с заданной на этом множестве вероятностной мерой.
Различают дискретные источники и непрерывные. Различие между ними в том, что элементы в дискретном случае образуют счетное множество, а в непрерывном - несчетное множество (континуум).
Дискретный источник определен, если перечислены все его возможные сообщения и указаны их вероятности.
x1, x2, x3, ... , xm
p(x1), p(x2), p(x3), ... ,p(xm), ,
Тогда энтропия источника, или количество информации, приходящееся в среднем на одно сообщение, будет составлять:
(1)
Это простейшая модель источника сообщений. Реальные источники характеризуются тем, что между элементарными сообщениями существуют статистические связи.
Источник (1) является моделью первого, самого грубого приближения. Модель второго приближения учитывает статистику взаимосвязей между соседними буквами p(xj/xi). Модель третьего приближения учитывает связи между тремя соседними буквами p(xk/xixj) и т.д.
Известно, что H(X2/X1)≤H(X), H(X3/X1X2)≤H(X2/X1) и т. д., поэтому энтропии разных степеней приближения составляют монотонно убывающий ряд: H0 ³ H1 ³ H2 ³ H3 ³ ... Hn-1³ Hn,
где H0 - модель источника без учета статистических характеристик H0=log n.
По мере возрастания номера убывание замедляется, и вся цепочка стремится к некоторому пределу
Например, если возьмем 32 буквы русского алфавита, то значение энтропии будет убывать в зависимости от номера модели приближения
H0=log 32=5 бит H1 =4,42бит
Учитывая, что между буквами алфавита существуют взаимосвязи, например в русском языке довольно часто встречаются сочетания: тся, ает, щий и т.д. Но, с другой стороны, невозможно встретить сочетание аь, иы и т.д.То модели более высоких номеров будут иметь все меньшее значение энтропии и в пределе стремиться к минимально возможному значению.
Энтропия характеризует среднее количество информации, приходящееся на один символ сообщения. Если источник выдает n символов в секунду, то скорость выдачи информации будет составлять Rи=nH.
Избыточность информации
Если бы сообщения передавались бы с помощью равновероятных букв алфавита и между собой статистически независимых, то энтропия таких сообщений была бы максимальной. На самом деле реальные сообщения строятся из не равновероятных букв алфавита с наличием статистических связей между буквами. Поэтому энтропия реальных сообщений -Hр, оказывается много меньше энтропии оптимальных сообщений - Hо. Допустим, нужно передать сообщение, содержащее количество информации, равное I. Источнику, обладающему энтропией на букву, равной Hр, придется затратить некоторое число букв nр, то есть . Если энтропия источника была бы Н0, то пришлось бы затратить меньше букв на передачу этого же количества информации I= n0H0 .
Таким образом, часть букв nр-nо являются как бы лишними, избыточными. Таким образом, мера удлинения реальных сообщений по сравнению с оптимально закодированными и представляет собой избыточность D.
(2)
Но наличие избыточности нельзя рассматривать как признак несовершенства источника сообщений. Наличие избыточности способствует повышению помехоустойчивости сообщений. Высокая избыточность естественных языков обеспечивает надежное общение между людьми.
Упражнения
2.1. Число символов алфавита m = 4. Вероятности появления символов равны соответственно p1 = 0,15; p2 = 0,4; p3 = 0,25; p4 = 0,2. Длительности символов t1 = 3с; t2 = 2с; t3 = 5с, t4 = 6с. Чему равна скорость передачи сообщений, составленных из таких символов?
2.2. Сообщения составлены из пяти качественных признаков (m = 5). Длительность элементарной посылки t = 20мс. Определить, чему равна скорость передачи сигналов и информации.
2.3. Определить пропускную способность бинарного канала связи, способного передавать 100 символов 0 или 1 в единицу времени, причем каждый из символов искажается (заменяется противоположным) с вероятностью р = 0,01.
2.4. Имеются источник информации с энтропией в единицу времени H(Х) = 100 дв.ед. и два канала связи; каждый из них может передавать в единицу в