Структура информационной технологии

Информационная технология обладает комплексным составом компонентов, поэтому полезно определить структуру и состав типовой информационной технологии. Назовем информационную технологию базовой, если она ориентирована на определенную область применения. Базовая информационная тех­нология должна задавать модели, методы и средства решения задач. Она создается на основе базовых аппаратно-про­граммных средств. Базовая техноло­гия должна быть подчинена основной цели - решению функци­ональных задач в той области, где она используется. Это могут быть задачи управления, проектирования, научного эксперимента, комплексного испытания и обучения. На вход базовой информационной техноло­гии как системы поступает комплекс решаемых задач, для которых должны быть найдены типовые решения на основе мо­делей, методов и средств информацион­ной технологии. Использование базовой информационной технологии рассмотрим на концептуальном, логическом и физи­ческом уровнях.

Концептуальный уровень задает иде­ологию автоматизированного решения задач. Начальным этапом является поста­новка задачи. Задача автоматизиро­ванного управления представляет собой совокупность взаимосвязанных алгоритмов, которые обеспечивают автоматизацию функции управления.

Постановка задачи означает содержа­тельное описание задачи, куда входят целевое назначение задачи, возможная экономико-математическая модель и метод ее решения, функциональная и информационная взаимосвязь ее с другими задачами. Содержание задачи раскрывается в рабочем документе проек­тировщика системы "Постановка задачи и алгоритм решения". При постановке задачи важна корректность описания с точки зрения экономических критериев, для этого должны быть правильно вы­браны ограничения. Следующим этапом является формализация задачи. На этом этапе разрабатывается математическая мо­дель решения ее либо подбирается одна из известных моделей. При решении комплексов задач автоматизированного управления полу­чили широкое применение экономико-математические модели в ви­де производственных функций, балансовых моделей, моделей объ­емного, календарного, объемно-календарного и сетевого планиро­вания и управления, моделей управления запасами и оперативного управления. Если выбрана или разработана математическая мо­дель, то ответственным этапом решения является алгоритмизация задачи. Алгоритмизация означает задание алгоритма либо совокупности алгоритмов, определяющих процесс преобразования исходных данных в искомый результат за конечное число шагов. В алгоритме могут быть выделены относительно самостоятельные части (блоки) и элементы алгоритма (операторы). Реализация алгоритмов на основе конкретных вычислительных средств осуще­ствляется на базе программирования задачи. Программиро­вание задачи при известном алгоритме может отличаться трудоем­костью, однако не содержит в себе принципиальных сложностей, поскольку разработаны типовые технологии программирования и существует большой класс специалистов в этой области.

При наличии программы осуществляется решение задачи, т.е. получение конкретных результатов для входных данных и при­нятых ограничений. Этап анализа решения необходим для того, чтобы проверить полученное решение на соответствие поста­новке задачи и исходным данным. В современном представлении поня­тие первоначальной задачи соответствует понятию предметной об­ласти. В условиях базовой информационной технологии возникает проблема разработки модели предметной области, ориен­тированной на широкий спектр решаемых задач. При этом необ­ходимо попытаться автоматизировать этап формализации задачи, т.е. переход от модели предметной области к модели решения задачи. На основании математической модели возможен переход к алгоритмической модели, от нее - к программе, а далее - к реализации процедур и операций. Процесс формирования модели предметной области и использова­ния ее для решения каких-то конкретных задач различны по содер­жанию творческого элемента. Поэтому выделяют проблему авто­матизированного проектирования задачи, которая решается раз­работчиком-системщиком, и проблему автоматизированного при­менения спроектированных решений для конкретных условий, которая решается пользователем.

На логическом уро­вне следует установить модели решения задачи и организации информационных процессов, обеспечивающих обработку информа­ции в процессе нахождения решения. Рассмотрим взаимосвязь мо­делей базовой информационной технологии. На этом уровне цель базовой информационной технологии - построение модели решаемой зада­чи и ее реализация на основе организации взаимодействия инфор­мационных процессов. Общая модель управле­ния содержит в себе закономерности построения требуемой модели решения задачи. Если информационная технология ориентирована на область применения, то в базе знаний должны содержаться фрагменты модели предметной области, представляющие собой обобщенные информационные структуры. На этапе проек­тирования решаемой задачи осуществляется настройка обобщенных структур на конкретные данные задачи.

Получаемые конкретные структуры подвергаются анализу, т.е. последовательно строится модель предметной об­ласти. На основе модели предметной области и обобщенной модели управления формируется модель решения задачи. В условиях выбранной базовой информационной технологии мо­дель решения задачи должна быть согласована с моделью организа­ции информационных процессов, включающей в себя мо­дели обмена, управления, накопления, об­работки данных и модели представления знаний. Каж­дая их этих моделей при раскрытии является базой построения частных математических моделей для анализа характеристик конк­ретного информационного процесса.

Модель обмена обеспечивает оценку вероятностно-временных характеристик процесса обмена с учетом маршрутизации, ком­мутации и передачи информации. Объектом исследования модели является система обмена, функционирующая в условиях воздействия внешней среды. В качестве воздействий выделяют вход­ные, ошибок, управля­ющие. На основании этой модели реализуется синтез системы обмена данными с выбором оптимальной тополо­гии и структуры сети, наилучшего метода коммутации, протоколов и процедур доступа, адресации и маршрутизации.

Модель накопления данных определяет каноническую схему ин­формационной базы и раскрывается на логическом уровне организацией информационных массивов, а на физическом уровне - их размещением. Информационный массив явля­ется основным элементом внутримашинного информационного обеспечения. Под информационным массивом понимают со­вокупность данных о группе однородных объектов, характеризу­емых одинаковым набором сведений. Массивы могут различаться по семантическому содержанию, технологии использования носи­теля информации и техническим характеристикам.

Логичес­кий уровень организации информационных массивов обладает тем преимуществом, что он может быть не увязан с условиями их физической организации, т.е. видом носителя, типом ЭВМ и т. д. Идеология логической организации информационных массивов со­вершенствовалась с развитием вычислительной техники.

Модель обработки данных определяет организацию вычислительного процесса, который включает в себя решение разнообразных задач, возникающих у пользователя. Ввиду большого различия областей применения информационной технологии содержание и характер решаемых задач могут быть разными, однако на уровне обработки данных все задачи сводятся к задачам арифметической обработки. Последовательность и про­цедуры решения вычислительных задач должны быть подобраны так, чтобы оптимизировать вычислительный процесс с точки зрения используемого объема памяти, ресурса, числа обращений и т. д. Принципы организации вычислительного процесса зависят от той проблемной области, на которую ориентирована информационная технология. Поэтому на уровне базовой технологии можно гово­рить об оптимальном использовании той или иной операционной системы, которая поддерживает вычислительный процесс. Свойства операционной системы должны соответствовать требованиям ор­ганизации вычислительного процесса.

Структура вычислительного процесса обычно задается числом задач с их составом, объемами оперативной памяти. При этом наиболее важным являются требования к моментам запуска и вы­пуска решаемых задач. Эти моменты определяют динамику получе­ния промежуточных и конечных результатов решения вычислитель­ных задач, которые используются при управлении производством. Обобщенным критерием оптимальной организации вычислитель­ного процесса при ограничениях на ресурс можно считать эффектив­ность удовлетворения всех запросов пользователя либо той систе­мы, в которую встроена информационная технология. Реальные возможности по управлению вычислительным процессом задает операционная система. Первые операционные системы были ориентированы на пакетную обработку информации. Это вызывало значительную задержку перед загрузкой программ в машину, по­скольку задачи собирались в пакеты. Такой режим оказался непри­годным для задач высокой размерности при необходимости реше­ния их в оперативном режиме. Переход к системам разделения времени позволил в условиях прерывания отдавать предпочтение приоритетным задачам. Оказалось возможным планировать вычис­лительный процесс по моменту выпуска задач. Новые возможности для пользователя дал переход к виртуальным операционным систе­мам. Система виртуальных машин предоставила пользова­телю (в его представлении) возможность иметь неограниченный вычислительный ресурс и не замечать параллельной работы сосед­них пользователей.

В условиях распределенной обработки данных необходимо рационально распределить вычислительный ресурс не только между вычислительными задачами, но и топологически между пользователями. Возникают задачи взаимодействия вычислительного процесса с локальными базами данных, меняется структура организации вычислительного процесса.

Базовая информационная технология на технологическом уров­не представляет собой совокупность базовых информационных про­цессов. Взаимная их увязка, синхронизация осуществляются через модель организации информационных процессов, которая реализуется в виде модели управления данными. Управление данными означает управление процессом накоп­ления, обмена и обработки данных. Накопление данных осуществ­ляется в условиях современных баз данных, причем управляющие воздействия должны обеспечить ввод информации, обновление ба­зы данных, а на физическом уровне размещение информационных массивов в базе. Это реализуется на основе аппаратно-про­граммных комплексов в виде СУБД. Существуют типовые СУБД, которые получили большое развитие и могут считаться базовыми в информационной технологии. Этими системами определяются условия доступа различных пользователей к данным. Руководители различных рангов могут получить доступ к данным только через специальную службу управления данными, которая существует на современных предприятиях. Переход к распределенным базам дан­ных изменяет ситуацию, у пользователя появляются собственные локальные базы данных, к которым он имеет прямой доступ. В этих условиях должны разрабатываться и новые системы управления.

На этапе обмена информацией управление данными означает их маршрутизацию, коммутацию и организацию передачи. Это реализуется на уровне сообщений, которые имеют адресную часть и могут самостоятельно перемещаться по сети в зависимости от адреса потребителя. Методы коммутации в сетях обычно реализуются на физическом уровне достаточно жестко. Сообщения следуют по заданным маршрутам в соответствии с "зашитыми" в сети принципами коммутации. На уровне передачи данных управ­ление заключается в определении требуемого числа передач, уровня избыточности, применяемых методов кодирования и модуляции с целью обеспечения требуемой помехоустойчивости передачи. Здесь могут реализовываться различные варианты систем с обрат­ной связью, адаптивных систем, в которых управление осуществля­ется по результатам приема. Управление обработкой информации реализуется в соответствии с моделями организации вычислитель­ного процесса. Отметим, что в условиях распределенной обработки данных может увеличиваться число функций управления данными, которые передаются пользователю: размещение данных на физическом уровне, выбор операционной системы, выбор методов организации данных и т. д. Особая роль принадлежит проектиров­щику задач на этапе формирования знаний при структурировании данных в соответствии с заданной предметной областью. Фор­мирование предметной области из отдельных фрагментов зачастую является чисто творческой задачей пользователя, и в этом смысле не все функции управления данными могут быть формализованы.

Модели представления знаний являются основой автоматизиро­ванного решения задач управления. Практическое использование при построении модели предметной области и математических моделей получили логическое, алгоритмическое, семантичес­кое, фреймовое и интегральное представления знаний.

Физический уровень базовой информационной технологии определяет возмож­ность ее реализации на типовых программно-аппаратных средствах. Он включает в себя подсистемы накопления, обмена, обработки, управления данных, а также подсистему формализации знаний, с которой взаимодействуют проек­тировщик и пользователь. Подсистема накопления данных реализуется на основе типовых банков, обеспечивает организацию, хранение и накопление данных, которые отражают характеристики реальных объектов либо инфор­мацию по решению конкретных задач. В условиях распределенной обработки информации подсистема накопления может реализовы­ваться в виде совокупности централизованной и локальной баз данных. Подсистема обмена строится на основе типовых локальных информационно-вычислительных сетей различных уровней, позво­ляющих осуществлять обмен вычислительным ресурсом между або­нентскими и главными вычислительными машинами, т.е. пре­доставлять пользователю различные возможности. В качестве реа­лизационных элементов могут выступать типовые сети, средства передачи данных в виде модемов, специализированные вычисли­тельные комплексы обмена информацией и доступа к сетям. Подси­стема обработки данных реализуется на базе стандартных ЭВМ различных уровней. На верхнем уровне - главные вычислительные машины, реализуемые в виде универсальных ЭВМ; на среднем уровне - абонентские вычислительные машины; на нижнем уров­не - персональные либо управляющие ЭВМ. Обработка данных осуществляется на основе существующих пакетов прикладных про­грамм в соответствии с той предметной областью, в которой ис­пользуется базовая информационная технология. Подсистема упра­вления данными реализуется в виде системы управления базой данных, системы управления сетью и системы управления организа­цией вычислительного процесса. Эта подсистема может быть пред­ставлена и определенными службами управления данными на пред­приятии, которые реализуют доступ к данным, возможность их обновления, изменяют режимы использования, обработки и накоп­ления. Подсистема формализации знаний базируется на основе баз знаний, которые формируются в рамках интеллектуальных систем.

Информационные процессы

Информационная технология базируется на реализации информационных процессов, разнообразие которых требует выделения базовых, характерных для любой информационной технологии. К ним можно отвести управление, обмен, обработку, накопление данных и формализацию знаний [4, 6, 7, 8]. На логическом уровне должны быть построены математические модели, обеспечивающие объединение процессов в информационную технологию. Модель процесса передачи может быть представлена совокупностью моделей каналов связи и ошибок, являющихся следствием воздей­ствия помех на передаваемые коды сообщений. Модель процесса обработки отоб­ражается моделью планирования и моделью реализация вычислений. В ходе об­работки на основе входных данных формируются промежуточные и выходные, поэтому существенным становится процесс накопления, в основе которого должны лежать модели, обеспечивающие построение информационной базы.

В условиях персонализации вычислений особую роль играют модели представ­ления знаний. Распространение получили логическая, алгоритмическая, семантическая и фреймовая модели, а также их совместное использование.

Под информационным процессом понимают процесс взаимодей­ствия между двумя объектами материального мира, в результате которого возникает информация. Ранее отмечалось, что информа­ция есть результат отражения одного объекта другим. При отраже­нии создается модель системы, которая по своему характеру являет­ся информационной. Однако наличия процесса отражения еще недостаточно для формирования модели окружающего нас мира. Ин­формационный процесс при отражении должен обладать свойством обогащения информации. Различают структурное, статистическое, семантическое и прагматическое обогащения. Структурное обога­щение предполагает изменение параметров сообщения, отобража­ющего информацию, в зависимости от частотного спектра исследу­емого процесса, скорости обслуживания источников информации, требуемой точности. При статистическом обогащении осуществ­ляют накопление статистических данных, обработку выборок из генеральных совокупностей накопленных данных, вычисление дисперсии и т.д. Целью статистического обогащения при передаче информации является снижение избыточности исходных сообще­ний. Семантическое обогащение означает минимизацию логической формы, исчислений и высказываний, выделение и классификацию понятий, содержания информации, переход от частных понятий к более общим. В итоге семантического обогащения удается обо­бщенно представить обрабатываемую либо передаваемую инфор­мацию и устранить логическую противоречивость в ней. Наиболее важной ступенью для принятия решения является прагматическое обогащение информации, при котором из полученной информации отбирается наиболее ценная, отвечающая целям и задачам пользо­вателя.

Условия реализации информационного процесса в системе. Сообщение, отображающее информацию, всегда представляется в виде сигнала. Под сигналом можно понимать изменение состояний неко­торого объекта. В зависимости от физической среды объекта раз­личают механические, электрические, световые, звуковые и другие сигналы. В этом смысле можно считать, что сигнал является отоб­ражением сообщения, однако в реальной жизни возможен и обрат­ный процесс: от материального объекта поступает сигнал, который далее становится источником сообщений. Например, в АСУ от объекта управления могут поступать статические и динамические сигналы. Статические сигналы отображают устойчивое состояние объектов и могут быть представлены в виде положения элемента системы, состояния электронного прибора, текста в документе и т. д. Эти сигналы находят практическое применение при подго­товке, хранении и накоплении информации. Динамические сигналы характеризуются быстрым изменением во времени и могут отоб­ражать изменения электрических параметров в системе. Они ис­пользуются для передачи информации и управления.

На логическом уровне сигналы разделяют на непрерывные и ди­скретные. Непрерывный сигнал отображается непрерывной функци­ей и физически представляет собой непрерывно изменяющееся зна­чение колебаний. Дискретный сигнал определяется конечным мно­жеством значений, .которые отображают определенные состояния физической системы. При формализации реальные сигналы отоб­ражаются следующими видами функций.

1. Непрерывная функция непрерывного аргумента. Функция f(t) непрерывна на всем отрезке рассмотрения и описывает реальный сигнал в любой момент времени своим мгновенным значением. Никаких ограничений на выбор значений функций и мо­ментов времени не накладывается.

2. Непрерывная функция дискретного аргумента. Функ­ция f непрерывна, но определяется лишь для дискретных момен­тов времени t_i, которые выбираются с шагом квантования по време­ни Dt. Шаг квантования задается, исходя из спектральных свойств исходного физического процесса. Данная функция находит применение при переходе от непрерывного представления сигнала к дискрет­ному на основе теоремы Котельникова. Этот процесс получил название квантования непрерывной величины по времени.

3. Дискретная функция непрерывного аргумента. Функ­ция f_j(t) определяется набором конечных дискретных значений на всем интервале времени t для любого момента его. Дискретизация функции осуществляется за счет выбора определенной шкалы кван­тования по уровню. Реальный физический процесс переводится в дискретизированный непрерывный процесс с заданным шагом квантования по амплитуде. Это используется при конструировании датчиков, в которых шаг квантования задается требуемой точно­стью воспроизведения измеряемой величины. Шаг квантования мо­жет быть равномерным и неравномерным. Функция характеризует­ся набором своих дискретных отсчетов, возможности кодирования которых показаны выше.

4. Дискретная функция дискретного аргумента. Функ­ция f_j(t_i) может принимать дискретные значения из конечного мно­жества и определяется лишь в моменты времени t_i. В этом случае осуществляются квантование по времени и квантование по уровню. Физический процесс преобразуется в дискретизированный непре­рывный процесс с определенным шагом квантования.

Таким образом, исходный сигнал, снимаемый с реального объекта, по своей природе имеет непрерывный характер. С целью повышения точности измерения он может быть превращен в набор дискретных значений. Как непрерывный, так и дискретный сигналы далее преобразуются в сообщение, что является начальной процеду­рой информационного процесса. Последующей процедурой, связан­ной с передачей, является обратное преобразование (сообщение в сигнал). По назначению информационные процессы разделяют на процессы сбора, подготовки, передачи, хранения, накопления, об­работки и представления информации. Как было показано выше, информация, переданная в систему информационной технологии, превращается в данные, а данные отображаются в виде некоторого носителя-сигнала, т.е. наблюдается непрерывная цепь преобразова­ния: материальный объект - сигнал - информация - данные - сигнал. Сигнал, возникающий как переносчик данных, должен об­ладать свойствами, соответствующими требуемому информацион­ному процессу. При подготовке информации на машинном носи­теле в качестве сигнала, отображающего данные, выступают неко­торые символы в соответствии с принятой системой классификации и кодирования информации. При передаче в качестве сигнала высту­пает переносчик, воздействуя на параметры которого, т.е. модули­руя его, можно осуществить передачу данных на требуемое расстоя­ние по выбранному каналу связи. При хранении данные отобража­ются сигналом, фиксируемым в виде состояний ячеек (физической среды) памяти вычислительных средств.

Любой динамический сигнал, отображающий сообщение, может быть обобщенно оценен физическими характеристиками, к которым относятся длительность сигнала Т, ширина спектра сигнала F, превышение сигнала над помехой Н. Знание этих характеристик необходимо для оценки возможности реализации сигнала на соот­ветствующих программно-аппаратных средствах в реальной систе­ме. Для этого сравнивают физические характеристики сигнала с фи­зическими характеристиками той системы, в которой реализуется информационный процесс. Определим физические характеристики сигнала, отображающего код некоторого сообщения.

Пусть сигнал описывается непрерывной функцией f(t) с плот­ностью амплитудного спектра: s(w) = ò_Tf(t)e^-iwtdt, где Т - длительность сигнала; w - угловая частота. Заметим, что данному спектру соответствует функция f(t)=(2p)^-1ò_F s(w)e^iwtdw, где F - принятая ширина спектра сигнала.

Если элемент кода представляет собой на физическом уровне прямоугольный импульс амплитуды A и длительности t, то плот­ность амплитудного спектра сигнала

s(w) = ò_-t/2^t/2Ae^-iwtdt = 2A w^-1sin(wt/2)=[At sin(wt/2)]/(wt/2).

Видно, что sin(wt/2)=0 для w=2np/t, т.е. s(w)=0 при w=2np/t. В зависимости от требований к форме импульса принима­ют разные целые значения n. Если n=m, где m>1, то ширина спектра F=m/t, т.е. m определяется желаемым числом гармоник, входящих в состав рассматриваемого импульса. Чем больше m, тем выше качество импульса. Характерно, что ширина спектра импульса и его длительность являются взаимно обратными величинами. Поэтому с увеличением быстродействия информационного процесса расши­ряется ширина спектра сигнала, реализующего этот процесс. В об­щем случае произведение длительности сигнала на его спектр про­порционально длине кода и коэффициенту m. Превышение сигнала над помехой определяется как Н=log₂(P_c/P_п), где P_c, P_п - мощ­ности сигнала и помехи соответственно. Значения этих мощностей должны замеряться на входе потребителя информации. Обобщен­ную оценку физических характеристик сигнала дает понятие объема V=TFH. Эта величина соответствует объему параллелепипеда, сто­ронами которого являются физические характеристики сигнала. Геометрическое изображение может быть дано в системе коор­динат: время - t, частота - f, параметр мощности - h=log₂P.

Для системы, реализующей информационный процесс, могут быть приняты такие же физические характеристики, т.е. время, предоставляемое системой для данного сигнала, Т_c, ширина полосы пропускания системы F_c, допустимое превышение сигнала над помехой в данной системе H_c. Обобщением этих характеристик может быть физический объем системы V_c=T_cF_cH_c. Для реализации сигналов в данной системе необходимым условием является V£V_c, а достаточными условиями будут T£Т_c, F£F_c, Н£Н_c. Если соблюдается необходимое условие, то принципиально сигнал может быть реализован в данной системе. Невыполнение при этом до­статочных условий может быть преодолено за счет преобразования сигнала с помощью отдельных процедур. Постоянство произведе­ния длительности сигнала на ширину спектра позволяет осущест­вить взаимный обмен между этими величинами, т.е. возможны запись и воспроизведение сигнала с различными скоростями при соответствующем изменении ширины спектра. Взаимный обмен между превышениями сигнала и другими физическими характери­стиками возможен за счет операций кодирования либо модуляции. Данный подход нашел широкое использование для процесса пере­дачи данных, поскольку при передаче органично присутствуют и ко­дирование, и модуляция.

При ограниченной мощности сигнала, что соответствует реаль­ной ситуации в технической системе, количество сведений (инфор­мации), которое содержит сигнал, может быть определено как I=ТF log₂AP, где A - постоянный коэффициент.

Информация, поступающая с реальных объектов в виде сиг­налов, зачастую существует на фоне действующих помех. В этих условиях возникает проблема выделения полезного сигнала, т.е. полезной информации, если имеют место помехи. Пусть с мате­риального объекта поступает общее количество сведений I_о, включа­ющее в себя информацию сигнала и информацию помех. Если считать, что сигнал и помеха аддитивны, то выделение сигнала возможно в виде I_c = I_о - I_п, где I_c - количество сведений в сигнале; I_п - количество сведений, вносимых поме­хой. Учитывая, что I_о = ТF log₂A(P_c+P_п); I_п=ТF log₂AP_п, получим

I_c=ТF log₂(1+P_c/P_п).

Отсюда следует, что выявление сигнала, поступающего от ре­ального объекта, на фоне помех возможно даже в случае, если P_c<P_п, так как при этом условии I_c>0. Это создает теоретическую предпосылку реализации информационных процессов при чрезвы­чайно малых уровнях сигналов относительно действующих помех. Количество сведений в сигнале резко уменьшается с ростом уровня помехи.

Потеря при информационном взаимодействии. Оценим потери ин­формации, возникающие по причине внешних и внутренних меша­ющих воздействий, используя результаты теории информации. Процесс информационного взаимодействия источника и потре­бителя может осуществляться с помощью системы путем последовательного обмена сообщениями. Тогда система реализует процесс отражения, т.е. информация от источника в виде последовательности сообщений с помощью системы выдается по­требителю. Рассмотрим случай, когда множества сообщений X₀, Y₀ конечны. Будем считать, что в процессе отражения сообщение x_0j, возникшее на входе системы, порождает на выходе y_0i. Сообщение y_0i возникает как результат сообщения x_0j в итоге реализации инфор­мационного процесса в системе. Качественное функционирование системы предполагает минимизацию потерь информации при та­ком преобразовании. Поэтому полезно сравнить количество инфор­мации, которое содержится в сообщении x_0j, и количество инфор­мации в сообщении y_0i относительно сообщения x_0j. Количество собственной информации сообщения x_0j составит: I(x_0j)=-log₂P(x_0j), где P(x_0j) - вероятность возникновения на выходе источника сообщения x_0j. Значение собственной информации в сооб­щении x_0j потребителю неизвестно. Он судит о нем лишь по сообще­нию y_0i. Тогда количество собственной информации в сообщении y_0i составит I(y_0i)=-log₂P(y_0i), где P(y_0i) - вероятность возник­новения сообщения y_0i на входе потребителя. Как было показано выше, для нахождения полезной информации необходимо устранить информацию, вносимую помехами, выражаемую в виде услов­ной собственной информации I(y_0i/х_0j)= - log₂Р(y_0i/х_0j). Тогда ко­личество информации в сообщении y_0i относительно сообщения х_0j составит

I(х_0j, y_0i)=I(y_0i)-I(y_0i/х_0j)=-lоg₂Р(y_0i)+lоg₂Р(y_0i/х_0j)= lоg₂[Р(y_0i/х_0j)/Р(y_0i)].

Усредняя полученное выражение по множествам сообщений X₀, Y₀, найдем количество взаимной информации, т.е. среднее количество информации, которое связывает ансамбли I(X₀ Y₀)=М{I(х_0j, y_0i)}. Учитывая, что сообщение х_0j возникает с вероятностью Р(х_0j), а со­общение y_0i с вероятностью Р(y_0i)=Р(х_0j)Р(y_0i/х_0j), окончательно получим

I(X₀ Y₀)= S_X0S_Y0 Р(х_0j)Р(y_0i/х_0j)I(х_0j, y_0i)=-S_X0S_Y0Р(х_0j)Р(y_0i/х_0j)1оg₂[Р(х_0j)Р(y_0i/х_0j)]+

+S_X0S_Y0Р(х_0j)Р(y_0i/х_0j)1оg₂Р(y_0i/х_0j)=H(Y₀)-H(Y₀/X₀),

где H(Y₀) - безусловная энтропия по множеству сообщений Y₀; H(Y₀/X₀) - условная энтропия по множеству сообщений Y₀ при условии, что множество событий X₀ известно. Если сообщение y_0i тождественно сообщению x_0j, то вероятность Р(y_0i)=Р(х_0j), т.e. Р(y_0i/х_0j)=1. Тогда условная энтропия H(Y₀/X₀)=0 и взаимная информация есть энтропия H(Y₀). Это означает, что имеем идеальную систему, которая высококачествен­но отображает реальность, и информационный процесс реализуется в системе без потерь.

В реальных условиях имеют место внутренние и внешние воз­мущения, которые вызывают потери информации, отображаемые членом H(Y₀/X₀). Это означает выделение в рамках системы С иде­ально функционирующей системы ИС, в которой отсутствуют поте­ри информации, и последовательно связанного с ней канала воз­мущений, куда включены внешние и внутренние случайные воздействия. В канале возмущений осуществляется преоб­разование множества сообщений Х₀ во множество сообщений Y₀, и взаимная информация I(Х₀, Y₀) может рассматриваться как коли­чество информации, проходящей через канал возмущений. К этому каналу тогда могут быть отнесены потери информации при ре­ализации информационного процесса, выражаемые членом H(Y₀/X₀). Рассматривая канал возмущения как обобщенный канал связи, можно попытаться скомпенсировать потери информации за счет введения избыточности.

Избыточность может быть направлена на обнаружение и исправление ошибок. Численно вносимая избыточная информация должна соответствовать информации потерь H(Y₀/X₀), поэтому H(Y₀/X₀)=H₀+H_и, где H₀, H_и - количество информации, необхо­димое для обнаружения и исправления ошибок соответственно. Физически H₀ - энтропия двух событий, одно из которых отоб­ражает наличие ошибки с вероятностью P₀, а второе - отсутствие ошибок с вероятностью 1-P₀. Тогда H₀=-P₀log₂P₀ -(1-P₀)log₂(1-P₀),

где P₀ - вероятность ошибки, одинаковая для каждого сообщения.

Если вероятность ошибки зависит от номера принимаемого сообщения, то определяют среднюю вероятность ошибки P₀=S_i=1^M P(y_0i)P(err/y_0i);

где P(err/y_0i) = S _i=1^M P(x_0j)Р(y_0i/х_0j) при i¹j - вероятность ошибки в i-м сообщении.

Количество избыточной информации, необходимое для исправ­ления ошибки, найдем из условия равновероятности переходов сообщения в любое другое. Каждое сообщение из множества X₀ мо­жет при переходе через обобщенный канал связи с одинаковой вероятностью трансформироваться в любое из (М-1) сообщений. Воспользуемся формулой энтропии для равновероятных событий, тогда неопределенность попадания любого сообщения в одну из точек множества М-1 составит H=log₂(M-1). Так как такое попадание имеет место с вероятностью ошибки P₀, то H_и=P₀log₂(М-1). Окончательно получаем, что количество избыточной информации, необходимой для компенсации потерь, воз­никающих при реализации информационного процесса:

H(Y₀/X₀)=H₀+H_и=-P₀log₂P₀-(1-P₀)log₂(1-P₀)+P₀log₂(M-1).

Отметим, что полученное выражение задает нижний уровень избыточности для случая независимых ошибок, который может быть реализован за счет рационального выбора кода при согласовании источника и потребителя информации. Таким образом, потери ин­формации, выражаемые условной энтропией, могут служить обоб­щенной характеристикой качества реализации информационного процесса.

Для компенсации потерь информации в информационные систе­мы вводят избыточность, которая может реализовываться на кон­цептуальном, логическом и физическом уровнях. Концептуальный уровень введения избыточности означает наличие избыточных сооб­щений за счет существования коррелированных значений инфор­мации, снимаемых с реального объекта. Избыточной является и че­ловеческая речь. На логическом уровне избыточность закладывается в код, отображающий сообщение, путем специального конструиро­вания обнаруживающих и исправляющих кодов. Здесь же могут находить применение системы с обратной связью, позволяющие поднять верность преобразования информации. На физическом уро­вне избыточность закладывается в сигнал, отображающий отдель­ные составные части кода, т.e. его элементы. По существу избыточ­ность сигнала тем больше, чем сильнее различаются отдельные значения сигналов.