Мера информации по Шеннону

Сообщения могут быть закодированы разными символами. Число разных символов, из которых образуются сообщения, составляет основание кода, (русский алфавит имеет 33 символа, двоичный код – 2 символа, код Бодо – 5 символов и т.д.).

Совокупность различных символов, составляющих основание кода, назовем алфавитом.

Пусть - основание кода и передается последовательность , где - один из символов из алфавита. Число всевозможных сообщений, которые можно создать равно . Информация, содержащаяся в ансамбле из N сообщений, должна быть пропорциональна длине последовательности. Р. Хартли в 1928 г. предложил за меру количества информации в ансамбле из N сообщений принять величину

.

Но мера информации по Хартли не учитывает вероятностный характер появления элементов последовательности .

Мера – это одна из характеристик исследуемого объекта. Это может быть длина, ёмкость и т.д. В данном случае необходимо определить меру информации, содержащемся в каждом элементе ансамбля и среднюю меру информации в ансамбле в целом.

Мера должна обладать двумя свойствами:

1. мера исследуемого объекта не должна быть отрицательной,

2. если объект состоит из нескольких элементов, каждый обладающий определённой мерой, полная мера объекта равна суме мер отдельных составляющих, (условие аддитивности) .

Пусть ансамбль состоит из элементов . Выберем два элемента из этого ансамбля, имеющих совместную вероятность реализации этих элементов

.

Обозначим через меру информации, содержащемся в элементе . Тогда, используя свойство аддитивности меры, запишем меру информации, содержащуюся в ансамбле из двух элементов , ,

. (2.1)

Дифференцируя левую и правую части выражения (**.1) по , получим

.

.

В результате имеем

Умножив обе части полученного равенства на , получим уравнение

. (2.2)

Уравнение (***.2) имеет решение, если

, (2.3)

где С – постоянная величина.

Интегрируя уравнение (***.3), получим

,

(2.4)

Определим из условия: если событие происходит с вероятностью , то оно не несёт никакой информации для абонента. Поэтому функция и .

Так как мера информации не должна быть отрицательной, а , то коэффициент должен быть отрицательным. Если , то мера информации имеет вид

и измеряется в неперах, [Неп]. Однако на практике, ввиду развития цифровой техники и использования двоичной системы счисления чаще применяется основание логарифма, равное 2. Тогда и мера информации, или количество информации, содержащаяся в элементе , будет равна

. (2.5)

В дальнейшем основание логарифма 2 будем опускать. Мера информации измеряется в битах, (Бит).

Каждый элемент ансамбля обладает своим количеством информации , реализующимся с вероятностью . Таким образом, мера информации – это характеристика элемента ансамбля , являющаяся случайной величиной с реализациями в виде количества информации , появляющихся с вероятностями , (Таблица 1).

Таблица 2.1
P