Количество информации, как мера снятой неопределенности

С математической точки зрения, под источником информации понимают множество возможных сообщений с заданной на этом множестве вероятностью.

Различают дискретные источники и непрерывные. Различие между ними в том, что элементы в дискретном случае образуют счетное множество, а в непрерывном - несчетное множество (континуум).

В каждом элементарном сообщении для его получателя содержится определенная информация - совокупность сведений о состоянии дискретного источника сообщения. Определяя количественную меру этой информации, мы не учитываем ни ее смыслового содержания, ни значение для конкретного получателя.

Очевидно, что при отсутствии сведений о состоянии источника имеется неопределенность относительно того, какое сообщение из числа возможных им выбрано, а при наличии этих сведений данная неопределенность полностью исчезает.

Естественно количество информации содержащейся в дискретном сообщении измерять величиной исчезнувшей неопределенности. Введем меру этой неопределенности, которую можно рассматривать и как меру количественной информации.

Если до получения сообщения неопределенность источника дискретных сообщений определялась значением , а после получения сообщения неопределенность стала , то количество информации определяется соотношением .

Если мы получили полную информацию, то есть в результате получения сообщения неопределенность о состоянии дискретного источника исчезла (энтропия H=0), тогда количество информации равно энтропии источника сообщений

Таким образом, количество информации, приобретаемое при полном выяснении состояния некоторой физической системы, равно энтропии этой системы: .

Энтропия по Шеннону это среднее количество информации содержащееся в одном из не равновероятных состояний. Она позволяет учесть статистические свойства источника информации.

Энтропия является мерой неопределенности системы, в которой проявляются случайные события, и равна средней неопределенности всех возможных его исходов. Чем больше энтропия источника, тем больше степень неожиданности выдаваемых им сообщений в среднем, т.е. тем более неопределенным является ожидание сообщений.

Свойства энтропии

1. Энтропия есть величина вещественная, ограниченная и неотрицательная: Н>0.

Максимальное значение равно 0,531.

2. Энтропия минимальна и равна нулю, если хотя бы одно из состояний системы достоверно известно: H = H_min = 0.

Пусть система имеет три состояния, и вероятности этих состояний будут равны:p1 = p2 = 0, p1 = 1. Тогда

3. Энтропия максимальна и равна логарифму числа состояний, если состояния системы равновероятны.

При

4. Энтропия бинарных величин изменяется от 0 до 1.

Пусть

При

Энтропия равна нулю, когда вероятность одного из состояний равна нулю, затем возрастает и достигает максимума при p=0.5, то есть когда p₁=p₂=0.5. При этом неопределенность сообщений при приеме наибольшая.

Энтропия независимых систем

Пусть источники дискретных сообщений X и Y независимы, то есть принимают свои состояния независимо один от другого, тогдаобщая энтропия дискретных источников сообщений Х и У равна сумме энтропий источников

Энтропия зависимых систем

В случае если состояние дискретного источника сообщений Х зависит от состояния источника У, количество информации об источнике X определяют как уменьшение энтропии источника X в результате получения сведений об источнике Y.

где

- полная или средняя информация о системе X, содержащаяся в системе Y.

- априорная энтропия до наблюдения,

- остаточная энтропия, после получения сведений,

Полная взаимная информация, содержащаяся в источниках Х и У, один из которых является подчиненным, равна энтропии подчиненного источника сообщений.

Пусть из двух источников X и Y подчиненной является Y. Тогда H(Y/X)=0, и

Таким образом, полная взаимная информация, содержащаяся в системах, из которых одна является подчиненной, равна энтропии подчиненной системы.