Единица измерения количества информации

Для количественного определения любой величины необходимо определить единицу измерения. Для определения количества информации необходимо также ввести единицу измерения. За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее степень неопределенность в два раза. Такая единица названа бит. Сообщение, уменьшающее степень неопределенности в два раз, несет 1 бит информации. Сообщение об одном событии из двух равновероятных несет 1 бит информации.

Формула Хартли.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий. Тогда количество информации, заключенное в этом сообщении, – i бит и число N – количество событий связаны формулой: 2ⁱ = N.

Данная формула является показательным уравнением относительно неизвестной i. Из математики известно, что решение такого уравнения имеет вид:

(логарифм от N по основанию 2). (1)

Если N равно целой степени двойки (2,4,8 и т.д.), то такое уравнение можно решить в уме. В противном случае, количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов.

Формула (1) является частным случаем формулы Р. Хартли, которая в общем случае имеет вид:

Здесь Н – количество информации, k – коэффициент пропорциональности, m – число возможных выборов, a – основание логарифма. Чаще всего принимают k = 1 и a = 2.

Примеры.

1. При бросании монеты сообщение о результатах (выпал «орел») несет 1 бит информации. Оба варианта равновероятны. 2ⁱ=2 следовательно i = 1 бит.

2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере?

Дано: N = 32 (количество событий)

Решение: по формуле определяем i – количество информации

, по определению логарифма получаем i = 5

Ответ: сообщение несет 5 бит информации.

3. Каково было количество возможных событий, если после реализации одного из них мы получили количество информации равное 3 бит? 7 бит?

а) Дано: i = 3 (количество информации)

Решение: , по определению логарифма (2³ = 8) получаем N = 8

Ответ: было 8 возможных событий.

б) Дано: i = 7 (количество информации)

Решение: , по определению логарифма (2⁷ = 128) получаем N =128

Ответ: было 128 возможных событий.

Формула Шеннона.

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения «орла» и «решки» будут различаться.

Рассмотрим еще один пример: в коробке имеется 50 шаров из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар больше, чем вероятность попадания черного.

Сделанное нами качественное заключение о вероятностях событий в рассмотренном примере – интуитивно понятно. Однако вероятность может быть выражена количественно.

В нашем примере: обозначим р_ч – вероятность попадания при вытаскивании черного шара, р_б - вероятность попадания при вытаскивании белого шара; тогда: р_ч = 10/50 = 0.2, р_б = 40/50 = 0.8; отсюда – вероятность попадания белого шара в 4 раза больше, чем черного.

Из рассмотренного примера можно сделать вывод: если N – это общее число возможных исходов какого-то процесса (вытаскивания шара, получения оценки и т.д.), и из них интересующее нас событие (вытаскивание белого шара, получение пятерки) может произойти K раз, этого события равна K/N.

Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый); вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Формулу для вычисления количества информации для событий с различными вероятностями предложил К. Шеннон в 1948 году. В этом случае количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем выражается формулой:

(2).

В нашем примере: количество информации в сообщении о попадании белого шара и черного шара:

бит;

бит.

Удобнее в качестве меры количества информации пользоваться не значением i, а средним значением количества информации, приходящейся на реализацию одного из возможных событий:

(3).

где I — количество информации,

N — количество возможных событий,

p_i — вероятности отдельных событий.

В нашем примере: количество информации, которое мы получим в сообщении о попадании белого шара или черного шара (после реализации одного из возможных событий):

Для частного, но широко распространенного и рассмотренного выше случая, когда события равновероятны (р_i = I/N), величину количества информации I можно рассчитать по формуле:

(4).

В рассмотренном выше примере, изменив условия следующем образом: в коробке лежат 50 пронумерованных шаров одинакового цвета; количество информации, которое мы получим при сообщении “достали шар с номером 25” определим по формуле

I = Iog₂50 = 5,64386 бит.

Таким образом, когда события равновероятны, мы получим большее количество информации (5,64386 бит), чем когда события неравновероятны (2,282892 бит).

Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

Примеры:

1. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

Дано: N=32, K=4

Решение:

1. Найдем вероятность события – попал красный клубок шерсти: р_к=4/32=1/8

2. По формуле (2) определим количество информации, которое несет сообщение «достали красный клубок шерсти» бит.

Ответ: сообщение «достали красный клубок шерсти» несет 3 бита информации.

2. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

Дано: N=64, i=4

Решение:

1. Найдем вероятность события – попал белый карандаш: р_б=К/64

2. По формуле (2) составим следующее выражение

3. По определению логарифма: 2⁴=64/К -> 16K=64 -> K=4

Ответ: в коробке с цветными карандашами 4 белых карандаша.