Алфавитный подход к определению количества информации

При определении количества информации на основе уменьшения неопределенности наших знаний мы рассмат­риваем информацию с точки зрения содержания, ее понят­ности и новизны для человека. С этой точки зрения в опы­те по бросанию монеты одинаковое количество информации содержится и в зрительном образе упавшей монеты, и в коротком сообщении «Орел», и в длинной

фразе «Монета упала на поверхность земли той стороной вверх, на которой изображен орел».

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цветов точек изображения и так далее).

Набор символов знаковой системы (алфавит) можно рас­сматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле (2.1) можно рассчитать, какое количество информации несет каждый символ.

Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда:

32 = 2⁷,

откуда I = 5 битов.

Каждый символ несет 5 битов информации (его инфор­мационная емкость равна 5 битов). Количество информа­ции в сообщении можно подсчитать, умножив количество информации, которое несет один символ, на количество символов.

Количество информации, которое содержит со­общение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество зна­ков.

4

Вопросы для размышления

1. Пусть две книги на русском и китайском языках содержат одина­ковое количество знаков. В какой книге содержится большее ко­личество информации с точки зрения алфавитного подхода?

Формула Шеннона

Существует множество ситуаций, когда возможные собы­тия имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой),

то при ее бросании вероятности выпадения «орла» и «реш­ки» будут различаться.

Формулу для вычисления количества информации в слу­чае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации опреде­ляется по формуле:

и (2-2) / = -!>, Юд₂р„

0 ч

где I — количество информации;

N — количество возможных событий; р₁ — вероятность i-го события.

Например, пусть при бросании несимметричной четырех­гранной пирамидки вероятности отдельных событий будут равны:

_Pl = 1/2, р₂ = 1/4, р₃ = 1/8, р₄ = 1/8. Тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле (2.2):

I = -(l/2-log₂l/2 + l/4-log₂l/4 + l/8-log₂l/8 + l/8-log₂l/8) = = (1/2 + 2/4 + 3/8 + 3/8) битов = 14/8 битов = 1,75 бита.

Этот подход к определению количества информации на­зывается вероятностным.

Для частного, но широко распространенного и рассмот­ренного выше случая, когда события равновероятны (p_t= 1 /N), величину количества информации I можно рас­считать по формуле:

С (2.3) / = -У —1од₂ — = 1од₂ N.

По формуле (2.3) можно определить, например, количест­во информации, которое мы получим при бросании симмет­ричной и однородной четырехгранной пирамидки: I = log₂4 = 2 бита.

Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количе­ство информации (2 бита), чем при бросании несимметрич­ной (1,75 бита), когда события неравновероятны.

0 ===================

Количество информации, которое мы получаем, достигает максимального значения, если собы­тия равновероятны.

Выбор оптимальной стратегии в игре «Угадай число». На

получении максимального количества информации строится выбор оптимальной стратегии в игре «Угадай число», в ко­торой первый участник загадывает целое число (напри­мер, 3) из заданного интервала (например, от 1 до 16), а вто­рой — должен «угадать» задуманное число. Если рассмотреть эту игру с информационной точки зрения, то начальная неопределенность знаний для второго участника составляет 16 возможных событий (вариантов загаданных чисел).

При оптимальной стратегии интервал чисел всегда дол­жен делиться пополам, тогда количество возможных собы­тий (чисел) в каждом из полученных интервалов будет оди­наково и отгадывание интервалов равновероятно. В этом случае на каждом шаге ответ первого игрока («Да» или «Нет») будет нести максимальное количество информации (1 бит).

Как видно из табл. 2.1, угадывание числа 3 произошло за четыре шага, на каждом из которых неопределенность зна­ний второго участника уменьшалась в два раза за счет полу­чения сообщения от первого участника, содержащего 1 бит информации. Таким образом, количество информации, не­обходимое для отгадывания одного из 16 чисел, составило 4 бита.

Таблица 2.1. Информационная модель игры «Угадай число» Вопрос второго участника Ответ первого участника Неопределенность знаний (количество возможных событий) Полученное количество информации       Число больше 8? Нет 1 бит Число больше 4? Нет 1 бит Число больше 2? Да 1 бит Число 3? Да 1 бит

Задания

2.3. Вычислить с помощью электронного калькулятора Wise Calcu­lator количество информации, которое будет получено:

• при бросании симметричного шестигранного кубика;

• при игре в рулетку с 72 секторами;

• при игре в шахматы игроком за черных после первого хода белых, если считать все ходы равновероятными;

• при игре в шашки.

2.4. Вероятность первого события составляет 0,5, а второго и третье­го — 0,25. Какое количество информации мы получим после реализации одного из них?

2.5. Какое количество информации получит второй игрок в игре

«Угадай число» при оптимальной стратегии, если первый иг­рок загадал число: от 1 до 64? От 1 до 128?