Сообщение, несущее 1 бит информации
![]() |
Вернемся теперь к примеру с монетой. После того как вы бросили монету, она упала, и вы посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. В этом случае считают, что неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.
![]() |
Количество информации в сообщении об одном из N равновероятных событий
А теперь такая задача: студент на экзамене может получить одну из четырех оценок: 5 — «отлично», 4 — «хорошо», 3 — «удовлетворительно», 2 — «неудовлетворительно». Представьте себе, что ваш товарищ пошел сдавать экзамен. Причем учится он очень неровно и может с одинаковой вероятностью получить любую оценку от 2 до 5. Вы волнуетесь за него, ждете результата экзамена. Наконец, он пришел и на ваш вопрос: «Ну, что получил?» ответил: «Четверку!».
Вопрос: сколько битов информации содержится в его ответе?
Если сразу сложно ответить на этот вопрос, то давайте подойдем к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».
Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.
Первый вопрос:
— Оценка выше тройки?
— Да.
После этого ответа число вариантов уменьшилось в два раза. Остались только 4 и 5. Получен 1 бит информации.
Второй вопрос:
— Ты получил пятерку?
— Нет.
Выбран один вариант из двух оставшихся: оценка — четверка. Получен еще 1 бит информации. В сумме имеем 2 бита.
Сообщение о том, что произошло одно из четырех равновероятных событий, несет 2 бита информации.
Разберем еще одну частную задачу, а потом получим общее правило.
На книжном стеллаже восемь полок. Книга может стоять на любой из них. Сколько информации содержит сообщение о том, где находится книга?
Будем действовать таким же способом, как в предыдущей задаче. Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Применим метод половинного деления к задаче со стеллажом.
Задаем вопросы:
— Книга лежит выше четвертой полки?
— Нет.
— Книга лежит ниже третьей полки?
-Да.
— Книга на второй полке?
— Нет.
— Ну теперь все ясно! Книга лежит на первой полке!
Каждый ответ уменьшал неопределенность знания в два раза. Всего было задано три вопроса. Значит, набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.
А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий.
Обозначим буквой N количество возможных событий. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.
В примере с монетой: N = 2, i = 1.
В примере с оценками: N = 4, i = 2.
В примере со стеллажом: N = 8, i = 3.
Нетрудно заметить, что связь между этими величинами выражается такой формулой
2i = N.
Действительно: 21 = 2; 22 = 4; 23 = 8.
Если величина N известна, a i неизвестно, то данная формула становится уравнением для определения i. В математике оно называется показательным уравнением.
Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение
2i= 16.
Поскольку 16 = 24, то i = 4.
![]() |
Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т. д.), то такое уравнение решается просто: i будет целым числом. А чему, например, равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Решение уравнения
2i = 6
будет дробным числом, лежащим между 2 и 3, поскольку 22 = 4 < 6, а 23 = 8 > 6. С точностью до пяти знаков после запятой решение такое: 2,58496. Ниже приведена таблица, из которой можно определить i для различных значений N в диапазоне от 1 до 64.
Таблица.Количество информации в сообщении об одном из Nравновероятных событий
N | i | N | i | N | i | N | i |
0,00000 | 4,08746 | 5,04439 | 5,61471 | ||||
1,00000 | 4,16993 | 5,08746 | 5,64386 | ||||
1,58496 | 4,24793 | 5,12928 | 5,67243 | ||||
2,00000 | 4,32193 | 5,16993 | 5,70044 | ||||
2,32193 | 4,39232 | 5,20945 | 5,72792 | ||||
2,58496 | 4,45943 | 5,24793 | 5,75489 | ||||
7 | 2,80735 | 4,52356 | 5,28540 | 5,78136 | |||
3,00000 | 4,58496 | 5,32193 | 5,80735 | ||||
3,16993 | 4,64386 | 5,35755 | 5,83289 | ||||
3,32193 | 4,70044 | 5,39232 | 5,85798 | ||||
3,45943 | 4,75489 | 5,42626 | 5,88264 | ||||
3,58496 | 4,80735 | 5,45943 | 5,90689 | ||||
3,70044 | 4,85798 | 5,49185 | 5,93074 | ||||
3,80735 | 4,90689 | 5,52356 | 5,95420 | ||||
3,90689 | 4,95420 | 5,55459 | 5,97728 | ||||
4,00000 | 5,00000 | 5,58496 | 6,00000 |
Коротко о главном
Неопределенность знания о некотором событии — это количество возможных результатов события.
Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.
Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение 2i = N.
Вопросы и задания
1. Что такое неопределенность знания о результате какого-либо события? Приведите примеры.
2. Как с точки зрения содержательного подхода к измерению информации определяется единица измерения количества информации?
3. По какой формуле можно вычислить количество информации, содержащейся в сообщении?
4. Сколько битов информации несет сообщение о том, что из колоды в 32 карты достали «даму пик»?
5. Проводятся две лотереи: «4из32» и «5из64». Сообщение о результатах какой из лотерей несет больше информации?
ЕК ЦОР: Часть 1, дополнение к главе 1. ЦОР № 1-5.
![]() ![]() ![]() ![]() ![]() ![]() |
![]() |
§ 5