Оценка количества информации

Успех решения различных задач, которые приходится решать человеку, зависит от того, насколько полно и подробно человеком изучены соответствующие явления. Например, для того чтобы перевести текст на иностранный язык, нужно знать грамматические правила и помнить много слов.

Часто говорят, что то или иное сообщение несет мало информации или, наоборот, содержит исчерпывающую информацию. При этом разные люди, получившие одно и то же сообщение, по-разному оценивают количество информации, содержащееся в нем. Количество информации в сообщении зависит от того, насколько ново это сообщение для получателя.

Достаточно часто может возникнуть ситуация, когда людям сообщают много новых для них сведений (например, на уроке), а информации при этом они практически не получают (в этом нетрудно убедиться во время опроса или контрольной работы). Происходит это оттого, что сама тема в данный момент времени для учащихся не представляется интересной.

Итак, количество информации, оказывается, зависит от новизны сведений об интересном для получателя информации явлении. Иными словами, неопределенность (т.е. неполнота знаний) по интересующему нас вопросу с получением информации уменьшается. Если в результате получения сообщения будет достигнута полная ясность в данном вопросе (т.е. неопределенность исчезнет), говорят, что была получена исчерпывающая информация.

Получение информации, ее увеличение одновременно означает уменьшение незнания или информационной неопределенности. Например, известно, что Иванов живет на улице Весенней. Сообщение о том, что номер его дома есть число четное, уменьшило информационную неопределенность. Получив такую информацию, мы стали знать больше, но информационная неопределенность осталась, хотя и уменьшилась.

Принципиально узнавать количество информации, содержащееся в сообщении, можно по формуле: I = N - K.

Здесь I - количество информации, N – начальная неопределенность и K - конечная неопределенность (после получения сообщения). Например, если неполнота знания о предмете не изменилась, т.е. N = K, то количество информации I = N - K = 0 равно нулю.

Человек бросает монету и наблюдает, какой стороной она упадет. Неопределенность после того, как монета упадет, будет равна 0 - будет достигнута полная ясность. Но какой же прогноз можно сделать до бросания монеты? Так как обе стороны монеты равноправны, то одинаково вероятно, что выпадет как одна, так и другая сторона монеты. Таким ситуациям с двумя возможностями приписывается начальная неопределенность, равная 1.

Введем определение: сообщение, которое уменьшает информационную неопределенность ровно вдвое, содержит единицу информации - бит. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.

Пример 1. Книга лежит на одной из двух полок - верхней или нижней (информационная неопределенность равна двум). Сообщение о том, например, что книга лежит на верхней полке, несет один бит информации.

Пример 2. Шар находится в одном из четырех ящиков (информационная неопределенность равна четырем). Сколько бит информации содержится в сообщении о том, что шар находится в одном из четырех ящиков?

Мысленно разделим ящики на две группы: А и Б (по 2 ящика в каждой группе). Сообщение о том, что шар находится, например, в группе Б, несет 1 бит информации. А сообщение о том, что шар находится в одном из ящиков (группы А), несет еще 1 бит информации. Следовательно, сообщение о том, что шар находится в одном из 4-х ящиков, несет 2 бита информации.

Пример 3. Пусть имеется колода из 32 игральных карт (без шестерок). Задумывается одна из карт. Необходимо, задавая вопросы, на которые будут ответы "Да" или "Нет", угадать задуманную карту (сколько бит информации содержит сообщение о любой из задуманных карт).

1 вопрос: "Задумана карта черной масти?" На этот вопрос получен ответ: "Нет", - что уменьшило неопределенность вдвое и принесло отгадывающему 1 бит информации (исходная неопределенность уменьшилась в 2 раза).

2 вопрос: "Задумана карта бубновой масти?" Ответ: "Да". (Это еще 1 бит информации, исходная неопределенность уменьшилась уже в 4 раза).

3 вопрос: "Задумана карта - картинка?" Ответ: "Нет" (Еще 1 бит информации).

4 вопрос: "Задумана семерка или девятка бубновые?" Ответ: "Да" (Еще 1 бит информации).

5 вопрос: "Задумана семерка бубновая?" Ответ: "Да" (Еще один, пятый, бит информации).

Чтобы выяснить, какая карта была задумана, пришлось задать пять вопросов, каждый ответ на умело поставленный вопрос давал 1 бит информации. Следовательно, в сообщении о любой из задуманных карт будет содержаться 5 бит информации. Рассмотрим еще одну задачу: один человек загадывает число от 0 до 7, а другой должен угадать задуманное число, задавая вопросы. На каждый вопрос можно отвечать только ДА или НЕТ.

Простейший способ угадывания - задавать вопросы: "Это 0?", "Это 1?", "Это 2?" и т.д. Если будет загадано число 7, то потребуется ровно 7 вопросов. А нельзя ли задавать какие-нибудь другие вопросы, чтобы в любом случае можно было обойтись меньшим их числом?

Рассмотрим отрезок от 0 до 7. Разделим его пополам.

0 1 2 3 4 5 6 7

Зададим вопрос: верно ли, что задуманное число больше 3? Нетрудно убедиться, что ситуация такая же, как и подбрасывание монеты. Но теперь информацию в 1 бит нам предоставит не падение монеты, а ответ соперника на вопрос.

Кроме того, после получения ответа на этот вопрос мы не можем однозначно сказать, какое число было загадано, т.е. неопределенность не исчезнет. Однако она будет уменьшена вдвое. Ответ соперника НЕТ означает, что задуманное число находится среди чисел 0, 1, 2, 3, а ответ ДА - что задумано либо число 4, либо 5, либо 6, или 7.

Условимся ДА обозначать 1, а НЕТ - 0. Теперь рассмотрим нужный отрезок и снова разделим его пополам. Зададим новый вопрос: лежит ли задуманное число в его правой половине? Ответ ДА или НЕТ (1 или 0) принесет еще один бит информации и уменьшит неопределенность еще вдвое. Очевидно, что достаточно задать еще один подобный вопрос, и мы узнаем задуманное число. Каким бы ни было это число, мы обязательно угадаем его за 3 попытки.

Более того, если вести протокол ответов на вопросы, т.е. записывать последовательно нули и единицы, то полученное число, например 101 (ДА - НЕТ - ДА), представляет собой не что иное, как двоичную запись искомого числа! Рассмотрим смысл происходящего из схемы:

Х >3?

0 1

x>1? X>5?

0 1 0 1

x>0? X>6?

0 1 0 1 0 1 0 1

000 001 010 011 100 101 110 111

Эта схема называется "дерево игры". Часто "дерево игры" еще называют "бинарным деревом". В узлах этого дерева (узлы обозначены звездочкой "*") указаны вопросы, а на ветвях - ответы на эти вопросы. В корне дерева вопрос "х>3?". Ответ ДА - это 1 на ветви вправо, а ответ НЕТ - это 0 на ветви влево. В самом низу дерева указаны загадываемые числа, а под каждым из них - двоичная запись этого числа. Нетрудно убедиться, что двоичная запись любого из этих чисел получена из 0 и 1 при движении от корня по соответствующим ветвям дерева вопросов. Конечная неопределенность в этой игре равняется 0, а при ответе на каждый из трех вопросов мы получаем информацию в 1 бит. Следовательно, неполнота начального знания равнялась 3.

Научный подход к оценке сообщений был предложен еще в 1928 году американским инженером Р.Хартли. Расчетная формула имеет вид:

V = Log ₂N , где:

N - количество равновероятных событий;

V - количество бит в информационном сообщении, такое, что любое из N событий произошло.