Количество информации как мера уменьшения неопределенности знаний

Информация и знания. Человек получает информацию из окружающего мира с помощью органов чувств, анализи­рует ее и выявляет существенные закономерности с помо­щью мышления, хранит полученную информацию в памя­ти. Процесс систематического научного познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и так далее). Таким образом, с точки зрения процесса познания информация мо­жет рассматриваться как знания.

Процесс познания можно наглядно изобразить в виде рас­ширяющегося круга знания (такой способ придумали еще древние греки). Вне этого круга лежит область незнания, а окружность является границей между знанием и незнанием. Парадокс состоит в том, что чем большим объемом знаний обладает человек (чем шире круг знаний), тем больше он ощущает недостаток знаний (тем больше граница нашего не­знания. мерой которого в этой модели является длина окружности) — оис. 2.1.

РИС. 2.1

Незнание

Знание и незнание

Так, объем знаний выпускника школы гораздо больше, чем объем знаний первоклассника, однако и граница его не­знания существенно больше. Действительно, первоклассник ничего не знает о законах физики и поэтому не осознает не­достаточности своих знаний, тогда как выпускник школы при подготовке к экзаменам по физике может обнаружить, что существуют физические законы, которые он не знает или не понимает.

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некото­рое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение со­держит информацию.

Например, после сдачи экзамена по информатике вы му­чаетесь неопределенностью, вы не знаете какую оценку по­лучили. Наконец, экзаменационная комиссия объявляет ре­зультаты экзамена, и вы получаете сообщение, которое приносит полную определенность, теперь вы знаете свою оценку. Происходит переход от незнания к полному зна­нию, значит, сообщение экзаменационной комиссии содер­жит информацию.

Уменьшение неопределенности знаний. Подход к информа­ции как мере уменьшения неопределенности знаний позволяет количественно измерять информацию, что чрезвычайно важно для информатики. Рассмотрим вопрос об определении количе­ства информации более подробно на конкретных примерах.

Пусть у нас имеется монета, которую мы бросаем на ров­ную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка».

Можно говорить, что события равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются. Например, если мы бросим монету 10 раз, то «орел» может выпасть 7 раз, а решка — 3 раза, если бросим монету 100 раз, то «орел» может выпасть 60 раз, а «решка» — 40 раз, если бросим монету 1000 раз, то «орел» может выпасть 520 раз, а «решка» — 480 и так далее.

В итоге при очень большой серии опытов количества выпаде­ний «орла» и «решки» практически сравняются.

Перед броском существует неопределенность наших зна­ний (возможны два события), и, как упадет монета, предска­зать невозможно. После броска наступает полная определен­ность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном по­ложении (например, «орел»). Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных события, а после броска — только одно, то есть в два раза меньше (рис. 2.2).

Возможные события	Произошедшее событие 1

Рис. 2.2 Возможные и произошедшее события

В окружающей действительности достаточно часто встре­чаются ситуации, когда может произойти некоторое количе­ство равновероятных событий. Так, при бросании равносто­ронней четырехгранной пирамиды существуют 4 равновероятных события, а при бросании шестигранного иг­рального кубика — 6 равновероятных событий.

Чем больше количество возможных событий, тем больше начальная неопределенность и соответственно тем большее количество информации будет содержать сообщение о резуль­татах опыта.

Единицы измерения количества информации. Для коли­чественного выражения любой величины необходимо опре­делить единицу измерения. Так, для измерения длины в ка­честве единицы выбран метр, для измерения массы — килограмм и так далее. Аналогично, для определения коли­чества информации необходимо ввести единицу измерения.

За единицу количества информации принимает- jq ся такое количество информации, которое содер­жит сообщение, уменьшающее неопределенность в два раза. Такая единица названа «бит».

Если вернуться к опыту с бросанием монеты, то здесь не­определенность как раз уменьшается в два раза и, следова­тельно, полученное количество информации равно 1 биту.

Минимальной единицей измерения количества информа­ции является бит, а следующей по величине единицей явля­ется байт, причем

1 байт = 2³ бит = 8 бит

В информатике система образования кратных единиц из­мерения количества информации несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют ко­эффициент 10", где п = 3, 6, 9 и так далее, что соответствует десятичным приставкам Кило (10³), Мега (10⁶⁾, Гига (10⁹⁾ и так далее.

Компьютер оперирует числами не в десятичной, а в дво­ичной системе счисления, поэтому в кратных единицах из­мерения количества информации используется коэффици­ент 2".

Так, кратные байту единицы измерения количества ин­формации вводятся следующим образом:

1 Кбайт = 2¹⁰ байт = 1024 байт;

1 Мбайт = 2¹⁰ Кбайт = 1024 Кбайт;

1 Гбайт = 2¹⁰ Мбайт = 1024 Мбайт.

Количество возможных событий и количество информа­ции. Существует формула, которая связывает между собой количество возможных событий N и количество информа­ции I:

10 (2.1) N=2'

* &

По этой формуле можно легко определить количество возможных событий, если известно количество информа­ции. Например, если мы получили 4 бита информации, то количество возможных событий составляло:

N = 2⁴ = 16.

Наоборот, для определения количества информации, если известно количество событий, необходимо решить показатель­ное уравнение относительно I. Например, в игре «Крести­ки-нолики» на поле 8x8 перед первым ходом существует 64 возможных события (64 различных варианта расположения «крестика»), тогда уравнение принимает вид:

64 = 2¹.

Так как 64 = 2⁶, то получим:

2⁶ = 2¹.

Таким образом, 1 = 6 битов, то есть количество информа­ции, полученное вторым игроком после первого хода перво­го игрока, составляет 6 битов.

j

Вопросы для размышления

1. Приведите примеры уменьшения неопределенности знаний после получения информации о произошедшем событии.

2. В чем состоит неопределенность знаний в опыте по бросанию мо­неты?

3. Как зависит количество информации от количества возможных событий?

_ % Задания

2.1. Какое количество информации получит второй игрок после пер­вого хода первого игрока в игре в «Крестики-нолики» на поле размером 4x4?

2.2. Каково было количество возможных событий, если после реали­зации одного из них мы получили количество информации, равное 3 битам? 7 битам?