Количество информации как мера уменьшения неопределенности знания

Получение информации можно связать с уменьшением неопределенности знания. Это позволяет количественно измерять информацию, что чрезвычайно важно для информатики. Рассмотрим вопрос об определении количества информации более подробно на конкретных примерах.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет оно из двух возможных событий – монета окажется в одном из двух положений : «орел» или «решка».

Можно говорить, что события равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближается. Например, если мы бросим монету 10 раз, то «орел» может выпасть 7 раз, а «решка» – 3 раза, если бросим монету 100 раз, то «орел» может выпасть 60 раз, а «решка» – 40 раз, если бросим монету 1000 раз , то «орел» может выпасть 520 раз, а «решка» – 480 и т.д. В итоге при очень большой серии опытов количества выпадений «орла» и «решки» практически сравняются.

Перед броском существует неопределенность нашего знания (возможны два события), и как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, «орел»). Это сообщение приводит к уменьшению неопределенности нашего знания в два раза, так как из двух возможных равновероятных событий реализовалось одно.

В окружающей действительности достаточно часто встречаются ситуации, когда может произойти некоторое количество равновероятных событий. Так, при бросании равносторонней четырехгранной пирамиды существуют 4 равновероятностных события, а при бросании шестигранного игрального кубика – 6 равновероятностных событий.

Чем больше количество возможных событий, тем больше начальная неопределенность нашего знания и соответственно тем больше количество информации будет содержать сообщение о результатах опыта.

Единицы измерения количества информации.Для количественноговыражения любой величины необходимо определить единицу измерения. Так, для измерения длины, в качестве единицы, выбран метр, для измерения массы – килограмм и т.д. аналогично, для определения количества информации необходимо ввести единицу измерения.

За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза. Такая единица названа бит.

Если вернуться к опыту с бросанием монеты, то здесь неопределенность как раз уменьшается в два раза (из двух возможных событий реализуется одно) и, следовательно, количество полученной информации равно 1 биту.

Минимальной единицей измерения информации является бит, а следующей по величине единицей – байт, причем

1 байт = 2³ бит = 8 бит

В информатике система образования кратных единиц измерения количества информации несколько отличается от принятой в большинстве наук. Традиционные метрические системы единиц, например международная система единиц СИ, в качестве множителей кратных единиц использует коэффициент 10ⁿ, где n = 3,6,9 и т.д., что соответствует десятичным приставкам «кило»(10³), «мега»(10⁶), «гига»(10⁹) и т.д.

Компьютер оперирует числами не в десятичной, а в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется 2ⁿ.

Так кратные байту единицы измерения количества информации вводятся следующим образом:

1Кбайт = 2¹⁰ байт = 1024 байт;

1Мбайт = 2¹⁰ Кбайт = 1024 Кбайт;

1Гбайт = 2¹⁰ Мбайт = 1024 Мбайт;

Количество возможных событий и количество информации.Существует формула, которая связывает между собой количество возможных событий N и количество информации I :

N = 2ⁱ.

По этой формуле можно легко определить количество возможных событий, если известно количество информации. Например, если мы получили 4 бита информации, то количество возможных событий составляло

N = 2⁴ = 16.

И, наоборот, для определения количества информации, если известно количество событий, необходимо решить показательное уравнение относительно I .

Практическое задание «Определить количество информации».Определить количество информации, полученной вторым игроком после первого хода первого игрока, в игре «крестики- нолики» на поле размером 8х8 клеток.

Перед первым ходом существует 64 возможных события (64 различных вариантов расположения «крестика»), тогда уравнение принимает вид: 64=2ⁱ.

Так как 64=2⁶ , то 2⁶ = 2ⁱ. Таким образом, I = 6 бит, т.е. количество информации, полученной вторым игроком после первого хода первого игрока, составляет 6 бит.