Меры и единицы количества и объема информации

1.2.1. Информационный объем

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний об объекте или явлении, т.е. узнавая что-то новое, знания пополняются, а неопределенность уменьшается.

Передача информации, сжатие информации, обработка информации. Здесь всегда подразумевается некое сообщение, закодированное и переданное тем или иным способом. Поскольку любое сообщение (любая физическая информация) в ЭВМ представляется в форме электрических сигналов, причём 1 означает наличие сигнала, 0 – отсутствие сигнала и может быть закодировано в двоичном виде, будем рассматривать только сообщения, составленные из битов, т. е. нулей и единиц.

В теории кодирования бит – это знак двоичного алфавита («0», «1»)
Если сообщение несет 1 бит информации, то оно уменьшает неопределенность знаний в 2 раза.

Информационный объём сообщения (количество бит информации в сообщении), представленного символами естественного или формального языка, складывается из информационных весов составляющих его символов.
Информационный объём сообщения l равен произведению количества символов в сообщении Kна информационный вес символа алфавита i;
l = K * i

Подсчет информационного объема сообщения является чисто технической задачей, так как при этом подсчете смысл сообщения не играет никакой роли.

Для определения количества информации используют 2 основных подхода: объемный (алфавитный) и вероятностный
Чтобы вычислить информационный объем сообщения надо количество символов умножить на число бит, которое требуется для хранения одного символа.

Например, для вычисления информационного объема текста, из которого состоит книга, нужно определить начальные данные: количество страниц в книге, среднее количество строк текста на каждой странице и число символов с пробелами в каждой строке текста. Пусть книга содержит 150 страниц, по 40 строк на странице, по 60 символов в строке.

Количество символов в книге = 150 страниц * 40 строк * 60 символов = 360 тыс. символов в книге.

Исходя из того, что один символ весит один байт (8 бит), информационный объем книги = 360 тысяч символов * 1 байт = 360 тысяч байт.

Можно перейти к более крупным единицам измерения: 1 Кб (килобайт) = 1024 байт, 1 Мб (мегабайт) = 1024 Кб. Тогда 360 тысяч байт / 1024 = 351,56 Кб или 351,56 Кб / 1024 = 0,34 Мб.

Чтобы найти информационный объем графического файла, также определяются начальные данные. Пусть изображение содержит точечную черно-белую фотографию 10 х 15 см. Каждый квадратный сантиметр содержит 600 точек, каждая точка описывается 4 битами.
Вычислим общее количество точек, содержащихся в фотографии. Обратите внимание, что 600 точек содержит не линейный сантиметр, а квадратный. Таким образом общее число точек будет 10 х 15 х 600 = 9000 точек. Поскольку точка описывается 4 битами, то общее число бит 9000 х 4 = 36000 бит.
Переведем биты в байты и получим 36000 : 8 = 4500 байт

Переведем байты в килобайты 4500 : 1024 = 4,39 килобайт.

1.2.2.Определение количества информации с равновероятностными событиями (формула Хартли)

Вероятностный (содержательный) подход к измерению количества информации развил американский инженер Хартли, в 1928г. (для равновероятностных событий)

Хартли процесс получения информации рассматривал как выбор одного события из конечного множества N количества равновероятных событий (мощность алфавита), а количество информации(информационный вес символа алфавита) I определил как двоичный логарифм N

I=log₂N

т.е. количество равновероятных событий

N=2^I

(орел/решка, вкл./выкл., чет./нечет.)

Примечание

(из курса информатики,log_ab=x, a^x=bлогарифм числа b по основанию a определяется как показатель степени, в которую нужно возвести основание a чтобы получить число b)

Например, рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:
I = log₂4 = 2 (бит).

1.2.3. Определение количества информации с событиями разной вероятности (формула Шеннона)

Но не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются

Для неравновероятных событий формулу для определения количества информации предложил американский математик Клод Шеннон в конце 40-х годов XX века.

_N

I = - ∑p_ilog₂p_i

ⁱ⁼¹

где p_i – вероятности отдельных событий, т.е. именно i-е событие выделено из числа N