Единицы измерения информации

Лабораторная работа 1

Количество и единицы измерения информации

Теоретическое обоснование

Единицы измерения информации

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знания (энтропией). Если сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию. За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза. Такая единица является минимальной и названа бит. Существуют более крупные единицы измерения информации:

1 Байт=8 бит,

1 Килобайт=1024 байт=2¹⁰ байт, 1 Мегабайт = 1024 Кбайт= 2²⁰ байт,

1 Гигабайт=1024 Мбайт=2³⁰ байт, 1Терабайт=1024 Гбайт= 2⁴⁰ байт,

1 Петабайт=1024 Тбайт=2⁵⁰ байт, 1Экзабайт=1024 Пбайт= 2⁶⁰ байт.

Задания:

1) Расставьте знаки <, =, > в следующей цепочке:

20 байт … 1000 бит … 1 Мбайт … 1024 Кбайт … 1 Гбайт.

2) Упорядочите величины по возрастанию:

1025 байт, 1 Кбайт, 1 Мбайт, 1023 Кбайт, 1.2 Тбайт, 1025 бит.

3) Выберите правильные ответы: 5 Мбайт - … меньше 5000 Кбайт, равны 5120 Кбайт, равны 512 Кбайт, больше 5000 Кбайт, больше 1 Гбайта?

4) Установите соответствия между единицами измерения информации?

1600 бит =	2048 байт
2 Кбайт =	10240 Мбайт
2 Мбайт =	2048 Кбайт
10 Гбайт =	200 байт

5) Найдите х из соотношений:

а)16^х бит=32 Мбайт, б)8^хКбайт=16 Гбайт

Количество информации (энтропийный способ)

1. Равновероятные события. Любая система характеризуется своими состояниями, которые происходят в результате определенных событий. События равновероятны, если при возрастающем числе опытов число состояний системы (например, «орла» и «решки» монеты) постепенно сближаются. Так, при бросании равносторонней четырехгранной пирамиды существует 4 равновероятных события, а при бросании шестигранного игрального кубика - 6 равновероятных событий.

Формула Хартли определяет количество информации I в битах для количества возможных равновероятных событий N следующим образом:

I=log ₂ N.(1)

Для определения количества возможных событий, если известно количество информации, применяют обратную формулу:

N=2^I. (2)

Для вычисления значения логарифма с помощью калькулятора можно использовать формулу

Задания:

1) Чему равно наибольшее натуральное число, кодируемое 7 битами, 128, 127, 256, или 64?

2) Сколько информации содержится в одном разряде двоичного числа?

3) Какое количество информации содержит сообщение, что нужный файл находится на одном из 8 лазерных дисков?

4) Сообщение о том, что лекция будет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

1. Неравновероятные события.Если в результате эксперимента события происходят с разными вероятностями, то события неравновероятны.Например, если одна из сторон монеты будет более тяжелой, то она будет чаще выпадать. Или если из 10 карандашей будет 2 красных и 8 синих, то вероятность доставания красного карандаша будет значительно больше, чем синего.

Количество информации для одного из событий с различными вероятностями определяется по формуле:

I = log₂ (1/p) ,(3)

гдевероятностьp= K/N, K –количествоинтересующего события, N–общее количество событий.

Количество информации для событий с различными вероятностями определяется по формуле Шеннона:

,(4)

где p_i–вероятности отдельных событий.

Пример: В коробке лежит 8 ручек с черной пастой и 24 с красной. Сколько информации несет сообщение о том, что достали ручку с черной пастой?

Дано: K_ч=8, K_к=24 . Найти I_ч=?

N=8+24=32- всего ручек

Р_ч=8/32=1/4-вероятность доставания черной ручки

I_ч=log₂(1/1/4)=2 бита

Т.о. сообщение о том, что достали ручку с черной пастой, несет 2 бита информации.

Задания:

1) Студент на первом курсе получил 100 оценок. Сообщение о том, что он получил пятерку, несет 2 бита информации. Сколько пятерок студент получил на первом курсе?

2) На экзамене по информатике получено 6 пятерок,15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Степанов получил четверку?

3) В коробке 10 белых, 20 красных, 30 синих и 40 зеленых карандашей. Какое количество информации в сообщении о цвете вынутого карандаша?

4) Поступили заявки на оборудование из трех городов: А (10 заявок), В 40 заявок), С (30 заявок). Не удалось выполнить только одну из них. Какое количество информации, содержится в сообщении о том, что не выполнена заявка из города В?

3. Алфавитный подход к измерению информации.Для человека количество информации зависит от ее понятности и новизны, т.е. с точки зрения уменьшения неопределенности наших знаний (энтропии). Любое техническое устройство работает с данными и использует алфавитный подход к измерению информации, так как сигналы кодируют определенные символы в соответствии с алфавитом. Мощность алфавита –полное количество его символов, включая буквы, цифры, знаки препинания и специальные символы. Чем больше мощность алфавита, тем большее количество информации несет один символ.

Предположим, чтосимволы алфавита встречаются с одинаковой вероятностью и несут одинаковое количество информации. Для измерения информации с точки зрения алфавитного подхода (когда количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте) используется алгоритм:

1) Найти мощность алфавита – N.

2) Вычислить информационный объем одного символа I_c по формуле Хартли (1).

3) Найти количество символов в сообщении К.

4) Вычислить информационный объем всего сообщения (количество информации) по формуле I=I_с ∙К, (5)

Пример:Найти объем информации, содержащейся в тексте из 1000 символов, написанном русскими буквами.

Для решения используем алгоритм:

1) Найдем мощность алфавита N=33 русских прописных букв +33 русских строчных букв +21 спец.знаков=87 символов

2) Информационный объем одного символа по формуле (1):

I_с=log₂ 87=6,4 бит

3) Количество символов в сообщении К=1000

4) Информационный объем всего сообщения по формуле (5):

I=6,4∙1000=6400 бит.

Задания:

1) Текст из 1000 символов написан на английском, на русском и на греческом языках. Сравнить объемы информации, содержащейся в текстах.

2) Ученик читает текст со скоростью 250 символов в минуту. Текст использует алфавит из 64 символов. Какой объем информации получит ученик, если непрерывно будет читать 30 минут?

Контрольные вопросы:

1. Вероятностный подход к измерению количества информации.

2. Определение количества информации при равновероятных состояниях системы (формула Хартли).

3. Определение количества информации при неравновероятных состояниях системы (формула Шеннона).

4. Отличия вероятностного подхода к измерению количества информации от объемного.

5. Приведите примеры применения вероятностного подхода к измерению количества информации.