Содержательный подход к измерению информации.
Определение единицы измерения информации
В окружающем нас мире есть три субстанции: вещество, энергия, информация. Первые два мы умеем измерять, для них придуманы единицы измерения. Как измерить информацию?
Поскольку мы рассматриваем понятие информации с позиции человека (его знания), то количество информации, заключённой в сообщении, определяется объёмом знаний, который несёт это сообщение получающему его человеку.
Сообщение – это информационный поток, который в процессе передачи информации поступает к получателю.
Любое сообщение содержит в себе информацию. Но будет ли одно и то же сообщение нести равное количество информации для всех людей? Например, таблица умножения или учебник по высшей математике.
Сообщение информативно, если оно содержит новые знания для человека и понятно ему.
Т. о., если сообщение неинформативно для человека, то количество информации в нём с точки зрения этого человека равно нулю. Количество информации в информативном сообщении больше нуля.
Также при содержательном подходе возможна качественная оценка информации: полезная вредная, важная, безразличная и т. д. Одну и ту же информацию разные люди могут оценивать по-разному. Поэтому всё же хотелось бы научиться измерять количество информации в сообщении.
Рассмотрим пример с подкидыванием монеты. Могут выпасть орёл или решка. Эти события равновероятны, т. е. ни одно из них не имеет преимуществ перед другим.
События равновероятны, если ни одно из них не имеет преимуществ перед другими.
Т. о., число возможных вариантов результата подкидывания монеты – два, а значит и неопределённость знаний о результате тоже равна двум. Пусть выпал орёл. Зрительное сообщение об этом уменьшило неопределённость знания в два раза, действительно, было два варианта, остался один.
Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.
В теории информации было дано более общее определение единицы измерения информации:
Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации.
где
Неопределённость знаний о некотором событии – это количество возможных результатов события.
Причём речь идёт именно о равновероятных событиях возможностях результата события. Например, если речь идёт о погоде, то в зависимости от сезона сведения о том, что будет дождь или снег, могут иметь разную вероятность. Летом наиболее вероятно сообщение о дожде, зимой – о снеге, а в межсезонье они могут оказаться равновероятными.
Формула определения количества информации в сообщении
Рассмотреть примеры и записать в виде таблицы:
Подкидывание монеты N = 2 = 21, i = 1 бит
Оценки ВУЗа N = 4 = 22, i = 2 бита
Угадывание чисел в диапазоне от 1 до 8 N = 8 = 23, i = 3 бита
N = 2i
Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.
Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения:
2i = N
где N – количество равновероятных событий (неопределённость знаний),
i – количество информации, которое несёт сообщение об одном событии.
Удобнее всего измерять информацию, если N равна целой степени числа 2. Составим таблицу степеней двойки:
| i | |||||||||||
| N = 2i |
Домашнее задание
П. 1.1 (стр. 148), карточка
Домашнее задание № 3
1. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?
2. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несёт сообщение о том, что из корзины достали красный шар?
3. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?