Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации

Билет № 2

1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.

2. Создание и редактирование текстового документа (исправление ошибок, удаление или вставка текстовых фрагментов), в том числе использование элементов форматирования текста (установка параметров шрифта и абзаца, внедрение заданных объектов в текст).

1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.

Как измерить информацию? Часто мы говорим, что, прочитав статью в журнале или просмотрев новости, не получили никакой информации, или наоборот, краткое сообщение может оказаться для нас информативным. В то же время для другого человека та же самая статья может оказаться чрезвычайно информативной, а сообщение — нет. Информативными сообщения являются тогда, когда они новы, понятны, своевременны, полезны. Но то, что для одного понятно, для другого — нет.

Вопрос «как измерить информацию?» очень непростой. Существует два подхода к измерению количества информации.

Первый подход называется содержательным. В нем информация рассматривается с субъективной точки зрения, т.е. с точки зрения конкретного человека. В этом случае количество информации в сообщении не равно нулю, если сообщение пополняет знания человека.

Второй подход называется алфавитным. Этот способ не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом. Алфавитный подход является объективным способом измерения информации в отличие от субъективного, содержательного, подхода. Следовательно, при алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объема текста (то есть от числа знаков в тексте).

Содержательный подход к измерению информации

Если рассматривать информацию с субъективной точки зрения, то информация – это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра – информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно.

Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: 2×2=4 информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. Если сообщение написано на непонятном человеку языке, оно тоже не будет нести информацию.

Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными

Для измерения информации нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком меньше.
Единица измерения информации называется «бит». Её определение звучит так:

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Что такое «неопределенность знаний»? Лучше всего это пояснить на примерах.
Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка? Есть всего два варианта возможного результата бросания монеты. Причем, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.
Так вот, в этом случае перед подбрасыванием монеты неопределенность знаний о результате равна двум.

Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знаний о результате бросания кубика равна шести.
Следовательно, можно сказать так:

Неопределенность знаний о некотором событии – это количество возможных результатов события

Вернемся к примеру с монетой. После того, как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. Неопределенность знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.