Подходы к определению количества информации, Формулы Хартли и Шеннона

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли: I = log₂N

Вариант 14.

1.Набрать текст. Придумать заголовок и задать стиль – Заголовок 1. Разбить текст на абзацы. Произвести форматирование текста:

·Шрифт Arial, размер шрифта – 14, отступ первой строки 1,25 см, интервал между строками – 1,5, интервал между абзацами 6 пт, выравнивание по ширине

• Зайти в Интернет, выбрать рисунок к тексту, вставить и задать обтекание за текстом

Формула Хартли: I = log₂N

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log₂100  6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации. Приведем другие примеры равновероятных сообщений:

· при бросании монеты: "выпала решка", "выпал орел";

· на странице книги: "количество букв чётное", "количество букв нечётное".

Определим теперь, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины. Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = — ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_N log₂ p_N),
где p_i — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. Легко заметить, что если вероятности p₁, ..., p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли. Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

Вариант 15

1.Набрать текст. Задать стиль заголовку – Заголовок 1. Разбить текст на абзацы. Произвести форматирование текста:

·Шрифт Arial, размер шрифта – 14, отступ первой строки 1,25 см, интервал между строками – 1,5, интервал между абзацами 6 пт, выравнивание по ширине

• Зайти в Интернет, выбрать рисунок к тексту, вставить и задать обтекание за текстом

Синтаксическая мера информации

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра). Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.). В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд. Бит— слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸).

Широко используются также ещё более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 2¹⁰ байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 2²⁰ байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 2³⁰ байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тбайт) = 1024 Гбайт = 2⁴⁰ байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 2⁵⁰ байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.

Вариант 16.

1.Набрать текст. Задать стиль заголовку – Заголовок 2. Разбить текст на абзацы. Произвести форматирование текста:

·Шрифт Arial, размер шрифта – 14, отступ первой строки 1,25 см, интервал между строками – 1,5, интервал между абзацами 6 пт, выравнивание по ширине

• Зайти в Интернет, выбрать рисунок к тексту, вставить и задать обтекание за текстом
• Создать таблицу по образцу

Преобразование информации

Информацию можно:

Все эти процессы, связанные с определенными операциями над информацией, называются информационными процессами.

Меры информации	Единицы измерения	Примеры
1. Синтаксическая: компьютерный подход шенноновский подход	Единицы представления информации Степень уменьшения неопределенности	Бит, байт, Кбайт и т.д   Вероятность события
2. Семантическая	Тезаурус Экономические показатели	Программы, сети, компьютеры и т. д. Рентабельность, производительность
3. Прагматическая	Ценность использования	Емкость памяти, производительность компьютера, скорость передачи данных и т.д. Денежное выражение Время обработки информации и принятия решений.

Вариант 17.