Частотность букв русского языка

i	Символ	Р(i)	i	Символ	Р(i)	i	Символ	Р(i)
	Пробел	0,175		Л	0,035		Б	0,014
	О	0,090		К	0,028		Г	0,012
	Е	0,072		М	0,026		ч	0,012
	Ё	0,072		Д	0,025		й	0,010
	А	0,062		п	0,023		X	0,009
	И	0,062		У	0,021		ж	0,007
	Т	0,053		я	0,018		ю	0,006
	Н	0,053		ы	0,016		ш	0,006
	С	0,045			0,016		Ц	0,004
	Р	0,040		ь	0,014		щ	0,003
	В	0,038		ъ	0,014		э	0,003
							ф	0,002

Воспользуемся для подсчета Н формулой Шеннона:

Н≈ 4,72 бит.

Полученное значение Н, как и можно было предположить, меньше вычисленного ранее. Величина Н, вычисляемая по формуле Хартли, является максимальным количеством информации, которое могло бы приходиться на один знак.

& Пример 1

Какое сообщение согласно теории информации содер­жит больше информации?

А. Монета упала "орлом" вниз.

В. Из колоды карт (32 штуки) достали даму пик.

С. Игральная кость упала вверх гранью с шестью очками.

D. Наш друг живет на 9-м этаже шестнадцатиэтаж­ного дома.

Е. Из 8 призов наугад был выбран автомобиль.

& Пример 2

Имеются два мешка с монетами, в каждом из которых находится по одной фальшивой монете (более легкой). Для определения фальшивой монеты в первом мешке по­требовалось провести 6 взвешиваний, во втором мешке — 4 взвешивания. Сколько всего монет было в двух мешках?

А. 80

В.1024

С. 10

D. 24

Е. 512

& Пример 3

Сколько информации несет сообщение о том, что было угадано число в диапазоне целых чисел от 784 до 911?

А. 128 бит

В. 6 бит

С. 127 бит

D. 7 бит

Е. 911 бит

& Пример 4

В корзине лежат шары: синие, красные, белые и зеле­ные. Всего 32 штуки. Сообщение о том, что достали си­ний шар, несет 2 бита информации. Синих шаров было в 2 раза меньше, чем красных. Белых и зеленых шаров было поровну. Сколько шаров каждого цвета было в корзине?

А. Синие — 4 шт.; красные — 2 шт.; белые и зеленые — по 13 шт.

В. Синие — 4 шт.; красные — 8 шт.; белые и зеле­ные — по 10 шт.

С. Синие — 2 шт.; красные — 4 шт.; белые и зеле­ные — по 13 шт.

D. Синие — 8 шт.; красные — 4 шт.; белые и зеле­ные — по 10 шт.

Е. Синие — 8 шт.; красные — 16 шт.; белые и зеле­ные — по 4 шт.

& Пример 5

В корзине лежат фрукты: 8 яблок, 32 банана и 24 сливы. Количество информации в сообщении о том, что достали яблоко, обозначим iЯ, банан — iБ, сливу — iC. Для величин iЯ, iБ и iС справедливо неравенство:

А. iЯ < iБ < iС

В. iЯ < iС< iБ

С. iЯ > iБ > iС

D. i Б< iC < iЯ .

Е. iБ> iС> iЯ

& Пример 6

На ypoкe математики Незнайку вызывают к доске в 4 раза реже, чем Винтика. Определить количество инфор­мации в сообщении о том, что к доске вызвали Винтика, если сообщениео том, что вызвали Незнайку, несет 8 бит информации.

А. 32 бита

В. .2 бита

С. 5 бит

D. 6 бит

Е. 6 байт

& Пример 7

Алфавит одного племени содержит Х символов, алфа­вит другого содержит в четыре раза больше символов. Племена обменялись приветствиями. Каждое по 100 сим­волов. Количество бит информации в приветствии обо­значим — info₁. первого племени, в приветствии второго племени — info₂. Выбрать верное утверждение.

А. Info₁ = 4 • Info₂

В. Info₂ = 4 • Info₁

С. Info₁ – Info₂ = 4

D.lnfo₂ – _Info1 =200

Е. Info₂ = Info₁ +400

& Пример 8

Приветствие участникам олимпиады от марсиан запи­сано с помощью всех символов марсианского алфавита: ТЕВИРП!КИ! Сколько информации оно несет?

А. 30 бит

В.10 байт

С. 80 бит

D.10 бит,

Е. 30 байт

& Пример 9

Два исполнителя — Шалтай и Болтай проставляют О или 1 в каждую из имеющихся в их распоряжении кле­точек и таким образом кодируют символы. Шалтай мо­жет закодировать 512 символов, и у него на 2 клеточки больше, чем у Болтая: Сколько клеток было в распоря­жении Болтая?

А. 514

В. 7

С. 5

D. 9

Е. 510

& Пример 10

В алфавите некоторого языка всего две буквы: "А" и "Б". Все слова, записанные на этом языке, состоят из 11 букв. Какой максимальный словарный запас может быть у этого языка?

А. 22

В. 11

С. 2048

D.1024

Е. 44 .

Задачи для самостоятельного решения

Содержательный подход

1.1. «Вы выходите на следующей остановке?» — спросили челове­ка в автобусе. «Нет», — ответил он. Сколько информации содержит ответ?

1.2. Какой объем информации содержит сообщение, уменьшаю­щее неопределенность знаний в 4 раза?

1.3. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

1.4. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?

1.5. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

1.6. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

1.7. Была получена телеграмма: «Встречайте, вагон 7». Известно, что в составе поезда 16 вагонов. Какое количество информа­ции было получено?

1.8. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

1.9. При угадывании целого числа в диапазоне от 1 до N было по­лучено 7 бит информации. Чему равно N?

1.10. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

1.11. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

1.12. Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

1.13. В коробке лежат 7 разноцветных карандашей. Какое количе­ство информации содержит сообщение, что из коробки доста­ли красный карандаш?

1.14. Какое количество информации несет сообщение: «Встреча на­значена на сентябрь».

1.15. Какое количество информации несет сообщение о том, что встреча назначена на 15 число?

1.16. Какое количество информации несет сообщение о том, что встреча назначена на 23 октября в 15.00?

Алфавитный подход

2.1. Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита?

2.2. Сообщение, записанное буквами из 64-х символьного алфави­та, содержит 20 символов. Какой объем информации оно несет? .

2.3. Племя Мульти имеет 32-х символьный алфавит. Племя Пульти использует 64-х символьный алфавит. Вожди племен обме­нялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти — 70 символов. Сравните объемы информации, содержащейся в письмах.

2.4. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при по­мощи которого было записано это сообщение?

2.5. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью кото­рого записано сообщение?

2.6. Сколько символов содержит сообщение, записанное с помо­щью 16-ти символьного алфавита, если объем его составил 1 /16 часть Мбайта?

2.7. Сколько килобайтов составляет сообщение, содержащее 12288 битов?

2.8. Сколько килобайтов составит сообщение из 384 символов 1б-ти символьного алфавита?

2.9. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

2.10. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использован­ном алфавите, если все сообщение содержит 1125 байтов?

2.11. Для записи сообщения использовался 64-х символьный алфа­вит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?

2.12. Сообщение занимает 2 страницы и содержит 1/16 Кбайта ин­формации. На каждой станице записано 256 символов. Како­ва мощность использованного алфавита?

2.13. Два сообщения содержат одинаковое количество символов. Количество информации в первом тексте в 1,5 раза больше, чем во втором. Сколько символов содержат алфавиты, с помо­щью которых записаны сообщения, если известно, что число символов в каждом алфавите не превышает 10 и на каждый символ приходится целое число битов?

2.14. Два сообщения содержат одинаковое количество информа­ции. Количество символов в первом тексте в 2,5 раза меньше, чем во втором. Сколько символов содержат алфавиты, с помо­щью которых записаны сообщения, если известно, что размер каждого алфавита не превышает 32 символов и на каждый символ приходится целое число битов?

2.15. ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каж­дой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, со­держащий примерно 1,5 * 1023 нуклеотидов?

2.16. Выяснить, Сколько бит информации несет каждое двухзначное число (отвлекаясь от его конкретного числового значения).