Определите количество информации в сообщении «КОЛОБОК» с учетом и без учета вероятности появления символов в сообщении, определите энтропию и избыточность алфавита в сообщении.
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
ФГБОУВПО
БРЯНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Кафедра«Информатика и программное обеспечение»
РАСЧЕТНО-ГРАФИЧЕСКАЯ РАБОТА №1
ИНФОРМАЦИЯ И ЕЁ КОДИРОВАНИЕ
Всего 14 листов.
Руководитель
________________ доц. Гулак М.Л.
«_____»______________2012 г.
Студент гр.12-БАС
________________ Козин П.А.
«_____»______________2012 г.
Брянск 2012
Задача 1.
Для передачи секретного сообщения используется секретный код, состоящий из 5 цифр. При этом символы кодируются одним и тем же минимальным количеством бит. Определите информационный объем сообщения длиной в 240 символов.
Решение:
Для определения минимального количества бит воспользуемся формулой:
2x=N, значит x=3бита, так как 23=8, и 8>5. Для нахождения информационного объема сообщения мы длину символа умножим на минимальное количество бит, получим:
V = 3 * 240 = 720 бит = 90 байт
Ответ: 90 байт.
Задача 2.
В электронной системе учета кадров 550 сотрудникам присвоены двоичные коды одинаковой длины. Какой длины будет минимальный двоичный код в системе?
Решение:
Для определения двоичного кода воспользуемся формулой:
2x=550, тогда получаем x = 10, так как если взять х = 9, то получим 29=512, а 512 < 550, значит минимальный двоичный код = 10 символов.
Ответ: 10 бит.
Задача 3.
В корзине 15 яблок, 15 груш и 30 слив. Определите, сколько бит информации несет сообщение о том, что из корзины извлечен один фрукт.
Решение:
Для определения количества бит информации в сообщение воспользуемся формулой:
I =
Так как вероятность вытащить фрукт составляет 50%, то подставляем значение в формулу:
I = = = 1 бит.
Ответ: 1 бит.
Задача 4.
Определите количество информации в сообщении «КОЛОБОК» с учетом и без учета вероятности появления символов в сообщении, определите энтропию и избыточность алфавита в сообщении.
Решение:
Количество информации в сообщении «КОЛОБОК» без учета вероятности появления символов в сообщение вычисляется по формуле Хартли:
I= , где – количество символов в сообщении.
Тогда
I = = 2,806 бит.
Для определения количества информации с учетом вероятности появления символов сообщения определим вероятность появления символов. В сообщении всего 5 символов (три буквы) вероятность появления символов:
1) вероятность появления буквы К:
2) вероятность появления буквы О:
3) вероятность появления буквы Л:
4) вероятность появления буквы Б:
Количество информации в сообщении с учетом вероятности появления символов в сообщение:
где – -й символ, – вероятность его появления.
Определим количество информации для каждой буквы в сообщении:
1) = = 1,806 бит.
2) = = 1,224 бит.
3) = = 2,806 бит.
4) = = 2,806 бит.
Количество информации в сообщении с учетом вероятности появления символов в сообщение:
2 * 1,806 + 3 * 1,224 + 1 * 2,806 + 1 * 2,806 = 12,896 бит.
Энтропия сообщения определяется по формуле Шеннона:
Тогда в соответствии с ранее определенными вероятностями энтропия будет равна:
( ) = 0,51652 0,52387 0,40136 0,40136) = 1,84291.
Избыточность символов в сообщении составляет:
где - максимально возможная энтропия (формула Хартли); - энтропия системы (формула Шеннона).
Ответ: 0,34.
Задача 5.