Ответ: Энтропия увеличивается примерно на 10 бит

Решение.

При точности 1мс дискретная случайная величина Х – результат измерения – может равновероятно принимать одно из значений. Энтропия равна .

При точности 1мкс дискретная случайная величина Х – результат измерения – может равновероятно принимать одно из значений. Энтропия равна .

Изменение энтропии

бит.

Энтропия увеличилась примерно на 10 бит.

Задача 6

Записать отношения между энтропиями:

H(x), H(y), H(x|y), H(y|x), H(x,y), H(x|y_j), H(y|x_i)

Решение.

Связь между энтропией совместного распределения и полными энтропиями и средними условными энтропиями

.

Если x и y независимы, то и энтропия совместного распределения максимальна, так как .

Связь между частными и средними условными энтропиями

.

Задача 7

На рисунке представлена диаграмма канала со слабым разрешением. Определить количество информации, передаваемое по каналу.

Ответ: I (x,y)=H(x)

Решение:

Количество переданной по каналу информации равно .

– энтропия полученных элементов y до отправления элемента x; - энтропия полученных элементов y после отправления элемента x. Для данного канала со слабым разрешением , так как полученный элемент y однозначно определяется по отправленному элементу x.

Получаем .

Задача 2

На рисунке представлена диаграмма канала с неоднозначностью. Определить количество информации, передаваемое по каналу.

ответ: I (x,y)=H(x)

Решение:

Количество переданной по каналу информации равно .

– энтропия отправленных элементов x до получения элемента y; - энтропия отправленных элементов x после получения элемента y. Для данного канала с неоднозначностью , так как полученный элемент y однозначно определяет отправленный элемент x.

Получаем .

Задачи по вычислению энтропии

1. Найдите энтропию для числа белых шаров при извлечении двух шаров из урны, содержащей два белых и один черный шар.

2. Найдите энтропию для числа козырных карт при извлечении двух карт из колоды в 36 карт.

3. Какую степень неопределенности содержит опыт угадывания суммы очков на извлеченной кости из полного набора домино?

4. Найдите энтропию для числа тузов при извлечении трех карт из карт с картинками.

5. Найдите дифференциальную энтропию для равномерного распределения.

6. Найдите дифференциальную энтропию для показательного закона распределения, если известно, что случайная величина х принимает значение меньше единицы с вероятностью 0,5.

Отчет

Отчет должен быть оформлен в текстовом редакторе и содержать:

¾ наименование работы;

¾ цель работы;

¾ задание;

¾ последовательность выполнения работы;

¾ ответы на контрольные вопросы;

¾ вывод о проделанной работе.

Контрольные вопросы

1. Как определяется энтропия дискретных случайных величин?

2. Приведите примеры энтропий для классических законов распределения.

Практическое занятие № 5

Тема программы: Теорема отчетов.

Тема: Применение теоремы отчетов.

Цель: Изучение возможности синтезирования сигналов по дискретным отсчетам в соответствии с теоремой Котельникова.

Время выполнения: 2 часа

Оборудование: ПК.

Программное обеспечение: операционная система, калькулятор, текстовый редактор.

Теоретические основы

Теорема Котельникова

В 1933 году В.А. Котельниковым доказана теорема отсчетов [6, 32], имеющая важное значение в теории связи: непрерывный сигнал с ограниченным спектром можно точно восстановить (интерполировать) по его отсчетам , взятым через интервалы , где – верхняя частота спектра сигнала.

В соответствии с этой теоремой сигнал можно представить рядом Котельникова

.

(1.21)

Таким образом, сигнал , можно абсолютно точно представить с помощью последовательности отсчетов , заданных в дискретных точках (рис.1.16).

Функции

(1.22)

образуют ортогональный базис в пространстве сигналов, характеризующихся ограниченным спектром:

при .

(1.23)

Обычно для реальных сигналов можно указать диапазон частот, в пределах которого сосредоточена основная часть его энергии и которым определяется ширина спектра сигнала. В ряде случаев спектр сознательно сокращают. Это обусловлено тем, что аппаратура и линия связи должны иметь минимальную полосу частот. Сокращение спектра выполняют, исходя из допустимых искажений сигнала. Например, при телефонной связи хорошая разборчивость речи и узнаваемость абонента обеспечиваются при передаче сигналов в полосе частот . Увеличение приводит к неоправданному усложнению аппаратуры и повышению затрат. Для передачи телевизионного изображения при стандарте в 625 строк полоса частот, занимаемая сигналом, составляет около 6 МГц.

Из вышесказанного следует, что процессы с ограниченными спектрами могут служить адекватными математическими моделями многих реальных сигналов.

Функция вида называется функцией отсчетов (рис.1.17).

Она характеризуется следующими свойствами. Если , функция отсчетов имеет максимальное значение при , а в моменты времени ( ) она обращается в нуль; ширина главного лепестка функции отсчетов на нулевом уровне равна , поэтому минимальная длительность импульса, который может существовать на выходе линейной системы с полосой пропускания , равна ; функции отсчетов ортогональны на бесконечном интервале времени.

На основании теоремы Котельникова может быть предложен следующий способ дискретной передачи непрерывных сигналов:

Для передачи непрерывного сигнала по каналу связи с полосой пропускания определим мгновенные значения сигнала в дискретные моменты времени , ( ). После этого передадим эти значения по каналу связи каким - либо из возможных способов и восстановим на приемной стороне переданные отсчеты. Для преобразования потока импульсных отсчетов в непрерывную функцию пропустим их через идеальный ФНЧ с граничной частотой .

Можно показать, что энергия сигнала находится по формуле [6, 32]:

.

(1.24)

Для сигнала, ограниченного во времени, выражение (1.24) преобразуется к виду:

.

(1.25)

Выражение (1.25) широко применяется в теории помехоустойчивого приема сигналов, но является приближенным, т.к. сигналы не могут быть одновременно ограничены по частоте и времени.

Практическое задание

1. Изобразить сигналы, синтезируемые в лабораторной работе:

а) синусоидальный сигнал частотой 5кГц;

б) видеоимпульсы прямоугольной формы длительностью 0,25; 0,5; 1,0 мс;

в) видеоимпульсы пилообразной формы длительностью 0,5 мс; 1,0 мс.

2. Рассчитать и построить идеальные выборочные сигналы для сигналов, указанных в п. 1а, 1б, 1в, при f_выб=5, 10, 20, 40 кГц.

Отчет

Отчет должен быть оформлен в текстовом редакторе и содержать:

¾ наименование работы;

¾ цель работы;

¾ задание;

¾ последовательность выполнения работы;

¾ ответы на контрольные вопросы;

¾ вывод о проделанной работе.

Контрольные вопросы

1. Сформулируйте теорему Котельникова для сигналов с ограниченным спектром.

2. Объясните погрешности синтезирования реальных сигналов по дискретным отсчетам.

Практическое занятие № 6

Тема программы: Теорема отчетов.

Тема: Выполнение расчетов по теореме отчетов. Определение пропускной способности дискретного канала.

Цель: научиться выполнять расчеты по теореме отчетов и определять пропускную способность дискретного канала.

Время выполнения: 2 часа

Оборудование: ПК.

Программное обеспечение: операционная система, калькулятор, текстовый редактор.

Теоретические основы

Пусть на вход аналогово-цифрового преобразователя поступает гармонический сигнал с частотой f(период T= 1/f).частоты исходного сигнала

Проведем дискретизацию входного аналогового сигнала с периодом дискретизации T_д меньшим половины периода входного сигнала T (рисунок 1).

Рисунок 1

Очевидно, что дискретные отсчеты сигнала однозначно не отображают форму исходного сигнала, в частности по получившимся точкам можно построить гармонический сигнал с периодом T_искаж., отличающимся от периода исходного сигнала T. Период T_искаж больше периода исходного сигнала T, соответственно частота меньше, частоты исходного сигнала f (рисунок 2).

Рисунок 2

Данный эффект называется стробоскопическим эффектом или алиасингом. Он заключается в появлении ложной низкочастотной составляющей при дискретизации сигнала с частотой меньшей удвоенной частоты исходного сигнала (или с периодом большим половины периода исходного сигнала), отсутствующей в исходном сигнале.

Пример 2

Уменьшим период дискретизации до половины периода исходного аналогового сигнала (частоту дискретизации увеличим до удвоенной частоты исходного сигнала). В данной ситуации возникает неопределенность начальной фазы и амплитуды сигнала, при этом частота исходного сигнала не искажается. В крайнем случае мы можем получить отсчеты сигнала равные нулю (рисунок 3).

Рисунок 3

Пример 3

Продолжим уменьшение периода дискретизации. Если период дискретизации меньше половины периода исходного сигнала, то очевидно, что через получившиеся после оцифровки точки можно построить только один гармонический сигнал, соотвествующий исходному, без искажения начальной фазы, амплитуды и частоты (рисунок 4). Данное утверждение теоретически обосновано и мы его примем без доказательства.

Рисунок 4

Таким образом, для адекватного восстановления гармонического сигнала по дискретным отсчетам, частота дискретизации должна быть не меньше половины частоты сигнала. Частота равная половине частоты дискретизации называется частотой Найквиста f_N = f_Д/2.

Данное утверждение можно обобщить следующим образом:

Аналоговый сигнал с ограниченным спектром может быть восстановлен однозначно и без искажений по своим дискретным отсчетам, взятым с частотой большей удвоенной максимальной частоты в своем спектре.

fд >2·F_max (1)

Данное утверждение известно как теорема Котельникова (в западной литературе теорема Найквиста-Шеннона) или теорема отсчетов. В различных источниках в формулировке данной теоремы могут быть различия, основным из которых является знак сравнения в формуле 1: fд ≥2·F_maxили fд >2·F_max. Мы придерживаемся формулировки со знаком строго больше, так как при частоте оцифровки равной максимальной частоте в спектре возникают неоднозначности начальной фазы и амплитуды.

На практике аналоговый сигнал, как правило, оцифровывают с частотой в несколько раз превышающей удвоенную частоту в спектре сигнала, хотя существуют методики оцифровки сигнала с нарушением теоремы отсчетов.