Случайные функции

5.1. Случайной функцией X(t) называют функцию, которая в результате опыта может принимать тот или иной конкретный вид, неизвестный заранее.

5.2. Конкретный вид, принимаемый случайной функцией, называют реализацией случайной функции.

5.3. Сечением случайной функции называют случайную величину X(t_k), в которую обращается случайная функция X(t) при фиксированном аргументе (t = t_k).

5.4. Одномерным законом распределения случайной функции X(t) называют закон распределения f(x,t_k) сечения X(t) случайной функции.

5.5. Математическим ожиданием случайной функции X(t) называют неслучайную функцию m_x(t), которая при каждом значении аргумента t представляет собой математическое ожидание соответствующего сечения этой случайной функции.

5.6. Дисперсией случайной функции X(t) называют неслучайную функцию d_x(t), которая при каждом значении аргумента t представляет собой дисперсию соответствующего сечения этой случайной функции.

5.7. Корреляционной функцией случайной функции X(t) называют неслучайную функцию двух аргументов R_x(t_k,t₁), которая при каждой паре значений аргументов t_k и t₁ равна корреляционному моменту соответствующих сечений случайной функции, т. е.

,

где - центрированная случайная функция.

Корреляционная функция характеризует статистическую связь между сечениями случайной функции, т.е. внутреннюю структуру случайной функции. При t_k = t₁ корреляционная функция обращается в дисперсию, действительно,

.

5.8. Нормированной корреляционной функцией случайной функции X(t) называют неслучайную функцию двух аргументов r_x(t_k,t_k1), определяемую по формуле:

,

при t_k = t₁ r_x(t_k ,t_k1) = 1.

5.9. Стационарной случайной функцией называют случайную функцию, математическое ожидание которой постоянно ( , а её корреляционая функция зависит только от разности между аргументами:

,

где τ = t₁ - t₂.

Литература.

1.Журкин И.Г. Шавенько Н.К Сигналы Учебное пособие по курсу «Автоматизированная обработки аэрокосмической информации. –М.: Изд. МИИГАиК, 2007.

2.Дмитриев В.И. Прикладная теория информации.- М.:Изд.«Высшая школа»,1999г.

3.Хэмминг Р.В. Теория кодирования и теория инфорции.―М.:Изд. «Радио и связь»,1998г.

4.Колесник В.Д., Полтырев Г.Ш. Курс теории информации. -М.: Изд.»Наука», 1994г.

5.Мощиль В.И., Шавенько Н.К. Основы теории информации. Учебное пособие. –М.: Изд. МИИГАиК, 2006.

6. Мощиль В. И., Шавенько Н. К. Основы теории кодирования. Учебное пособие. –М.: Изд. МИИГАиК, 1999.

7. Новиков Ф.А. Дискретная математика для программистов. –Санкт–Петербург; Изд.дом «Питер», 2008.

Содержание-

Введение.................................................................................................................................. 3

Основы теории информации.......................................................................................... 4

1.1. Информация. Общие понятия.............................................................................. 4

1.2. Измерение информации ....................................................................................... 5

1.3. Структурное (комбинаторное) определение количества

информации (по Хартли).................................................................................... 8

Статистическое определение количества информации (по Шеннону) .................. 10

1.5. Свойства функции энтропии источника дискретных сообщений.................. 11

1.6. Информационная ёмкость дискретного сообщения ......................................... 14

1.7. Информация в непрерывных сообщениях. ....................................................... 16

1.8. Энтропия непрерывных сообщений................................................................... 17

1.9. Экстремальные свойства энтропии непрерывных сообщений....................... 20

1.10. Информация в непрерывных сообщениях при наличии шумов................... 24

2. Основы теории кодирования..........................................................................................26

2.1. Кодирование. Основные понятия......................................................................... 26

2.2. Избыточность кодов................................................................................................ 29

2.3. Эффективное кодирование равновероятных символов сообщений................. 31

2.4. Эффективное кодирование неравновероятных символов сообщений............. 32

2.5. Алгоритмы эффективного кодирования неравновероятных

взаимнонезависимых символов источников сообщений................................. 34

2.6. Алгоритмы эффективного кодирования неравновероятных

взаимозависимых символов сообщений..................................................................... 40

2.7. Недостатки алгоритмов эффективного кодирования ....................................... 41

2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия............ 42

2.9. Теоретические основы помехоустойчивого кодирования................................. 43

2.10.Некоторые методы построения блочных корректирующих кодов ………….48

2.11.Кодирование как средство защиты информации от

несанкционированного доступа.................................................................................. 52

3. Передача информации по каналам связи...............................................................58

3.1. Канал связи. Общие понятия................................................................................. 58

3.2. Передача дискретных сообщений по каналам связи.......................................... 60

3.3. Передача непрерывных сообщений по каналам связи....................................... 63

3.4. Согласование каналов с сигналами...................................................................... 64

Лабораторный практикум.………………………………………...………………….68

Лабораторная работа № 1………………………………………………………...……68

Лабораторная работа № 2………………………………………………………...……71

Лабораторная работа № 3………………………………………………………...……75

Приложение. Некоторые полезные сведения из теории вероятностей.................77

Литература………………………………………………………………………….……85