Теорема кодирования для канала с помехами

Это основная теорема кодирования К. Шеннона. Применительно к дискретному источнику информации она формулируется так:

Теорема. Если производительность источника сообщений H’(A) меньше пропускной способности канала С: H’(A)<С, то существует такой способ кодирования (преобразования сообщения в сигнал на входе канала) и декодирования (преобразования сигнала в сообщение на выходе), при котором вероятность ошибочного декодирования и ненадежность канала H(A|A*) могут быть сколь угодно малы. Если же H’(A)>С, то таких способов кодирования и декодирования не существует.

Модель:

КАНАЛ
Теорема кодирования для канала с помехами - student2.ru Теорема кодирования для канала с помехами - student2.ru Теорема кодирования для канала с помехами - student2.ru Теорема кодирования для канала с помехами - student2.ru Н(А) Н’(В)

Н’(А)<с

Если же Н’(А)>с, то такого кода не существует.

Теорема указывает на возможность создания помехоустойчивых кодов.

Н’(А)< Н’(В)

Н’(В)=VkH

Декодер выдаёт на код каналов Vk символов в секунду. Если в канале потерь нет, то Vk=с.

При Н<1 будет тратится больше одного бита на символ, значит появляется избыточность, т.е. не все символы несут полезную информацию.

Делаем вывод, что смысл теоремы Шеннона заключается в том, что при H’(A)>С невозможна безошибочная передача сообщений по данному каналу, если же H’(A)<С, то ошибки могут быть сведены к сколь угодно малой величине. Таким образом, величина С - это предельное значение скорости безошибочной передачи информации по каналу

Практическая часть.

Пропускная способность гауссовского канала определяется [1, стр.118]:

Теорема кодирования для канала с помехами - student2.ru .

Отношение сигнал/шум падает по условию задания с 25 до 15 дБ. Поэтому С также будет уменьшаться. Необходимо уменьшать С/Ш с 25 до 15 дБ с шагом 1 дБ и вычислить по формуле 11 значений С. При этом надо учесть, что в формуле отношение С/Ш - Pc/Pш - дано в разах, поэтому данные в дБ необходимо пересчитать в разы: Теорема кодирования для канала с помехами - student2.ru ; отсюда Теорема кодирования для канала с помехами - student2.ru .

С помощью программы MathCAD получили результаты подсчётов:

С1=1,246*104 бит/с

С2=1,197*104 бит/с

С3=1,147*104 бит/с

С4=1,098*104 бит/с

С5=1,048*104 бит/с

С6=9,987*103 бит/с

С7=9,495*103 бит/с

С8=9,003*103 бит/с

С9=8,514*103 бит/с

С10=8,026*103 бит/с

С11=7,542*103 бит/с

Производительность кодера H’(B)=vк*H(B) должна быть меньше пропускной способности канала С, иначе неизбежны потери информации в канале. Максимальное значение энтропии двоичного кодера Hmax=H(B)=log2=1 бит. Если С уменьшается, то для избежания потерь информации можно уменьшать H(B) так, чтобы H’(B) оставалась все время меньше С. Если же H(B)<1, это означает, что кодовые символы не равновероятны и зависимы друг от друга, т.е. используется избыточный (помехоустойчивый) код. Избыточность этого кода вычисляется по формуле:

Теорема кодирования для канала с помехами - student2.ru . (11)

Итак, пропускная способность канала С определяет предельное значение производительности кодера H’(B): H’(B)<C. Отсюда находим предельное значение энтропии кодера:

Теорема кодирования для канала с помехами - student2.ru

По условию Vk=8*103 сим/с

В численном виде это выглядит так:

С/Vk1=1,558 бит/сим

С/Vk 2=1,496 бит/сим

С/Vk 3=1,434 бит/сим

С/Vk 4=1,372 бит/сим

С/Vk 5=1,31 бит/сим

С/Vk 6=1,248 бит/сим

С/Vk 7=1,187 бит/сим

С/Vk 8=1,125 бит/сим

С/Vk 9=1,064 бит/сим

С/Vk 10=1,003 бит/сим

В этих случаях энтропию Н(В) можно брать любой, вплоть до максимальной (Hmax=1 бит/сим).

С/Vk 11=0,943 бит/сим

Т.к. в 11-ом случае условие H’(B)<C не выполняется, то теорема Шеннона так же не выполняется. Для того чтобы избежать потерь информации, вводим избыточные символы.

Следующим шагом будет вычисление избыточности κ кода, по формуле (11):

κ=0,057

Чтобы было более наглядно, построим графики зависимостей с=f(Pc/Pш) и κ= f(Pc/Pш).

График зависимости с=f(Pc/Pш) :

Теорема кодирования для канала с помехами - student2.ru Теорема кодирования для канала с помехами - student2.ru Теорема кодирования для канала с помехами - student2.ru

График зависимости κ= f(Pc/Pш).

Теорема кодирования для канала с помехами - student2.ru Теорема кодирования для канала с помехами - student2.ru Теорема кодирования для канала с помехами - student2.ru

Заключение.

В результате проведённой работы, мы можем сделать вывод, что с уменьшением отношения сигнал/шум пропускная способность канала также уменьшается, что приводит к потери информации. Для того чтобы избежать возникновение ошибок, мы вводили избыточные символы. Избыточность этого кода κ=0,057.

Сделаем вывод, что в результате проведенного расчета поставленная задача была полностью решена.

Литература.

1. Зюко А.Г., Кловский Д.Д. и др. Теория передачи сигналов. -М.: Радио и Связь, 1986.

2. Кловский Д.Д., Шилкин В.А. Теория электрической связи. -М.: Радио и связь, 1990.

Наши рекомендации