Скорость передачи информации и
Пропускная способность канала связи
Ввиду того, что канал связи считается стационарным, на вход канала поступает последовательность символов , где каждый символ
, образует n-разрядный код. Количество комбинаций, которое можно образовать с использованием кода с основанием D, равно
. Множество этих комбинаций образует пространство значений кодовых комбинаций
. Символы при ансамбле Y обозначают моменты времени реализации величины
. Например, для двумерного ансамбля c основанием кода, равным D=3, имеем
.
На выходе канала имеем последовательность символов , где каждый символ
. Точно так же можно образовать множество кодовых комбинаций, составляющих пространство
.
Последовательность символов поступает в канал в течение
.
Количество информации, которое передается по каналу связи, за время наблюдения согласно (1.18) равно
. (4.2)
Скоростью передачи информации по каналу связи называется величина
. (4.3)
Скорость передачи информации R отражает среднюю скорость передачи информации в единицу времени.
Максимальная скорость передачи информации называется пропускной способностью канала связи
. (4.4)
Рассмотрим в выражении (1.18) разность . Чем больше энтропия
, тем больше пропускная способность канала связи. Величина
определяет среднюю неопределённость, содержащуюся в ансамбле Y, которая зависит от распределения вероятности элементов ансамбля Y. Поэтому максимизация скорости передачи информации происходит по распределению вероятности элементов ансамбля Y.
Упростим выражение (4.2).
. В силу того, что канал - стационарный и реализации элементов ансамблей
и
в моменты времени
и
независимы. Тогда
.
Но ансамбли за время передачи информации неизменны, т.е.
. Тогда имеем
(4.5)
Условная энтропия в (4.2) представляется как
=
=
= .
Воспользуемся условием независимости символов попарно на входе и выходе канала связи, а также стационарностью канала. Тогда соответствующие вероятности и условная энтропия будут равны
=
,
=
,
=
=
= =
. (4.6)
Если отсчёты во времени эквидистантны, то , где
- интервал дискретизации по времени. Подставив (4.5), (4.6) и
в (4.4), получим
. (4.7)
Введём скорость передачи символов
.
Тогда пропускную способность можно записать как
(4.8)
В таблице 4.1 представлены характеристики источника сообщений, кодера источника и канала связи.
Таблица 4.1 | ||
![]() | ||
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() |
Канал без шумов
Шум в канале связи искажает физические параметры сигнала, что в свою очередь приводит к искажению символов. Вероятностная характеристика искажений – это условная вероятность . Будем считать, сигнал в канале не искажается, если
. Тогда для канала без шумов справедливо выражение
(4.9)
Из выражения (**.9) следует, , т.е. пропускная способность канала связи равна
=
(4.10)
Если используется код с основанием D ,то энтропия ансамбля достигает наибольшего значения при
. Тогда пропускная способность канала равна
. (4.11)
Теорема Шеннона о кодирование источника независимых сообщений для канала без шумов. (Шеннон, стр. 270)
Пусть источник имеет энтропию , а канал имеет пропускную способность
. Тогда можно закодировать сообщения таким образом, что можно передавать их со средней скоростью
, где
.
Передавать сообщения со скоростью большей, чем , невозможно.
Доказательство. Будем считать источник сообщений согласованным с каналом по скорости передачи информации, если . Тогда
. (4.12)
Энтропия не превышает
. Запишем
=
,. (4.13)
где .
Подстановка (4.13) в (4.12) позволяет получить
, (4.14)
где .
Если принять , то
, т.е. не имеет смысла передавать сообщения.
Канал с шумами
Наличие шума в канале связи приводит к тому, что условная энтропия не равна нулю. Условную энтропию
Шеннон назвал ненадёжностью канала, так как она зависит от шума в канале связи. В результате возникает вопрос, существует ли метод кодирования, позволяющий передавать информацию с определённой скоростью
. На это вопрос отвечает теорема Шеннона (Шеннон стр.280).
Пусть дискретный канал обладает пропускной способностью , а дискретный источник – энтропией
. Если
<
, то существует такая система кодирования, что сообщения источника могут быть переданы по каналу с произвольно малой частотой ошибок, (или со сколь угодно малой энтропией
). Если
>
, то можно закодировать источник таким образом, что ненадёжность
канала будет меньше, чем
, где
сколь угодно мало. Не существует способа кодирования, обеспечивающего ненадёжность, меньшую, чем
.
Нет доказательства
Пример 4.1. Определим пропускную способность двоичного симметричного канала связи. Модель двоичного симметричного канала показан на рисунке 4.4.
В канал связи поступают символы 1 и 0, отображающие реальные физические сигналы.
1) Канал симметричный. Вероятности искажения символов равны , вероятности неискажённого приема символов равны
.
2) Канал стационарный, так как условные вероятности не зависят от времени.
Пропускную способность вычислим по формуле (4.8). Энтропию определим из условия
при отсутствии шума. Энтропия
принимает максимальное значение, равное 1, при
. Условная энтропия равна
Подставляя полученные величины в (4.8), получим
.
Как видно из формулы, пропускная способность зависит скорости поступления символов в канал и от вероятности искажения символов.
Положим, задан ансамбль сообщений X с распределением вероятностей P , (Таблица 4.2) . Сообщения генерируются со скоростью .Способ кодирования определён и каждому сообщению приписан двоичный код. Энтропия ансамбля сообщений X равна
,
Таблица 4.2 | |||
X | P | код | |
![]() | 0.6 | ||
![]() | 0.2 | ||
![]() | 0.1 | ||
![]() | 0.07 | ||
![]() | 0.03 | ||
вероятности реализации символов «1» и «0» равны
,
энтропия ансамбля символов Y равна
,
средняя длина кода равна .
Положим, в канале действует такой шум, что вероятность ошибочного перехода равна . Сможет ли канал обеспечить передачу сообщений ?
1)
2) Будем считать . Тогда
= 204.826
.
3) Будем считать . Тогда
и пропускная способность канала равна
=
= = 108.764
Как видно, пропускная способность канала значительно ниже скорости генерации информации источником и часть информации может быть утеряна. В этом случае можно уменьшить скорость генерации сообщений или уменьшить вероятность ошибок
. Положим, каким-то образом удалось уменьшить вероятности ошибок до величины
0.01. Тогда пропускная способность канала увеличится до величины
. При таком соотношении скорости поступления информации
в канал и пропускной способности канала искажения информации в канале из-за величин
и
не будет.
Непрерывный канал связи
Как и прежде, сигналы поступают в канал в дискретные моменты времени, но значения сигналов принимают непрерывные значения из некоторого множества. Примером такого канала является передача амплитудно-модулированных, фазомодулированных или частотно-модулированных сигналов. Сами сигналы могут быть как детерминированными, так и являться случайными процессами. Сигнал и шум взаимно независимы и в канале связи складываются алгебраически, т.е сигнал и шум аддитивны
, (4.15)
где - шум в канале с известной плотностью вероятности
,
- непрерывный по множеству значений сигнал, поступающий в канал связи. Плотность распределения вероятности
значений сигнала может быть произвольной
Чтобы упростить записи, в дальнейшем будем писать
, (4.16)
помня, что - непрерывные величины, а их реализациями являются
. Запишем равенство (4.16) через реализации
(4.17)
Условная плотность распределения при фиксированном значении
должна удовлетворять соотношению
. (4.18)
Используя (**.17), получим условную плотность распределения
(4.19)
Пропускная способность непрерывного канала связи определяется подобным образом, что и для дискретного канала, но максимизация пропускной способности производится по всем возможным распределениям :
, (4.20)
где - время, затраченное на передачу одного значения
,
- скорость передачи сигналов в канале - количество значений
, переданных по каналу в единицу времени.
Определим условную энтропию :
(4.21)
Из (4.21) видно, что условная энтропия зависит от плотности распределения вероятности шума.
Пример 4.3. Вычислим энтропию случайной величины , подчиненной нормальному закону с математическим ожиданием, равным m, и дисперсией, равной
.
=
Сделаем замену переменных .
.
Как видно, энтропия не зависит от математического ожидания m.
Пусть - энтропия случайной величины
с математическим ожиданием, равным нулю, и дисперсией, равной
. Энтропия случайной величины
не превышает энтропии нормального закона распределения вероятности
,(4.22)
где знак равенства имеет место тогда и только тогда, когда случайная величина распределена по нормальному закону.
Положим, - произвольная плотность распределения вероятности случайной величины
. Случайная величина подвергается преобразованию
.
Определим математическое ожидание случайной величины
=
. (4.23)
Рассмотрим разность . Правая часть этой разности есть
. Поэтому
.
Знак равенства будет только тогда, когда справедливо равенство
или
.
Таким образом, энтропия достигает максимального значения при нормальном законе распределения вероятности. При этом накладываются условия:
- дисперсия случайной величины ограничена,
- область определения плотности распределения вероятности – ( ).
При рассмотрении пропускной способности канала связи никаких ограничений на вид распределения вероятности шума не накладывалось. В частном случае, наиболее употребляемом на практике, предполагается, что шум - нормальный белый. Это означает, что значения шума распределены по нормальному закону и они не коррелированны. При таких предположениях имеет место теорема Шеннона (Фано, стр. 176)
Если в непрерывном постоянном канале с дискретным временем аддитивный шум имеет гауссовское распределение с нулевым средним и дисперсией, равной , а мощность сигнала на входе не может превышать определенной величины
, то пропускная способность этого канала на событие определяется формулой
.(4.24)
Знак равенства достигается лишь тогда, когда сигнал на входе канала - гауссовский с нулевым средним и дисперсией, равной .
Как известно, пропускная способность канала имеет вид
.
Определим . Из соотношений (4.15) - (4.18) следует,
. В силу независимости сигнала и шума
.
По определению
.
Подставим вместо условной плотности плотность распределения шума и, учитывая, что шум распределён по нормальному закону, получим
. (4.25)
Используя общее определение пропускной способности канала (4..20)
. (4.25)
Если сигнал на входе канала распределен по нормальному закону, то и сумма (4.16) также распределена по нормальному закону, что является необходимым условием максимального значения энтропии . В этом случае пропускная способность достигает максимального значения (знак равенства в (4.24)).