Пропускная способность гауссова канала связи

Канал будем называть гауссовым, если он удовлетворяет следующим условиям: 1) полоса пропускания канала ограничена частотой , 2) шум в канале имеет нормальный (гауссов) закон распределения, 3) энергетический спектр шума равномерен в полосе пропускания канала и имеет значение, равное , 4) мощность сигнала фиксирована и равна , 5) сигнал и шум статистически независимы, 6) канал аддитивен, т. е. выходной сигнал .

Пропускная способность канала

Частная энтропия равна энтропии шума , поскольку из равенства следует, что значения и находятся во взаимно однозначном соответствии при фиксированном значении . Энтропия , которая получается в результате усреднения частной энтропии по всем значениям , также равна . Отсюда . Максимальное значение энтропии доставляет гауссов закон распределения случайной величины при заданном значении дисперсии . Дисперсия равна сумме дисперсий и , поскольку сигнал и шум статистически независимы. При этом случайная величина с необходимостью должна иметь гауссов закон распределения как разность случайных величин с гауссовыми законами распределения. Тогда значение пропускной способности будет равно значению взаимной информации , которая определяется выражением

[ бит/символ],

где называется отношением сигнал/шум.

Если отсчеты процесса на основании теоремы Котельникова выбрать с шагом , то за 1 секунду будет передано 2F отсчетов. Эти отсчеты в случае гауссова шума статистически независимы и поэтому пропускную способность канала можно определить следующим образом:

[бит/символ].

Заданного значения можно достигнуть как за счет увеличения (мощности передатчика при заданной мощности шума) так и за счет увеличения полосы пропускания канала . Однако, компенсировать возможное сокращение полосы пропускания канала за счет увеличения мощности передатчика, как правило, нецелесообразно, поскольку зависит от по логарифмическому закону, а от по линейному. Более эффективным является увеличение значения за счет увеличения . Однако, следует иметь в виду, что с увеличением полосы пропускания канала увеличивается и мощность шумов, попавших в канал, что приводит к снижению отношения сигнал/шум. Если шум в канале считать белым, то мощность шума и .

Пропускная способность сначала быстро растет с ростом , а затем асимптотически стремится к пределу [бит/символ].

Согласно второй теореме К.Шеннона надежная передача сообщений в принципе возможна при . Умножая неравенство на время передачи сообщения получим

,

то есть количество информации , которое надежно можно передать по каналу, должно быть меньше , где - энергия сигнала. В частности, для передачи 1 бита информации необходима энергия, равная .

Эпсилон - энтропия

Проблема передачи непрерывного сообщения заключается в получении его копии на приемном пункте и, в сущности, сводится к процедуре воспроизведения сообщения на основе полученной информации. Очевидно, в данном случае не существует способа, позволяющего получить точную копию передаваемого сообщения, поскольку это требует бесконечной точности его воспроизведения, причем неограниченное увеличение точности требует неограниченного увеличения количества передаваемой информации. Например, нельзя получить два абсолютно совпадающих графика. Поэтому о передаче непрерывного сообщения имеет смысл говорить только в том случае, когда задана точность его воспроизведения.

Передача непрерывного сообщения сводится к передаче последовательности его значений взятых в дискретные моменты времени. Все возможные значения функции в некоторый момент времени образуют множество .

Пусть случайная величина имеет равномерное на отрезке распределение. Тогда распределение дискретной случайной величины также будет равномерным, если все интервалы на которые разбит отрезок , имеют одну и ту же длину. При таком разбиении энтропии достигает своего максимального значения, равного , где - число элементов в множестве .

Количество взаимной информации между множествами и , определяемое равенством

,

равно энтропии , поскольку неопределенность , с которой значение случайной величины определяет значение случайной величины , равна нулю. Поэтому для воспроизведения значения случайной величины с точностью требуется количество информации, равное .

Пронумеруем все элементы множества числами от 1 до и запишем их в - ичной системе счисления. Минимальное количество разрядов , некоторое при этом потребуется, удовлетворяет неравенству:

.

Если величина окажется целым числом, то количество информации, необходимое для воспроизведения значения случайной величины с заданной точностью, непосредственно равно в - ичных единицах количеству символов (разрядов), передаваемых по каналу связи. Повышение точности требуют уменьшения длины интервала , а, следовательно, и увеличения количества передаваемой информации.

Более универсальной мерой точности воспроизведения по сравнению с является среднеквадратичная ошибка

которую при неравномерном распределении случайной величины можно минимизировать не только путем увеличения количества интервалов , но и путем изменения их длины. При этом энтропия также будет изменяться.

Таким образом, количество информации, которое требуется для воспроизведения значения случайной величины с заданной точностью (с заданной среднеквадратичной ошибкой), зависит от выбранной меры точности и от характера статистической зависимости между множествами и (от преобразования случайной величины в случайную величину ), в частности, от того, каким образом выбраны длины интервалов и их количество. Канал, устанавливающий связь между множествами и , описывается условной вероятностью и, в сущности, представляет собой устройство квантования.

Определим e - энтропию как минимальное по количество информации, необходимое для воспроизведения значения случайной величины с заданной точностью при заданном распределении источника:

Следует напомнить, что пропускная способность канала была определена как максимальное количество взаимной информации, но не по , а по распределению источника при заданной статистической связи между множествами и (при заданном распределении .

При квантовании непрерывной величины указанная e - энтропия равна энтропии . Поскольку , то передача информации в виде чисел, записанных в - ичной системе счисления и имеющих число разрядов, равное , не будет экономной. Поэтому целесообразно предварительно осуществить экономное кодирование сообщений, в роли которых должны выступать элементы множества .

Отметим, что e - энтропия также используется и в качестве количественной меры производительности источника непрерывных сообщений, при этом, очевидно, нельзя говорить о производительности источника не задав точность воспроизведения.

Таким образом, производительность источника можно определить как минимальное количество информации , необходимое в единицу времени для воспроизведения непрерывного сообщения c заданной точностью, где n - число отсчетов сообщения , передаваемых за единицу времени.

Кроме квантования существует много других способов преобразования непрерывной величины . В частности, множество может представлять собой результаты измерений величины . Пусть непрерывная величина с некоторой погрешностью h воспроизводит нормально распределенную случайную величину : . Тогда при заданной дисперсии погрешности (при заданной среднеквадратичной ошибке) e - энтропия нормальной величины равна [8]

,

где - дисперсия случайной величины .