Эффективное кодирование равновероятных символов сообщений

Эффективное кодирование используется в каналах без шума, т.е. в таких каналах, где помехи отсутствуют, либо ими можно пренебречь. Основной задачей кодирования в таком канале является обеспечение максимальной скорости передачи информации, близкой к пропускной способности канала передачи (§3.4).

В случае, если все символы алфавита кодируемого сообщения независимы и их появление равновероятно, построение оптимального эффективного кода не представляет трудностей. Действительно, пусть Н(х) — энтропия исходного сообщения. Будем считать, что символы сообщения (х_i) равновероятны и объем алфавита исходного источника сообщений равен m. Следовательно, вероятность появления любого i-го символа данного сообщения (P(х_i)) будет одинакова, т.е.

,i=1,.., m ,

а энтропия сообщения равна (Н(х)):

,

Если для кодирования используется числовой код по основанию k (объем алфавита элементов кодовых символов равен k), то энтропия элементов кодовых символов (Н₁), при условии, что элементы символов кода появляются равновероятно и взаимнонезависимо, определится из соотношения:

H₁ = log₂ k .

Тогда длина эффективного равномерного кода, т.е. число элементов в кодовом символе (l_эфф.), может быть найдена из соотношения:

, (2.4)

где m = k ⁿ.