Інформаційні втрати при кодуванні неперервних
Джерел.
Стосовно неперервного джерела на відміну від дискретного можна говорити про нескінченний алфавіт повідомлень, кожне з яких відрізняється від сусідніх на нескінченно малу величину, та нескінченний ансамбль повідомлень. Однак у цьому разі замість імовірностей окремих повідомлень з алфавіту прийнято говорити про диференціальний закон розподілу ймовірностей ω(х) випадкової величини х. Інакше ω (х) називається функцією розподілу густини ймовірностей неперервного повідомлення. При цьому кількість інформації, наявна в прийнятому неперервному повідомленні, як і раніше визначається різницею значень ентропії (невизначеності) джерела повідомлень до та після одержання повідомлення.
Нехай густина імовірності ω(х) має вигляд, показаний на рис. 1. Проквантуємо за рівнем випадкову величину х із дискретною ∆х. Імовірність того, що хn ≤ х ≤ хп+1, становить р(хi)= ω(хi) ∆х, тобто визначається площею Si, прямокутника:
Рис. 1 Розподіл густини імовірності ω(х)
Координату точки хi визначає теорема про середнє. При цьому має виконуватися умова нормування
Ентропія такого штучно утвореного дискретного джерела визначається так:
Друга складова в (4.5) прямує до нескінченності. Отже, ентропія Н(х) неперервного джерела має дорівнювати нескінченності, тобто точне подання випадкового відліку неперервного джерела (одного його повідомлення) потребує нескінченної кількості, скажімо, двійкових розрядів, тому що несе нескінченну кількість інформації. Проте в реальних умовах відлік неперервних повідомлень на приймальному боці виконують у дискретних точках хп , хп+1, ... . Це зумовлено скінченною точністю та роздільною здатністю технічних засобів (здатністю їх розрізняти хп і хп+1 при ∆х → 0). За цих обставин величина ∆х є малою, але має скінченне значення.
Таким чином, вираз (4.5) ентропії неперервного джерела має дві складові, одна із яких визначається законом неперервного розподілу ймовірностей, а інша допустимою точністю (похибкою) ∆х кодування неперервного джерела.
Перша складова
називається диференціальною ентропією, що залежить від статистичних властивостей неперервного джерела. Якщо пронормувати х, щоб зробити цю величину безрозмірною, то можна визначити h(х) у двійкових одиницях (при цьому основа логарифма має дорівнювати двом).
Друга складова зовсім не залежить від статистики джерела, а визначається лише дискретністю квантування ∆х неперервного повідомлення.
Можливий стан джерела повідомлень до одержання повідомлення у на виході каналу визначається розподілом ω(х), а після одержання відліку з неперервного ансамблю у на виході неперервним законом розподілу умовної імовірності ω(х/y), за яким можна знайти умовну ймовірність, користуючись поняттям елементарної площини ∆х ∆у та роблячи, як і раніше, граничний перехід ∆х → 0, ∆у → 0. Як і в (4.5), загальна умовна ентропія Н(х/у) дорівнює нескінченності, але кількість інформації в цьому відліку, як і раніше, дорівнює різниці безумовної та умовної ентропії джерела відносно виходу каналу.