Ентропія по шульцу та мідлтону

Г. Шульц [355] намагався узагальнити шенонівську ентропію і тим самим створити поняття оціночної ентропії. Він видозмінив ентропію як середнє значення об’єму інформації ентропія по шульцу та мідлтону - student2.ru окремих станів, щоб її можна було б використовувати не тільки для передачі, але й для оцінки значимості інформації. Г. Шульц встановив оціночну шкалу, по якій найбільш «несприятливому» стану надавалось найнижче значення, а найбільш сприятливому стану – найвище. Для зручності користування значення шкали вибиралися кратними степеню числа 2.

ентропія по шульцу та мідлтону - student2.ru , ентропія по шульцу та мідлтону - student2.ru , ентропія по шульцу та мідлтону - student2.ru ,..., ентропія по шульцу та мідлтону - student2.ru .

З цих значень утворювалися оціночні коефіцієнти

від ентропія по шульцу та мідлтону - student2.ru до ентропія по шульцу та мідлтону - student2.ru .

Вони еквівалентні послідовності частот ентропія по шульцу та мідлтону - student2.ru .

Для забезпечення додаткової умови, яка вимагає, щоб при однаковій семантичній оцінці всіх станів ДІ утворювалась шенонівська оцінка ентропії, використовується формула:

ентропія по шульцу та мідлтону - student2.ru .

Легко помітити, що функція ентропія по шульцу та мідлтону - student2.ru симетрична відносно змінних ентропія по шульцу та мідлтону - student2.ru і ентропія по шульцу та мідлтону - student2.ru . Для ентропія по шульцу та мідлтону - student2.ru вона приймає вигляд:

ентропія по шульцу та мідлтону - student2.ru ,

а для ентропія по шульцу та мідлтону - student2.ru має місце граничний випадок:

ентропія по шульцу та мідлтону - student2.ru ,

де ентропія по шульцу та мідлтону - student2.ru – кількість можливих станів ДІ, що співпадає з оцінкою Хартлі. Функцію ентропія по шульцу та мідлтону - student2.ru можна виразити через абсолютні значення ентропія по шульцу та мідлтону - student2.ru і абсолютні частоти ентропія по шульцу та мідлтону - student2.ru

ентропія по шульцу та мідлтону - student2.ru

При цьому вираз:

ентропія по шульцу та мідлтону - student2.ru

формально відповідає шеннонівській ентропії:

ентропія по шульцу та мідлтону - student2.ru .

Необхідно відмітити, що в виборі оціночних коефіцієнтів ентропія по шульцу та мідлтону - student2.ru існує певна довільність, яка вносить експертну суб’єктивність в дану оцінку ентропії ДІ.

Для дискретного ергодичного ДІ, в якого кореляційні зв’язки існують тільки між двома сусідніми значеннями послідовності ентропія по шульцу та мідлтону - student2.ru ентропія визначається виразом:

ентропія по шульцу та мідлтону - student2.ru

або

ентропія по шульцу та мідлтону - student2.ru ,

де ентропія по шульцу та мідлтону - student2.ru – умовна імовірність появи значення ентропія по шульцу та мідлтону - student2.ru при умові, що попереднім було значення ентропія по шульцу та мідлтону - student2.ru ;

ентропія по шульцу та мідлтону - student2.ru – сумісна імовірність появи пари символів ентропія по шульцу та мідлтону - student2.ru .

В загальному випадку ентропія ергодичних ДІ визначається виразом:

ентропія по шульцу та мідлтону - student2.ru ,

де ентропія по шульцу та мідлтону - student2.ru – імовірність послідовності станів ентропія по шульцу та мідлтону - student2.ru ; ентропія по шульцу та мідлтону - student2.ru – загальна кількість станів джерела; ентропія по шульцу та мідлтону - student2.ru – умовна імовірність появи ентропія по шульцу та мідлтону - student2.ru -го стану при умові, що попередніми були ентропія по шульцу та мідлтону - student2.ru стани, при чому ентропія по шульцу та мідлтону - student2.ru -ий передував ентропія по шульцу та мідлтону - student2.ru -му, а ентропія по шульцу та мідлтону - student2.ru – найбільш віддалений стан, який має кореляційний зв’язок з ентропія по шульцу та мідлтону - student2.ru -м.

Для джерел з незалежними, але нерівноймовірними станами Б.Олівером [56] отримана оцінка загальної кількості можливих комбінацій станів:

ентропія по шульцу та мідлтону - student2.ru

або в логарифмічному вигляді:

ентропія по шульцу та мідлтону - student2.ru ,

яке на основі наближення Стірлінга

ентропія по шульцу та мідлтону - student2.ru

зводиться до виразу:

ентропія по шульцу та мідлтону - student2.ru ,

що співпадає з шенонівським визначенням ентропії.

Д. Мідлтон [153] також досліджував дискретні ДІ, які формують послідовність символів довільної довжини, розподілених в визначеному порядку в часі. Для реалізації дискретної випадкової послідовності ентропія по шульцу та мідлтону - student2.ru , кожен із символів ентропія по шульцу та мідлтону - student2.ru якої може приймати одне з ентропія по шульцу та мідлтону - student2.ru різних значень ( ентропія по шульцу та мідлтону - student2.ru ентропія по шульцу та мідлтону - student2.ru ), отримано вираз для апріорної невизначеності ентропія по шульцу та мідлтону - student2.ru

ентропія по шульцу та мідлтону - student2.ru ,

де додавання проводиться по всім можливим значенням кожного з символів ентропія по шульцу та мідлтону - student2.ru послідовності.

Для ДІ з статистично залежними станами Д. Мідлтон визначив вираз середньої умовної ентропії

ентропія по шульцу та мідлтону - student2.ru ,

де ентропія по шульцу та мідлтону - student2.ru , ентропія по шульцу та мідлтону - student2.ru – статистично залежні стани ДІ. З останнього виразу випливає, що для розрахунку ентропії таких ДІ необхідно знати сумісні щільності ймовірностей різного порядку ентропія по шульцу та мідлтону - student2.ru ентропія по шульцу та мідлтону - student2.ru ..., ентропія по шульцу та мідлтону - student2.ru .

При вивченні статистичних моделей показано, що на практиці ДІ не є настільки статистично складними, щоб їх описувати багатомірними розподілами.

Зокрема, для повного опису ергодичних стаціонарних ДІ достатньо знати двомірні розподіли і відповідно статистично середні. Природно, що ентропія і швидкість створення повідомлень такими джерелами, за рахунок кореляційних зв’язків між різними послідовностями символів і нерівномірності розподілу імовірності символів, виявляються меншими в порівнянні з оцінкою інформаційної міри Хартлі (2.30).

5. Ентропія по Николайчуку. Інші методи визначення ентропії.

Складність обчислення багатовимірних розподілів суттєво обмежує можливості використання шенонівських оцінок ентропії для ДІ з незалежними та статистично залежними станами при інженерному розрахунку їх властивостей, особливо, якщо дослідження інформаційних параметрів конкретних джерел ведуться комп’ютерною системою в реальному масштабі часу. Тому реалізація безпосереднього зв’язку кореляційна функція з розподілами ймовірностей станів і ентропією ДІ є досить перспективною. Такий зв’язок легко встановлюється для неперервних джерел [228].

ентропія по шульцу та мідлтону - student2.ru , (2.32)

де: ентропія по шульцу та мідлтону - student2.ru – диференціальна ентропія;

ентропія по шульцу та мідлтону - student2.ru – умовна диференціальна ентропія повідомлення ентропія по шульцу та мідлтону - student2.ru ;

ентропія по шульцу та мідлтону - student2.ru – щільність сумісного розподілу ентропія по шульцу та мідлтону - student2.ru і ентропія по шульцу та мідлтону - student2.ru ;

ентропія по шульцу та мідлтону - student2.ru – щільність розподілу ентропія по шульцу та мідлтону - student2.ru ;

ентропія по шульцу та мідлтону - student2.ru – умовна щільність розподілу ентропія по шульцу та мідлтону - student2.ru відносно ентропія по шульцу та мідлтону - student2.ru .

Багаторазовими дослідженнями [45, 200] реальних об’єктів управління і джерел інформації показано, що стохастичні параметри технологічних процесів на локальних проміжках часу досить точно описуються моделлю гаусового закону розподілу ймовірностей.

Оцінка ентропії джерел з корельованими станами, які мають гаусовий закон розподілу, визначається за виразом [116, 180]:

ентропія по шульцу та мідлтону - student2.ru .

Чисельний розрахунок ентропії дискретного ДІ з нерівноймовірними корельованими станами здійснюється у відповідності з виразом:

ентропія по шульцу та мідлтону - student2.ru , (2.33)

де перший елемент є константою інформаційної міри, що пов’язана з типом закону розподілу випадкової величини, другий елемент визначає дисперсію випадкових станів ДІ:

ентропія по шульцу та мідлтону - student2.ru ,

а третій елемент характеризує взаємну ентропію корельованих нерівноймовірних станів ДІ за допомогою квадрату нормованої функції автокореляції:

ентропія по шульцу та мідлтону - student2.ru . (2.34)

Розрахунок ентропії ДІ на основі оцінки нормованої автокореляційної функції ентропія по шульцу та мідлтону - student2.ru є незручним при обчисленні в зв’язку з необхідністю центрування послідовності ентропія по шульцу та мідлтону - student2.ru згідно з (2.34). Для оцінки ентропії ДІ за допомогою структурної функції (2.7) приведемо вираз (3.32) до вигляду:

ентропія по шульцу та мідлтону - student2.ru , (2.35)

де ентропія по шульцу та мідлтону - student2.ru .

Кореляційна функція для стаціонарних процесів легко виражається через коваріаційну функцію ентропія по шульцу та мідлтону - student2.ru (2.11), яка значно простіша в обчисленні через відсутність центрування.

Відповідно, визначення ентропії зручніше здійснювати через автоковаріаційну функцію згідно наступного виразу:

ентропія по шульцу та мідлтону - student2.ru

Аналітичний зв’язок між структурною і автокореляційною функціями визначається з (2.11). Підставимо, виражене через ентропія по шульцу та мідлтону - student2.ru значення ентропія по шульцу та мідлтону - student2.ru , і отримаємо оцінку:

ентропія по шульцу та мідлтону - student2.ru . (2.36)

Якщо оцінити середнє, отримаємо робочу формулу міри ентропії

ентропія по шульцу та мідлтону - student2.ru

або

ентропія по шульцу та мідлтону - student2.ru , (2.37)

де ентропія по шульцу та мідлтону - student2.ru – інтервал усереднення.

Простіше, порівняно з структурною функцією, обчислюється модульна функція автокореляції ентропія по шульцу та мідлтону - student2.ru , яка в випадку гаусових процесів має статистичний зв’язок з функцією кореляції (2.12), звідки

ентропія по шульцу та мідлтону - student2.ru ,

де ентропія по шульцу та мідлтону - student2.ru – нормована модульна функція автокореляції.

Тоді отримаємо оцінку ентропії у вигляді:

ентропія по шульцу та мідлтону - student2.ru , (2.38)

яка може бути ефективно використана на практиці в задачах ідентифікації джерел інформації.

Модульна функція має простий аналітичний зв'язок з функцією еквівалентності (2.11), на основі якого, з (2.38) отримаємо оцінку ентропії, виражену через функцію еквівалентності ентропія по шульцу та мідлтону - student2.ru :

ентропія по шульцу та мідлтону - student2.ru . (2.39)

Аналогічні оцінки можна отримати, якщо використати статистичні зв'язки нормованої кореляційної функції із знаковою ентропія по шульцу та мідлтону - student2.ru та полярною ентропія по шульцу та мідлтону - student2.ru кореляційними функціями (2.12).

Відповідно оцінки ентропії будуть мати вигляд:

ентропія по шульцу та мідлтону - student2.ru ; (2.40)

ентропія по шульцу та мідлтону - student2.ru . (2.41)

Ентропійна модель, виражена через ентропія по шульцу та мідлтону - student2.ru , обчислюється з більшою швидкодією, завдяки простішій реалізації функції “менше з двох” ніж операцій множення, віднімання, піднесення до квадрату. Ентропійну модель на основі ентропія по шульцу та мідлтону - student2.ru доцільно використовувати для обробки даних ДІ, які формують цифрові сигнали із значеннями +1 і –1.

Аналіз функції ентропія по шульцу та мідлтону - student2.ru та оцінок ентропія по шульцу та мідлтону - student2.ru різних дискретних ДІ показує, що при заданому діапазоні квантування станів максимальною ентропією характеризуються дискретні послідовності максимальної довжини.

Це добре узгоджується з логічними уявленнями про інформаційну ємність дискретних послідовностей і властивостями сигнальних моделей ДІ, що дає можливість достатньо ефективно використовувати при інженерних розрахунках введені міри (2.37) – (2.41).

Реалізуючи обчислення оцінки ентропія по шульцу та мідлтону - student2.ru на ковзному інтервалі можна алгоритмічно просто здійснити ідентифікацію інформаційних станів технологічних об’єктів контролю та управління в реальному масштабі часу.

Даний клас моделей, по відношенню до кореляційних, здійснюють інтегральну оцінку імовірності переходів між станами і завдяки представленню в логарифмічному просторі забезпечують менші об’єми даних.

Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.

План

1. Продуктивність дискретного джерела та швидкість передачі інформації.

2. Ентропія та її властивості.

3. Безумовна ентропія.

4. Умовна ентропія.

5. Ентропія об’єднання двох джерел.

Наши рекомендации