Примітка: Знаходимо ентропію на елемент першої та другої підсистеми: , .

Розрахунково-графічна робота

з курсу «Теорія інформації»

Завдання 1

У алфавіті використовуються m букв: а) Скласти максимальну кількість повідомлень, комбінуючи по n букв у повідомленні, б) Яка кількість інформації припадає на один елемент таких повідомлень? в) Чому дорівнює кількість інформації на символ первинного алфавіту?

Варіант

m

n

Завдання 2

Як визначити кількість інформації у одному повідомленні, якщо відомо максимально можлива кількість повідомлень N? Як визначити кількість інформації, якщо відома кількість якісних ознак n, з яких складені повідомлення, відома кількість символів m у кожному повідомленні, а також відомо кількість повідомлень k.

Примітка:Якщо повідомлення рівно ймовірні , то кількість інформації у одному повідомленні Якщо відома кількість якісних ознак та довжина повідомлень, то кілкість інформації у одному повідомленні , а у повідомленнях маємо , де k – кількість повідомлень.

Варіант

N

m

k

Завдання 3

Алфавіт складається з символів: A, B, C, D... . Ймовірності появи літер вибрати самостійно. Визначити кількість інформації на символ повідомлення, що складається з такого алфавіту.

Варіант

m

Примітка: Кількість інформації на символ абетки дорівнює ентропії обраного алфавіту. Через те, що символи алфавіту нерівно вірогідні, ентропію дорівнює:

Завдання 4

Число символів алфавіту m. Визначити кількість інформації на символ повідомлення, що складається з цього алфавіту: - якщо символи зустрічаються з рівними ймовірностями, - якщо символи алфавіту зустрічаються у повідомленні з різноймовірнимо (ймовірності вибираються самостійно):

Варіант

m

Завдання 5

Чому дорівнює кількість інформації [в бітах] при отриманні 7 повідомлень рівномірного чотири розрядного трійкового (з основою 3) коду?

Примітка: пригадати та використати властивості логарифмів

Завдання 6

Повідомлення складені з рівноймовірного алфавіту, із змістом m якісних ознак. Чому дорівнює кількість символів n у прийнятому повідомленні, якщо відомо, що воно містить I бітів інформації. Чому дорівнює ентропія цього повідомлення.

Варіант

m

I

Примітка: ,

Завдання 7

Чому дорівнює ентропія системи, яка складається з взаємозалежних підсистем, якщо:

1) кожна підсистема складається з елементів, кожний з яких з рівною вірогідністю може знаходитися у станах;

2) підсистема складається з елементів, підсистема - з елементів і так далі, підсистема - з елементів, кожен з них може з рівною ймовірністю знаходитись у станах;

3) кожна підсистема складається з різної кількості елементів, які з різною ймовірністю можуть знаходитись в одному зі станів.

(числові значення кількості взаємозалежних систем вибираються самостійно, але не більше 4, кількість елементів не більше 10, кількість станів не більше 4, ймовірності задаються самостійно)

Примітка: Знайдемо ентропію однієї підсистеми: . Визначимо ентропію окремих підсистем:

. Загальна ентропія системи дорівнює:

Знайдемо ентропію на один елемент підсистеми:

Знайдемо ентропію окремих підсистем:

Тоді загальна ентропія дорівнює сумі ентропій окремих підсистем:

Завдання 8

Визначити ентропію системи, складеної з двох підсистем. Перша підсистема складена з m елементів, кожен з яких може знаходитися у двох станах з ймовірностями які вибираються самостійно. Друга підсистема складена з n елементів, кожен з яких може знаходитися у трьох станах з ймовірностями які також вибираються самостійно. Оберіть ймовірності підсистем так, щоб їх сума була рівні одиниці.

Примітка: Знаходимо ентропію на елемент першої та другої підсистеми: , .

Ентропія першої підсистеми

Ентропія другої підсистеми

Загальна ентропія

Завдання 9

Визначити ентропію повідомлень з m літер, якщо загальна кількість літер в алфавіті дорівнює n і всі повідомлення рівно ймовірні.

Варіант

m

n

Завдання 10

Визначити диференційну ентропію неперервного повідомлення, розподіленого за нормальним законом , якщо його середня потужність, в нормованих одиницях, дорівнює

Примітка:

Диференційна ентропія неперервного повідомлення:

Варіант

q

Завдання 11

Вимірювана величина змінюється в межах від до і розподілена за законом рівноймовірності. Знайти диференційну ентропію величини , якщо відомо кількість нормованих одиниць.

Примітка:

Варіант

b

Завдання 12

Джерело інформації генерує повідомлення з різноймовірних символів алфавіту , які розраховуються на основі ПІБ кожного студента. Обчислити ентропію джерела, його надмірність за умови взаємної незалежності символів і якщо відома кількість символів , а також його продуктивність де - час передачі інформації. Для студентів 1-10 в списку групи , для студентів 11-22 в списку групи - .

Примітка:

Спочатку необхідно розрахувати ймовірності появи символів у свому ПІБ:
Ентропія:

Надмірність джерела: , продуктивність джерела:

Завдання 13

На вході мережі, що передає сигнали, рівень потужності дорівнює , а на деякій відстані . Розрахувати послаблення сигналу у децибелах.

Варіант