Інформаційний обсяг повідомлення
Порівнюючи скінченну послідовність символів (текст) з еталоном, можна встановити обсяг інформації.
Інформаційний обсяг повідомлення визначається за формулою
Vi=K*L (1.1)
де К – кількість символів у повідомленні, а L – кількість бітів в одному символі (інформаційна вага одного символа).
Якщо, наприклад, повідомлення складається із 367 символів, а інформаційна вага кожного символа 4 біти, то
Vi=367*4=1468 (біт).
Цей спосіб придатний лише для оцінювання синтаксичної інформації, де не враховується її зміст.
До інформативності повідомлення дана величина може не мати жодного відношення, тому використовувати при технічному способі оцінки інформації термін „кількість інформації” некоректно. Доцільно говорити про (потенційний) інформаційний обсяг повідомлення, його інформаційну довжину, а не про кількість інформації.
Технічний спосіб оцінювання інформації широко використовується для оцінювання внутрішньої та зовнішньої пам’яті комп’ютерів, інформаційної ємності комп’ютерних програм, характеристики пропускної здатності комп’ютерних мереж. При цьому використовуються похідні від біта, значно більші одиниці вимірювання інформації:
Байт (1 байт = 8 бітів)
Кілобайт (1 Кбайт = 210байт=1024 байт)
Мегабайт (1 Мбайт = 220байт = 1 048 576 байт)
Гігабайт (1 Гбайт = 230байт = 1 073 741 824 байт)
Терабайт (1 Тбайт = 240байт = 1 099 511 627 776 байт)
Петабайт (1 Пбайт = 250байт = 1 125 899 906 842 624 байт)
Екзабайт (1 Ебайт = 260байт = 1 152 921 504 606 846 978 байт)
Зетабайт (1 Збайт = 270байт = 1 180 591 620 717 411 303 424 байт)
Приклад1. Комп’ютерний алфавіт складається із 256 символів, кожний з яких подається двійковим словом у 8 біт. Отже, один символ має інформаційну вагу в 1 байт.
Приклад2. Книжка містить 620 сторінок. На кожній сторінці надруковано 64*48 символів. Який інформаційний обсяг цієї книжки?
Vi=64*48*620=1904640 байт = 1860 Кбайт = 1,816 Мбайт.
Приклад3. Скільки сторінок газети „Вільне життя” можна помістити на гнучкий магнітний диск (ГМД) обсягом 1,44 Мегабайт.
Кожна сторінка містить 68 рядків по 210 символів у рядку. Отже, інформаційний обсяг Vi однієї сторінки 210*68 = 14280 (байт)
14280 байт:1024=13,95 Кбайт
1,48 Мегабайт = 1024*1,44 байт = 1474,6 Кбайт.
1474,56: 13,95 = 10,57.
Відповідь: На даному диску можна помістити 10 сторінок тексту з газети „Вільне життя”.
Приклад 5. Файл – це найменша одиниця зберігання інформації, яка містить скінчену послідовність байтів і має унікальне ім’я. За ім’ям файлу комп’ютер визначає , де він знаходиться, яка інформація в ньому зберігається, в якому форматі вона записана і якими програмами її можна опрацювати. Обчислити інформаційний обсяг текстового файлу, що зберігає інформацію про книжку, яка містить 825 сторінок по 3528 символів на кожній сторінці. Відповідь подати в кілобайтах та мегабайтах.
1. 825*3 528 = 29 106 000 байт.
2. 29 106 000 байт : 1024 = 2 842,38 Кбайт.
3. 2 842,38 Кбайт : 1024 = 2,78 Мбайт.
Приклад 6. Мінімальним адресованим елементом жорсткого диску є кластер, розмір якого залежить від типу таблиці розташування файлів FAT і ємності жорсткого диску. Таблиця FAT16 дозволяє адресувати 216=65536 кластерів. Таблиця FAT32 логічно розбиває жорсткий диск на кластери, обсягом в 4 Кбайти.
Який інформаційний обсяг буде займати текстовий файл?
„Розуменко – студент фізико-математичного факультету ТНПУ”
а) на ЖМД формату 80 Мбайт з FAT16?
б) на ЖМД формату 80 Мбайт з FAT32?
а) Інформаційний обсяг даного тексту 1байт*54=54байт
(текст складається із 54 символів, включаючи пропуски).
Оскільки таблиця FAT16 дозволяє адресувати 65 536 кластерів, то на один кластер ЖМД обсягом у 80 Гбайт припадає
80*230/216 байт=80*24*210байт= 1280*210байт=1280Кбайт.
Отже, із1280 Кбайт одного кластера текстом буде заповнено лише 54 байти.
б) Текст буде записано у кластер обсягом у 4 Кбайти.
4. Поняття про алгоритмічний підхід до вимірювання інформації.
Видатний російський математик Андрій Миколайович Колмогоров запропонував у 1965 році алгоритмічний підхід до вимірювання інформації.
Замість того, щоб безпосередньо відтворювати послідовність нулів та одиниць, якою записано інформацію, Колмогоров запропонував записувати і передавати дані та вказівки (інструкції), керуючись якими одержувач відтворить інформацію. Колмогоров ввів поняття „алгоритмічної складності”. Алгоритмічна складність деякої інформації (послідовності даних) визначається ним як мінімальна довжина обчислювального алгоритму. який може відтворити задану інформацію.
При запропонованому Колмогоровим способі вимірювання інформації її кількість, що припадає на один символ (0 чи 1) заданої послідовності не перевищує одного біта. Рівною одному біту вона буде за умовою, що інформацію не вдалося попередньо стиснути (компресувати).
Алгоритмічний підхід до вимірювання інформації не дістав широкого практичного застосування. Це обумовлено тим, що практично визначити кількість інформації за способом Колмогорова дуже важко. Адже, цей спосіб передбачає вибір оптимального способу кодування, пошук оптимального алгоритму і визначення того, що необхідно попередньо повідомити одержувачу інформації для декодування переданої інформації.
Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
План
1. Кількісна міра інформації.
2. Ентропія та її властивості.
3. Безумовна ентропія.
4. Умовна ентропія.
5. Ентропія об’єднання двох джерел.