Предмет теорії інформації та кодування

Теорія інформації- це розділ кібернетики, в якому за допомогою математичних методів вивчаються способи вимірювання кількості інформації, що міститься в будь-яких повідомленнях, способи кодування для економічного подання повідомлень і надійної передачі їх по каналах зв`язку з завадами.

Курс теорії інформації об`єднює такі теоретичні напрями:

-кількісна оцінка інформації

-кодування повідомлень,їх стиснення

-оцінка ефективності та завадостійкості передачі кодованих повідомлень.

Завдання теорії кодування- здобуття ефективних алгоритмів кодування для джерел повідомлень і передачі даних по каналах зв`язку.

Тема 2. Вимірювання інформації.

План

1. Основні підходи до вимірювання інформації, їх особливості.

2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.

3. Інформаційний обсяг повідомлення

4. Поняття про алгоритмічний підхід до вимірювання інформації.

Основні підходи до вимірювання інформації, їх особливості.

Поняття інформації настільки багатозначне, що дати йому строге і повне визначення неможливо. Ми будемо дотримуватися досить поширеної в науковому світі концепції, згідно з якою поняття інформації належить, як і поняття речовини (матерії) та енергії, до фундаментальних неозначуваних понять науки.

Отже, не існує загальноприйнятого визначення інформації.

У випадках, коли наука не може дати чіткого визначення певному об’єкту (явищу), доводиться користуватися поняттям. Поняття відрізняються від визначень тим, що різні люди за різних обставин можуть вкладати в них різний зміст.

В різних галузях науки та техніки існують різні тлумачення поняття інформації.

У відповідності до них існують і різні підходи до вимірювання (оцінювання) інформації.

Їх можна стисло охарактеризувати за допомогою таблиці 1.

При побутовому тлумаченні інформації використовується змістовний підхід до її оцінювання.

Кількість інформації, що міститься у повідомленні, визначається обсягом знань, який несе це повідомлення адресату (людині, що одержує інформацію). Повідомлення містить інформацію для адресата (одержувача інформації) тільки в тому випадку, якщо відомості, які містяться в цьому повідомленні, є для одержувача інформації новими і зрозумілими. В цьому випадку вони поповнюють знання людини, яка одержала повідомлення.

Таблиця 1

Підхід до
	тлумачення інформації	вимірювання інформації
У побуті	Різноманітні відомості, повідомлення, їх невизначеність	Новизну виміряти кількісно неможливо
У техніці	Повідомлення, що подаються у формі знаків та сигналів.	Інформаційний обсяг повідомлення, що залежить від кількості символів в ньому.
У теорії зв’язку (статистичній теорії інформації)	Зняття невизначеності (Р.Хартлі, К.Шенон)	Кількість інформації залежить від імовірності одержання повідомлення
В алгоритмічній теорії інформації	Алгоритмічна складність деякої послідовності даних (А.М.Колмогоров)	Мінімальна довжина обчислювального алгоритму, який міг би відтворити інформацію (задану послідовність даних).

При змістовному підході є можливою якісна оцінка інформації. Семантичній інформації притаманні такі якості, як об’єктивність, корисність і зрозумілість. Об’єктивність інформації полягає в тому, що вона є відображенням зовнішнього світу, який існує незалежно від нашої свідомості, думок та суджень про нього.

Інформація є повною, якщо її достатньо для розуміння ситуації та прийняття рішення .Корисність інформації залежить від потреб конкретних людей та від тих задач, які за допомогою отриманої інформації можна розв’язати. Інформацію вважають зрозумілою, якщо в процесі її сприймання людиною, на яку розрахована ця інформація, не виникає додаткових запитань, потреби у додаткових повідомленнях.

Недоліком змістовної (семантичної) інформації є відсутність формального апарату, придатного для її об’єктивної оцінки. Одну і ту ж змістовну інформацію різні люди можуть оцінювати по-різному.

У ХХ столітті започатковано спроби побудувати формальну теорію оцінювання змістовної (семантичної) інформації.

У 1953р. американські вчені Н.Бар-Хіллел та Р.Карнак створили теорію, яка досліджує прості висловлювання деякої формалізованої мови. Кількість семантичної інформації простого висловлювання оцінюється функцією логічної ймовірності. Ця теорія має незначну практичну придатність.

Другий підхід до оцінки семантичної інформації здійснено російським вченим Ю.А.Шрейдером. В її основі лежить поняття тезаурусу – множини змістовиражаючих елементів і змістовних відношень між ними [5, C.12-14].Концепція Юрія Шрейдера передбачає один з можливих перспективних шляхів до розв’язання проблеми оцінювання семантичної інформації.

2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.

В комп’ютерних системах широко використовується технічний (зовнішній) підхід до оцінювання інформації.

В його основі лежить тлумачення інформації як будь-якої послідовності знаків (символів), що зберігається, опрацьовується чи передається. Отже, носієм інформації вважається будь-яка скінчена послідовність знаків (символів) – слово. Кожний новий символ (знак) збільшує кількість інформації в слові (безвідносно до змісту), яке подано над вибраним алфавітом. Для вимірювання інформації треба вибрати відповідний еталон, подібно до того, як при вимірюванні довжини вибрали метр, а при вимірюванні ваги — кілограм. Еталоном для підрахунку інформації, поданої скінченою послідовністю символів, логічно вважати слово мінімальної довжини, яке складається з одного символу (букви). Оскільки мінімальним алфавітом, над яким можна будувати різні слова, двохбуквений, то будь-яку букву алфавіту {0,1} логічно вважати еталонною одиницею вимірювання інформації. Величину. здатну набувати лише двох значень (0 та 1) називають бітом (від англійського binary digit – двійковий знак).