Моделі каналів передачі інформації. 1 страница

Вивчити за [1, гл. 3].

Додатково стосовно теми 1 рекомендується вивчити такі джерела:

[1, гл. 1…3] [8, р. 1]

Для повторення і закріплення матеріалу з теми 1 доцільно самостійно відповісти на такі контрольні питання

1. Інформація
2. Повідомлення
3. Сигнал
4. Структура систем ПІ; основні складові та їх роль.
5. Результат перетворення повідомлення неелектричної природи в електричний сигнал.
6. Як задається модель дискретного повідомлення без пам’яті?
7. Як задається модель дискретного повідомлення з пам’яттю?
8. Які ймовірності необхідно знати для опису джерела з пам’яттю?
9. Як задається модель безперервного повідомлення?
10. Що являється показником достовірності прийому дискретного повідомлення?
11. Що являється показником якості прийому безперервного повідомлення?
12. Як задається модель дискретного джерела з пам’яттю?
13. Як задається модель дискретного джерела без пам’яті?

14. .Що собою являє та який має вигляд безперервний випадковий сигнал?

1. Пояснити, що таке дискретизований сигнал
2. Пояснити, що таке дискретний сигнал
3. Що собою являє та який має вигляд квантований випадковий сигнал?
4. Що собою являє та який має вигляд цифровий сигнал сигнал?
5. Поясніть суть теореми Котельнікова.
6. Сформулювати теорему Котельникова стосовно випадкових сигналів
7. У чому полягають труднощі застосування теореми Котельникова по відношенню до реальних сигналів?
8. Що треба здійснити перед дискретизацією для того, щоб реальний сигнал можна було перетворювати у відповідності до теореми Котельнікова?
9. Поясніть процедуру відновлення безперервного процесу на основі його дискретних відліків.
10. Як оцінити середній квадрат помилки дискретизації?
11. Як знайти середній квадрат помилки, що виникає із-за обмеження спектру на вході АЦП?
12. Квантування сигналів.
13. Поясніть появу шуму при квантуванні.
14. Як оцінити середній квадрат помилки квантування?
15. Що таке норма сигналу?
16. Визначити норму сигналу, заданого відліками S = 1,3,4,5
17. Визначити метрику для випадку:

S₁ = 0,1,4,5,

S₂ = 1,2,2,1.

1. Що таке метрика?
2. Як визначити метрику сигналу для N-мірного лінійного простору?
3. На що вказує величина косинусу кута між векторами сигналів?
4. Як визначити метрику сигналу для функціонального простору?
5. Що таке АКФ?
6. Що таке коефіцієнт взаємної кореляції?

38. Що таке інтервал автокореляції.?

39. Що таке дисперсія?

1. Що характеризує безперервне повідомлення як функцію часу?
2. Що таке білий гаусівський шум
3. Відобразити автокореляційну функцію БГШ
4. Відобразити частотний спектр БГШ

44. Відобразити одномірну щільність розподілу ймовірності миттєвих значений БГШ.

45. Відобразіть рівномірну одномірну щільність розподілу ймовірностей миттєвих значень випадкового процесу.

46. Пояснити смисл теореми Вінера-Хінчина.

1. Що таке об’єм сигналу?
2. Що таке база сигналу?
3. Що таке складний сигнал?
4. Що таке простий сигнал?
5. Яким чином може бути сформований складний сигнал?
6. Що таке вузькосмуговий сигнал?
7. Що таке шорокосмуговий сигнал?

54. Поясніть різницю між складним та широкосмуговим сигналом.

1. Види модуляції при застосуванні гармонічного сигнала-носія.
2. Види модуляції при застосуванні сигнала-носія у вигляді послідовності імпульсів.
3. Що таке односмугова модуляція з частково подавленою несучою?

1. Що таке безперервний канал
2. Як визначаються математичні моделі дискретних каналів
3. Про що свідчить відмінність від одиниці умовної ймовірності
4. Про що свідчить рівність одиниці умовної ймовірності
5. Що таке двійковий симетричний канал
6. Що таке двійковий несиметричний канал
7. Що таке канал з пам’яттю?
8. Що таке канал без пам’яті?
9. Що таке стаціонарний канал?
10. Що таке нестаціонарний канал?
11. Як описується вплив на сигнал лінійного каналу з параметрами, що змінюються,

69. Класифікація каналів за призначенням.

70. Класифікація каналів за частотою.

71. Класифікація каналів за видом сигналу на вході та виході.

72. Класифікація каналів за фізичною природою сигнала-носія.

73. Класифікація каналів за середовищем.

1. Як довжина хвилі пов’язана з частотою?
2. Що таке безперервний гаусовський канал; чим він відрізняється від ідеального каналу?
3. Що таке гаусовський канал з випадковою початковою фазою?
4. Що таке гаусовський канал з випадковою початковою фазою та випадковою амплітудою?
5. Що таке гаусовський канал з лінійними спотвореннями?
6. Що таке гаусовський канал з нелінійними спотвореннями?
7. Що таке ємність каналу?

81. Які складові входять до дискретного каналу (на прикладі структурної схеми системи ПІ)?

1. Що таке канал закритого типу?
2. Що таке дротовий канал?
3. Що таке хвильоводний канал?
4. Що таке радіоканал?
5. Що таке оптичний канал?
6. Що таке інфрачервоний канал?
7. Що таке радіорелейний канал?
8. Що таке супутниковий канал?
9. Що таке іоносферний канал, яку і чому він може забезпечувати дальність зв’язку?
10. Що таке канал ДТР; яку і чому він може забезпечувати дальність зв’язку?
11. Що таке метеорний канал?
12. Що таке дальність прямої видимості та як вона визначається у оптичному діапазоні (або за межами атмосфери у радіодіапазоні)?
13. Що таке дальність прямої видимості та як вона визначається у радіодіапазоні при наявності нормальної рефракції?
14. Поясніть структуру супутникового каналу при застосуванні геостаціонарних ШСЗ.
15. Поясніть структуру супутникового каналу при застосуванні високоеліптичних ШСЗ.
16. Поясніть структуру супутникового каналу при застосуванні низькоорбітальних ШСЗ
17. Що таке модем?
18. Що таке кодек?

Здійснити розрахунки при розв’язанні таких задач.

1. Визначити інтервал дискретизації голосового сигналу, який поступає з виходу СТК і підлягає реєстрації у цифровій формі

2. Визначити інтервал дискретизації радіосигналу з середньою частотою 2 МГц, який застосовується для передачі первинного сигналу з шириною спектру 4 кГц.

3. Визначити необхідну розрядність АЦП (n_АЦП)в системі, де оброблюється одно полярний сигнал, амплітуда якого може досягнути 2 В, допустима амплітуда шуму квантування складає 1,17мВ.

4. Визначити необхідну розрядність АЦП в системі, де оброблюється сигнал, амплітуда якого може приймати значення у межах від -1,5 до +1,5 В, середньостатистична амплітуда адитивного фонового шуму, який супроводжує сигнал,складає 25·10^-3В.

5. Представити у десятирзрядному двійковому коді числа 1030 та 123 і визначити ступінь ортогональності цих двійкових повідомлень.

6. Яку форму АЧХ та частоту зрізу повинен мати фільтр на вході АЦП, якщо перетворенню у цифровий сигнал підлягає послідовність відеоімпульсів, мінімальна тривалість яких може становити 100мкс.

7. Викристовуючи векторне представлення сигналів довести ортогональність функцій Sin та Cos, взявши їх відліки на інтервалі 0…2π включно з кроком 0,25π.

8. Радіостанція метрового діапазону забезпечує можливість приймати її передачі на площі 5000км² . Визначити висоту щогли, на якій знаходиться її антена.

9. На якій відстані у степовій місцевості спостерігач може побачити світло ліхтаря, який знаходиться на висоті 5м.

10. Визначити необхідну висоту щогл для розміщення антен радіорелейних станцій, що утворюють канал зв’язку довжиною 160 км; кількість проміжних станцій 3; всі щогли мають однакову висоту.

11. Доведіть розрахунками, що при ДТР може забезпечуватись зв’язок на відстані до 800км.

12. Які значення мають і як звуться частоти, довжина хвиль яких лежить у межах 10см…100см?

13. Розрахувати граничні довжини хвиль діапазонів низьких та ультрависоких частот і визначити у скільки разів відрізняється довжина хвилі цих діапазонів?

14. Як звуться хвилі діапазону частот 3...30 ГГц (…….кГц;……….МГц) (довести шляхом розрахунку)?

15. При використанні 8-ми разрядного АЦП здійснюється передача мовного сигналу, значення відліку якого дорівнює кількості літер у Вашому імені +200. Відобразити графічно процес передачі такого повідомлення із застосуванням ШІМ.

16. При використанні 10-ти розрядного АЦП здійснюється передача мовного сигналу, значення відліку якого дорівнює Вашому номеру у списку групи +100. Відобразити графічно процес передачі такого повідомлення із застосуванням ЧМ.

Вивчення теми 2.

При вивченнітеми 2 - інформаційні характеристики джерел повідомлень і каналів слід звернути увагу на такі основні визначення, поняття та теоретичні положення.

Порівняння різних систем, де створюється (виникає), зберігається або передається інформація, можливе при наявності деякої міри, що дозволяє оцінювати кількість інформації.

При розгляді інформаційних характеристик дискретних систем вважають, що на вході деякого блоку інформаційної системи можливі символи алфавіту а_і А, де і=1,...m, а на виході – символи у_j Y, де j=1,...n. Множини А та Y – ансамблі вхідних і вихідних повідомлень. Символи а_і можуть перетворюватись у символи у_j під впливом дії завад.

У найпростішому випадку символи а_і взаємно незалежні. При цьому джерело, яке створює ансамбль повідомлень А, повністю можна описати сукупністю апріорних ймовірностей Р(а_і), які і характеризують початкове незнання (невизначеність) про появу того чи іншого символу а_і на вході системи, яка здійснює передачу інформації від джерела.

Завжди існує умовна імовірність Р(у_j /a_i) того, що між символами а_і та у_j нема однозначної відповідності, тобто існує імовірність переходу символу а_і у будь–який символ у_j. Знаючи Р(а_і) та Р(y_j/a_i), легко знайти Р(а_і /у_j) - імовірність появи на вході блоку символу а_і при умові, що на виході спостерігали символ у_j . Це апостеріорні імовірності, що характеризують незнання, яке залишилось (невизначеність, що залишилася) про появу на вході системи символу a_i при спостереженні символу у_j на виході.

За кількість інформації про символ а_і, яка міститься у символі у_j, беруть деяку функцію імовірностей Р (а_і) та Р(а_{і /} у_j):

I(a_i; у_j)= f (8)

У якості функції f зручно використовувати логарифм відношення

Р(а_{і /} у_j)/ Р (а_і),

тобто

I(a_i; у_j)= . (9)

I(a_i; у_j) називають взаємною інформацією.

При такому представленні кількість інформації має властивість адитивності і симетрії. Із (9) витікає, що незалежні події не несуть одна про одну ніякої інформації.

У випадку, коли у_j однозначно визначає а_і (при Р(а_{і /} у_j)=1),

I(a_i; у_j)= I(a_i)= = -log _i) (10)

Величина І(а_і) називається власною інформацією події а_і. Це кількість інформації, яку доставляє подія а_і. Чим менша імовірність події, тим більша її власна інформація. Власна інформація завжди позитивна, а взаємна може бути як позитивною, так і негативною.

Основою логарифму може бути будь-яке число. У техніці використовують основу 2 – тоді кількість інформації вимірюється у бітах.

У теоретичних розрахунках іноді зручно користуватися натуральним логарифмом – тоді одиницею виміру буденат.

Для практики більший інтерес представляє не взаємна інформація (9), а кількість інформації про множину А символів переданих, яка у середньому міститься у множині Y прийнятих символів. Тобто – середня кількість інформації на виході каналу (середня кількість інформації, доставленої отримувачу одним прийнятим символом).

I(A,Y)= . (11)

Це середня взаємна інформація, яка більша або дорівнює нулю. Останнє можливо при повній статистичній незалежності вхідної множини А та множини Y на виході каналу.

Середня власна інформація,відповідно, є

I(A)= . (12)

Вона характеризує кількість інформації, яка в середньому необхідна для визначення будь–якого символу із множини А.

Величину І(А) позначають Н(А) і називають ентропією дискретного джерела А. Ентропія є міра невизначеності символу до того, як він був прийнятий (тобто – кількість інформації, яку «виробляє» джерело). Ентропія позитивна величина, а в нуль вона перетворюється тоді, коли одна з імовірностей p(а_i) дорівнює одиниці, а решта нулю. Це означає, що детермінована подія не містить інформації.

Для ентропії вірна нерівність

Н(А) . (13)

Із (13) витікає: при заданому алфавіті символів кількість інформації, яка у середньому міститься у одному символі, досягає максимуму тоді, коли усі символи рівноімовірні. Тоді Н_max=log m називають інформативною ємністю алфавіту.

Для двійкового джерела

Н(А)= - p log p - (1-p) log(1-p), (14)

де р - імовірність появи одного із символів.

Для такого джерела при р =1/2 і основі логарифму 2 отримуємо Н_max =1біт (двійкова одиниця кількості інформації).

Виходячи з (11) середню взаємну інформацію можна представити у такий спосіб

I(A;Y)=H(A) - H(A/Y), (15)

I(A;Y)=H(Y) - H(Y/A), (16)

I(A;Y)=H(A) + H(Y) - H(AY). (17),

де: H(A/Y) – середня кількість інформації, що втрачається в каналі, (ненадійність каналу);

H(Y/A) – шумова ентропія;

H(Y) – власна ентропія множини Y на виході каналу;

H(AY)) – ентропія об’єднання двох множин.

Середня взаємна та середня власна інформація вимірюється у біт/cимвол або біт/cтан.

Середня кількість інформації, що передається за одиницю часу, звєтьсяшвидкістю передачі інформації. Вимірюється вона у біт/c і визначається за формулою

I’(A;Y)= I(A;Y), (18)

де - Т_с – тривалість сигналу, який використовують для передачі одного символу.

Величина

(19)

називається продуктивністю джерела (це середня кількість інформації, яку видає джерело у одиницю часу).

Максимальна кількість інформації, що передається у одиницю часу (за усіма багатомірними розподілами імовірності Р(А), які характеризують джерела),

С= max I (A;Y) (20)

називаєтьсяпропускною здатністю каналу. Вимірюється також у біт/c.

Вона може визначатися також в розрахунку на символ

С_сим= max I (A;Y). (21)

Вимірюється у біт/cимвол.

Швидкість передачі інформації не може перевищувати пропускну здатність.

Швидкість передачі інформації у m-ічному стаціонарному симетричному каналі без пам’яті, для якого перехідні ймовірності

p(у_j/ a_i ) = p_пом/(m-1) при i ≠ j,

p(у_j/ a_i ) = 1 – p_пом при i = j. (22)

де p_пом – ймовірність помилкового прийому символу,

становить

I^'(A;Y)= [Н(А)+(1- p_пом)log(1- p_пом)+ p_пом log( )]_. (23)

Пропускна здатність m-ічного симетричного каналу без пам’яті у розрахунку на один символ становить

С_сим=logm+(1- p_пом)log(1- p_пом)+ p_пом log( )_. (24)

Тоді пропускна здатність такого дискретного каналу у одиницю часу буде

С_ДК = [logm+(1- p_пом)log(1- p_пом)+ p_пом log( )]_. (25)

Для двійкового дискретного стаціонарного симетричного каналу без пам’яті (m=2)

C_ДДК = [1+(1- p_пом) log (1- p_пом) + p_пом. log p_пом]. (25а)

У реальних системах символи часто нерівноімовірні і залежні. Тому ентропія джерела Н(А) < Н . Відповідно кількість інформації, яку доставляє кожний символ, менша за максимальну у разів.

Наприклад, при незалежному використанні 32 літер алфавіту кожна з них доставляє log₂32=5 біт, але з урахуванням взаємозв’язку літер у тексті реальна ентропія літери у російській та українській мові не перевищує приблизно 3 біт.

Коли повідомлення складається із n символів, то кількість інформації у ньому дорівнює I= n H(A).При використанні алфавіту з максимальною ентропією для передачі такої ж кількості інформації потрібно

n_min= символів.

Відношення Н(А)/H_max(A) = µ - коефіцієнт припустимого стиснення повідомлення.

Величина

R= 1 - µ =1 - (27)

називається надлишковістю джерела.

Економне (статистичне) кодування передбачає, що величина R наближається до нуля.

Теорема К. Шенонапро кодування у відсутності завад стверджує:

мінімальну середню кількість кодових символів, що припадають на один символ (стан) повідомлення, можна зробити як завгодно близькою до , де Н(А)- ентропія джерела, що складається із символів повідомлення, L- число символів кодового алфавіту.

Загальні правила економного кодування:

- у кожному із розрядів кодової комбінації різні символи алфавіту повинні використовуватись із рівними імовірностями;

- імовірність появи символів в кожному розряді кодового слова не повинна залежати від усіх попередніх символів.

При нерівноімовірних і незалежних символах ідея економного кодування полягає у тому, що символам, які зустрічаються часто, ставлять у відповідність короткі кодові комбінації, а менш імовірним – більш довгі. (Один з таких методів запропонували Р.М. Фано і К. Шенон ).

Теорема К. Шенона для дскретного джереланаголошує: якщо продуктивність джерела не перевищує пропускну здатність каналу, тобто H’(A) ≤ C, то існує хоча б одна процедура кодування і декодування, при якій ймовірність декодування та ненадійність каналу можуть бути скільки завгодно малими. Якщо H’(A) > C, то такої процедури не існує. Нажаль теорема лише вказує на принципову можливість такого кодування, але не дає конкретного способу кодування.

Інформаційні характеристики безперервних повідомлень і каналіввизначають знаючи щільності розподілу ймовірностей миттєвих значень відповідних процесів. Детально матеріал слід розглянути за [1, пп. 4.5…4.7] [8, р. 4], звернувши увагу на такі величини,як безумовна диференціальна ентропія, умовна диференціальна ентропія, епсилон-ентропіятаепсилон-продуктивність джерела. Принципово важливою характеристикоюбезперервного каналує йогопропускна здатність.

Для безперервного гаусовського каналу, який є складовою практично будь якої системи, вона оцінюється за формулою Шенона

С_БК= (26)

де Δ _k- смуга пропускання каналу,

Р_с – потужність сигналу,

Р_ш – потужність шуму,

N₀- спектральна щільність потужності білого гаусовського шуму.

Формула справедлива для каналу з адитивним білим гаусовським шумом і вказує на пряму залежність пропускної здатності безперервного каналу від смуги пропускання каналу та відношення потужності сигналу до потужності шуму.

При умові, що у наведених вище формулах логарифм береться за основою 2, пропускна здатність як дискретного, так і безперервного каналу у одиницю часу вимірюється у бітах на секунду (біт/c).

Теорема К. Шенона для безперервних повідомлень стверджує: якщо епсилон-продуктивність джерела при відомому критерії відповідності ε₀² не перевищує пропускну здатність каналу, тобто H_ε(A(t)) ≤ C_бк, то існує спосіб кодування і декодування, при якому похибка відтворення повідомлення може бути скільки завгодно близькою до ε₀². Якщо H_ε(A(t)) > C_бк, то такого способу не існує.

Додатково стосовно теми 2 вивчити такі джерела:

[1, гл. 4] [8, р. 2…4]

Для повторення і закріплення матеріалу з теми 2 доцільно самостійно відповісти на такі контрольні питання.

1. Кількість інформації і невизначеність.

2. Вимоги до міри кількості інформації.

3. Одиниці вимірювання кількості інформації.

4. Взаємна інформація дискретних повідомлень.

5. Довести властивість взаємності інформації.

6. Ентропія і надмірність повідомлень.

7. Ентропія джерела дискретних повідомлень.

8. Властивості ентропії.

9. Максимальна ентропія.

10. Середня взаємна інформація дискретних повідомлень.

11. Інформаційна продуктивність джерела.

1. Умовна середня взаємна інформація дискретних повідомлень

13. Умовна ентропія джерела дискретних повідомлень.

14. Інформаційні характеристики двійкового джерела.

15. Середня взаємна інформація на виході двійкового каналу.

16. Швидкість передачі інформації по дискретному каналу.

17. Пропускна здатність дискретного каналу з завадами.

18. Пропускна здатність ідеального дискретного каналу.

19. Теорема Шеннона про кодування для дискретного джерела і каналу.

20. Що таке надмірність джерела?

21. На що вказує і в яких межах змінюється коефіцієнт стиснення?

22. Смисл економного кодування.

23. Метод Фано-Шеннона.

24. Що мають загального і чим відрізняються інформація і повідомлення, повідомлення і інформація, інформація і сигнал?

25. Взаємна інформація безперервних повідомлень.

26. Диференціальна ентропія безперевної випадкової величини.

27. Умовна диференціальна ентропія.

28. Епсилон-ентропія джерела.

29. Прикладне значення эпсилон-ентропії.

30. Епсилон-продуктивність джерела.

31. Узгодження джерел і каналів.

32. Пропускна здатність безперервного каналу з нескінченною смугою пропускання.

33. Пропускна здатність безперервного гаусовского каналу із завадами.

34. Теорема Шеннона про кодування для безперервного джерела і каналу.

1. Як виглядає формула Шеннона для пропускної здатності безперервного каналу? При яких умовах вона справедлива і що означають величини, які там враховані?
2. Що відбудеться з пропускною здатністю безперервного каналу, якщо температура середовища та приймача зросте при незмінних інших параметрах системи? Пояснити причини.
3. Що відбудеться з пропускною здатністю безперервного каналу, якщо шум при фіксованій його дисперсії стане відмінний від БГШ за розподілом. Інші параметрів системи залишаюьтся незмінними? Пояснити причини.
4. Що відбудеться з пропускною здатністю безперервного каналу, якщо щільність ймовірності сигналу стане відмінною від нормального закону при фіксованій його дисперсії і незмінних інших параметрах системи? Пояснити причини.
5. Що відбудеться з пропускною здатністю безперервного каналу, якщо спектральна густина потужності шуму зросте при незмінних інших параметрах системи? Пояснити причини.
6. Що відбудеться з пропускною здатністю безперервного каналу, якщо спектральна густина потужності шуму зменшиться при незмінних інших параметрах системи? Пояснити причини.
7. Що відбудеться з пропускною здатністю безперервного каналу, якщо енергія сигналу зменшиться при незмінних інших параметрах системи? Пояснити причини.
8. Що відбудеться з пропускною здатністю безперервного каналу, якщо енергія сигналу зросте при незмінних інших параметрах системи? Пояснити причини.
9. Що відбудеться з пропускною здатністю безперервного каналу, якщо ширина спектру сигналу і смуга каналу зменшаться при незмінних інших параметрах системи? Пояснити причини.
10. Що відбудеться з пропускною здатністю безперервного каналу, якщо ширина спектру сигналу і смуга каналу збільшаться при незмінних інших параметрах системи? Пояснити причини.
11. Що відбудеться з пропускною здатністю безперервного каналу, якщо ширина спектру сигналу збільшиться, а смуга пропускання каналу та інші параметри системи не зміняться? Пояснити причини.
12. Що відбудеться з пропускною здатністю безперервного каналу, якщо ширина спектру сигналу зменшиться, а смуга пропускання каналу та інші параметри системи не зміняться? Пояснити причини.
13. Що відбудеться з пропускною здатністю безперервного каналу, якщо смуга пропускання каналу збільшиться при незмінних інших параметрах системи і ширині спектру сигналу? Пояснити причини.
14. Що відбудеться з пропускною здатністю безперервного каналу, якщо смуга пропускання каналу зменшиться при незмінних інших параметрах системи і ширині спектру сигналу? Пояснити причини.
15. Що відбудеться з пропускною здатністю безперервного каналу, якщо відстань між абонентами збільшиться при незмінних інших параметрах системи? Пояснити причини.
16. Що відбудеться з пропускною здатністю безперервного каналу, якщо відстань між абонентами зменшиться при незмінних інших параметрах системи? Пояснити причини.
17. Що відбудеться з пропускною здатністю безперервного каналу, якщо температура середовища та приймача зменшиться при незмінних інших параметрах системи? Пояснити причини.