Жадсыз дискретті каналдар үшін кодтау

Теоремасы

Әр символ ТS секунд ішінде берілетін С [бит/символ] өткізгіштік қабілетті жадсыз дискретті каналды қарастырайық. Мұнда С[бит/сек] = С[бит/сек]/ТS.

Қандай-да бір Х дереккөзінің ТS уақыт ішінде өлшенге энтропиясы Н(Х)-ке тең болсын. Бұл жағдайда келесі теорема орынды

7.6.1 Теоремасы.Канал үшін кодтау теоремасы (Шеннон теоремасы).

Х дереккөзі үшін R — H(X)/TS [бит/сек] және R < С жылдамдықты бір код бар, және оның жәдемімен Х дереккөзінің мағлұматы байланыс каналы арқылы С[бит/сек] жылдамдықпен төмен қате ықтималдығымен тасымалдана алады. 1

Канал үшін кодтау теоремасының дәлелі (мысал ретінде [10] көріңіз) дерліктей күрделі және бұл кітаптың қамтыған аумағынан шығып кетеді, сондықтан бұл жерде келесі ескерулермен шектелгеніміз жөн.

● Кодтау теоремасының дәлелі кездейсоқ шексіз өлшемді кодтарды және максималды хақиқатқа жақын, төмен қате ықтималдығын қамтамасыз ететін декодерді қолдануды қажет етеді. Дәлел ешқандай конструктивті шешімдерді қажет етпейді. Онда тек қана статистикалық қасиеттер мен шексіздікке ұмтылатын блок ұзындықты блок кодтары үшін ақтық өткелдер қолданылады. Дәлелде оптималды кодтардың конструкциясына ешқандай нұсқау берілмейді.

● Сонымен қатар кодтау теоремасы R тасымалдау жылдамдығы үшін жоғарғы шекті анықтайды. 2

● Теореманы дәлелдеу уақтысында техникалық қол жетімді ақпарат тасымалдау жылдамдығын бағалауда қолданылатын R0 экспоненциалды бағалау көрсеткіші енгізіледі [4].

Жадсыз дискретті каналдар үшін кодтау - student2.ru

1Кодтау теоремасы тек дискретті каналдар үшін ғана емес, одан бөлек ол үздіксіз каналдар арқылы дискретті хабарламалар тасымалдауға да дұрыс.

2Бұл жерде анықтап өткен жөн. R > С болғанда ақпаратты төмен қате ықтималдығымен тасымалдай алатын ешқандай кодтау тәсілі жоқ екенін айтатын кері кодтау теоремасы бар

БӨЛІМ

ЗДІКСІЗ

ДЕРЕККӨЗДЕР

ЖӘНЕ КАНАЛДАР

Екінші бөлімде энтропияның дереккөздің анықталмағандық шамасы деген сипаттамасы берілген. Сонымен қатар, энтропия кездейсоқ тәжірибелер арқылы өлшенеді деген болжам қалыптасқан еді. Бұл бөлімде үздіксіз дереккөздерге біз ұқсас амалдар қолданатын боламыз.

Жадсыз дискретті каналдар үшін кодтау - student2.ru

8.1 Сурет. Үздіксіз дереккөздің сигналы.

Нақты алфавитті дереккөздердің орнына шығысы үздіксіз сигналдар болып табылатын дереккөздерді қарап шығамыз. Мұндай сигналдардың мысалы ретінде біз телефон каналдарындағы уақытта өзгеретін кернеуді келтіре аламыз. 8.1 суретте шығысы t уақыттың кездейсоқ функциясы болып табылатын Жадсыз дискретті каналдар үшін кодтау - student2.ru ұқсас сигналды X үздіксіз дереккөзі көрсетілген. Жадсыз дискретті каналдар үшін кодтау - student2.ru -ның мәндерін X дереккөзі жайлы мағлұмат бар уақыттың кейбір назар салынған сәтіндегі кездейсоқ тәжірибе ретінде қарап шығамыз.

Дифференциалды энтропия

8.2 суретте канал арқылы байланысқан екі үздіксіз X және Y дереккөздері көрсетілген (7.4 суретке ұқсас). Мұнда, ықтималдықтардың орнына, стохастикалық айнымалылардың ықтималдықтарының бөліп тарату тығыздықтарының функциясы тұрады.

Стохастикалық айнымалыларды және олардың ықтималдықтарды бөліп тарату тығыздықтарының функцияларын қолдану дискретті дереккөздерге ұқсатып екі үздіксіз дереккөздер үшін ақпарат, энтропия, шартты және өзара энтропия түсініктерін енгізуге мүмкіндік береді.

Жадсыз дискретті каналдар үшін кодтау - student2.ru

8.2 Сурет. Канал арқылы байланысқан екі жадсыз

үздіксіз дереккөздер.

Үздіксіз X дереккөзін дискреттіге түрлендіреміз. Бұл үшін Δ қадамды дереккөздің ұқсас шығысның мәнін кванттаймыз (8.3 сурет).

Жадсыз дискретті каналдар үшін кодтау - student2.ru

8.3 Сурет. Δ кванттау интервалды үздіксіз дереккөзді Жадсыз дискретті каналдар үшін кодтау - student2.ru бақылау сәтінде цифрлеу

Мұнан басқа, ақпараттар теориясында әдеттегідей дереккөзді уақытта дискретизациялаймыз. Нәтижесінде, Жадсыз дискретті каналдар үшін кодтау - student2.ru стохастикалық айнымалы-ларының реттілігін аламыз. 7.2 кесте бойынша, Жадсыз дискретті каналдар үшін кодтау - student2.ru уақыт сәтіндегі, ал Жадсыз дискретті каналдар үшін кодтау - student2.ru уақыт сәтіндегі шығыс символының мәні болатын Жадсыз дискретті каналдар үшін кодтау - student2.ru символдарының өзара ақпаратын анықтаймыз.

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Өзара ақпаратты Жадсыз дискретті каналдар үшін кодтау - student2.ru айнымалысы Жадсыз дискретті каналдар үшін кодтау - student2.ru интервалына меншіктілігі мағлұм болғандағы және керісініше интервалындағы Жадсыз дискретті каналдар үшін кодтау - student2.ru айнымалысының «шешілген» (жоғалтылған) анықталмағандығы деп сипаттауға болады. Ықтималдықты бөліп тарату тығыздығының функциясын үздіксіз функция деп есептейік. Сонда, кванттау интервалының енін нөлге ұмтылдырып, алатынымыз

Жадсыз дискретті каналдар үшін кодтау - student2.ru

яғни, нәтиже, дискретті дереккөздер үшін өзара ақпарат өрнегіне ұқсас. Тасымалданып жатқан ақпаратты математикалық күтім ретінде анықтауға болады

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Ескерту.Мұнда, бұл бөлімнің белгілеуін 7.2 кестеге сәйкес келтіру үшін Жадсыз дискретті каналдар үшін кодтау - student2.ru орнына Жадсыз дискретті каналдар үшін кодтау - student2.ru , ал Жадсыз дискретті каналдар үшін кодтау - student2.ru орына Жадсыз дискретті каналдар үшін кодтау - student2.ru қолданылады.

Дереккөз ақпараты ұқсас тұжырымдар арқылы анықталады

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Өзара ақпарат үшін (8.3) өрнекке қарағанда (8.4)-те Δ кванттау интервалына тәуелді қосынды пайда болады.

Δ→∞ тұсында Жадсыз дискретті каналдар үшін кодтау - student2.ru шамасы шексіздікке ұмтылады. Нәтижесінде, Жадсыз дискретті каналдар үшін кодтау - student2.ru үшін өрнек сондай-ақ ∞–ке ұмтылады. Бұл ғажаптанатын нәрсе емес, кванттау қадамының төмендеуіне байланысты бөлек оқиғалар (дереккөз алфавитінің символдары) саны жоғарылайды және сонымен қатар дереккөз анықталмағандығы да өседі.

Жадсыз дискретті каналдар үшін кодтау - student2.ru шамасы дереккөзге тәуелді емес және оны суреттеу үшін мүлдем тура келмейді, сол себепті, үздіксіз дереккөз ықтималдығының бөліп тарату тығыздығының функциясын қолданған дұрыс. Осылайша, біз келесі анықтамаға өтеміз.

Үздіксіз дереккөздің орташа ақпараты, яғни дифференциалды энтропия, келесі түрде анықталады

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Ең әуелі, дифференциалды энтропияның мұндай ерікті анықтамасы өзінің қажеттілігін дискретті дереккөздер үшін энтропиялы қатынастар каналдар және үздіксіз дереккөздер жағдайы үшін әділ екендігімен дәлелдейтінін айта кетейік. Атап айтқанда, үздіксіз дереккөздер үшін (7.39) – (7.42) қатынастары орынды.

Осылайша, үздіксіз дереккөздің дифференциалды энтропиясы жалпы жағдайда шексіз шама болып табылатын ықтималдықты бөліп тарату тығыздығының функциясына ғана тәуелді, сол себепті дифференциалды энтропияның мәні қаншалықты жоғары болуы мүмкін деген сұрақ қояйық. Ең әуелі, айтып кететін жайт, стохастикалық процесстің негізгі сипаттамасы болып табылатын екі шамасы бар: стохастикалық айнымалы (сызықтық қабілетке ие) қабылдайтын орташа μ мән және стохастикалық айнымалының стандартты σ ауытқуы.

Орташа мән я болмаса μ математикалық күтімі дифференциалды энтропияға ешқандай ықпал етпейді. σ өсуімен дереккөз анықталмағандығы жоғарылайды, ол оз кезегінде дифференциалды энтропияның өсуіне себепші болады. Осыған байланысты, түрлі ықтималдықты бөліп тарату тығыздығының функциясын оларға сәйкес энтропияларға қатысты салыстыру біркелкі σ тұсында өндіруге мәжбүрлейді.

Ескерту.Ақпараттық техникада бастапқы параметр ретінде Жадсыз дискретті каналдар үшін кодтау - student2.ru - стохастикалық процесстің орташа қуаттылығын [10] қабылдайды. Тасымалдағыштың қуаттылығының жоғарылауымен тасымалданатын ақпараттың көлемі өседі, және, керісінше, шулардың қуаттылығының жоғарылауымен анықталмағандық жоғарылайды, яғни уақыт бірлігінде азырақ ақпарат тасымалданады.

Ақпараттар теориясы бойынша дифференциалдық энтропия өзінің максимумына ықтималдықтың гаусстық бөліп таралуы уақтысында жетеді.

Теорема 8.1.1.Берілген Жадсыз дискретті каналдар үшін кодтау - student2.ru дисперсиясындаықтималдықты гаусстық бөліп тарататын дереккөз максималды дифференциалды энтропияға ие болады, сонымен қатар

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Мысал: гаусстық дереккөздің дифференциалды энтропиясы.

(8.5) бойынша, гаусстық дереккөздің дифференциалды энтропиясы тең болады

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Квадратты жақшалардағы өрнек екі интегралға бөлінуі мүмкін. Осылайша, соңғы форма

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Көбірек қолданысқа ие бөлінулер үшін сандық мысалдар 8.1 кестеде келтірілген.

Мысал: Телефония.

Жоғарыда келтірілген нәтижелердің практикалық пайдасы цифрлы телефондық желілерде ақпарат тасымалдау (биттерде) жылдамдығының жетістіктерін бағалау арқылы көрсетілуі мүмкін. Заманауи цифрлы сөйлем (логарифмдық РСМ) тасымалдаудың стандартты тәсілдері санақтардың 8кГц жиілігінде бір санақты кодтау үшін 8 бит шығындауды қажет етеді. Осылайша, сөйлем тасымалдау жылдамдығы 64 кбит/сек құрайды.

8.1 Кесте.Дифференциалды энтропияның мысалы.

Жадсыз дискретті каналдар үшін кодтау - student2.ru

[-1, 1] интервалындағы ықтималдықтарды бірқалыпты бөліп таратудан бастасақ, тәжірибелі жолмен Жадсыз дискретті каналдар үшін кодтау - student2.ru аламыз. Осылайша, бір санақ үшін дифференциалды энтропия құрайды

Жадсыз дискретті каналдар үшін кодтау - student2.ru

Есептеулер 8 кГц жиілікпен жүзеге асып жатқандықтан, қажетті сөйлем тасымалдау жиілігі 8кбит/сек құрайтынын білеміз. Энтропияны бағалау кезінде біз көрші есептеулер (дереккөз жадысы) арасындағы байланыстарға назар салмаппыз, және, сондықтан, сөйлем дереккөзінің шынайы дифференциалды энтропиясы одан да азырақ болады. Ақиқатында, заманауи сөйлем кодтау алгоритмдері сөйлемдік сигналды РСМ стандартымен теңесетін сапада 8 кбит/сек маңайындағы жылдамдықпен тасымалдауға мүмкіндік береді.

Наши рекомендации