Стационарлы марковтық дереккөздің энтропиясы

Стационарлы марковтық дереккөздің энтропиясы дереккөздің әрбір ахуалы белгілі бір энергияға ие жадсыз кіші дереккөз болып табылады деген түсініктен шығып есептеледі. Осылайша, әуелгі дереккөздің энтропиясы кіші дереккөздердің энтропиясының математикалық күтіміне тең.

Теорема 5.4.1.N ахуалға, яғни әрқайсысының энтропиясы төмендегідей N кіші дереккөзге иеМ символды алфавиті бар стационарлы марковтық дереккөз

кіші дереккөздердің энтропиясының математикалық күтіміне тең энтропияға ие

Алдағыда эвристикалық амал (5.71), 5.1.1 бекітудегі стационарлы дискретті дереккөздің энтропиясының жалпы қасиетіне сәйкес екендігі көрсетіледі.

Ескерту.Бекітудің дәлелі дерліктей қиын, сондықтан оны келесі бөлімдерді түсінуге зақымсыз жіберуге болады.

Дәлел.Марковтық дереккөздің энтропиясы [10].

Дәлел үш қадамда келтіріледі.

Адам 1.

Бірінші қадамда мағлұм ахуалда марковтық дереккөздің шартты энтропиясы келесі түрде анықталатынын көрсетеміз

арқылы l-ші кіші дереккөз белгіленген, ал арқылы l-ші қадамдағы ахуал.

(5.72) дәлелдеу үшін, энтропияның негізінде жатқан шартты ықтималдықтарды қарап шығамыз және түрлендіреміз. Кейінгі шектеу ретінде Z_l ахуалын енгіземіз

Z_l толықтай бастапқы Z₀ ахуалымен және символдарымен анықталатындықтан, қосымша шектеулер шартты ықтималдыққа ықпал етпейді, яғни теңдік әділетті. Екінші түрлендіру l-ші символ l-ші ахуалға тәуелді болатын марковтық дереккөздің шамаланған қасиетінен шығады.

Шартты (5.72) энтропияны табу үшін энтропияның негізінде жатқан шартты ықтималдықтарды сәйкес ықтималдықтарға көбейту қажет және математикалық күтімді табу керек

Z_l шамалары бірлескен ықтималдықтарға ықпал етпейді, себебі барлық Z_l ахуалдарға соманы бөліп тарату шекті болып табылады.

Сол жағын (5.74) ескере отырып, алатынымыз

Берілген Z₀ және S_j-лерде l-ші уақыт қадамында X_l символының ықтималды-ғы S_i ахуалында x_l символы берілген шарттағы S_i-дегі S_j ықтималдығына тең

сондықтан, (5.76) үшін біз жаза аламыз

Берілген S_i ахуалды барлық X_l символдар бойынша сома і-ші кіші дереккөздің энтропиясына тең

және (5.72) бекіту дәлелденді.

Адам 2.

Осы уақытқа дейін біз назарға алынған бастапқы ахуалдан шықтық. Марковтық дереккөздің энтропиясын математикалық күтім арқылы анықтау үшін бастапқы ахуалды кездейсоқ деп есептейміз

j бойынша сумма барлық i-ші ахуалдарға өтуді қамтиды, ол нәтижесінде l-ші қадамда і-ші ахуалдың ықтималдығын береді. Дереккөздің стационарлығын ескере отырып, аламыз

Соңында шығатыны

Стационарлы марковтық дереккөздің шартты энтропиясы l символдар санына тәуелді емес. (5.82) және (5.71) теңдіктердің бірінші бөліктері біркелкі. Енді қалатыны (5.82) және (5.71)-лердің сол жақ бөліктерінің тең екенін l → ∞ тұсында дәлелдеу.

Адам 3.

Энтропия үшін өрнекті мағлұм бастапқы ахуал тұсында қарап шығайық және оны «тізбек қағидасы» арқылы түрлендіреміз

Марковтық дереккөз стационарлы болғандықтан, оң жақтың барлық қиысулары тең және (5.82)-ге сәйкес анықталады. Егер L қиысу болса, кез-келген натурал L үшін алатынымыз

Сол жақтағы шарт әлі бұзылмаған. Универсалды қатынасты пайдаланып

Алатынмыз

(5.84)-тен шығады

Сонымен қатар, универсалды қатынасты пайдаланып

Аламыз

Энтропия үшін бағалау орынды

демек

және шекті жағдайда алатынымыз

Стационарлы марковтық дереккөз үшін (5.87)-ден (5.92)-ні қолданып нақты (5.71)-ді аламыз.

Мысал үшін тағы да r = 2-лі марковтық дереккөзді және алдыңғы бөлімдердегі оның жуықтауын қолданайық.

1. Жадсыз дереккөз

Ең алдымен жадты ескермей дереккөз энтропиясын анықтайық. Екі символдың ықтималдықтарын бөліп тарату арқылы алынатын энтропия

Символдар дерліктей тең ықтималдықты болғандықтан, энтропия бірлікке жақын болады.

2. r = 1 жадты марковтық дереккөз

r = 1 дереккөзді бастапқы дереккөздің екі кіші дереккөздер тұратын жуықтамасын қарастырайық. Ықтималдықтарды ескере отырып (5.8 суретті қараңыз), алатынымыз

және

Осылайша, марковтық r = 1 дереккөздің энтропиясы тең

(1)-мен салыстырғанда энтропия біраз азайды

3. r = 2 жадты марковтық дереккөз.

Бұл жағдайда біз 4 кіші дереккөзді (5.7 суретті қараңыз) назарға алуымыз қажет. S₁ ахуалы үшін

Кіші дереккөз 2 әрдайым «1» символын өңдеп отырғандықтан, S₂ ахуалын-дағы энтропия

Кіші 3 және 4 дереккөздері сәйкес энтропияға ие

және

Нәтижесінде r = 2 дереккөз энтропиясын аламыз

Демек, r = 1 жадты марковтық дереккөзбен салыстырғанда энтропия азайғанын көреміз.