Доведення властивостей 1) — 5).

Доведемо спочатку властивість 1). Маємо Mb₁= . При цьому (Переконайтеся у вірності останньої рівності). Враховуючи ще рівність

y_i = β₀ + β₁x_i + ε_і, (4.11)

одержуємо

Mb₁ = =

= .

Mb₀ = .

Рівності (4.6) доведено.

Аналогічним чином отримуємо:

Db₁= .

Другу з нерівностей (4.7) доведено. Першу з зазначених нерівностей буде доведено трохи пізніше. Перед доказом властивості 3) нагадаємо, що для випадкових величин x,h їх коваріація Cov(x,h) обчислюється за формулою Cov(x,h) = Мxh – Мx Мh. Згадаємо також кілька властивостей коваріацій випадкових величин та коваріаційних матриць випадкових векторів.

1. Для випадкової величини x має місце рівність Cov(x,x) = Dx.

2. Для випадкових величин x, h, x₁, x₂, h₁, h₂ та сталих а₁, а₂ мають місце рівності

Cov(а₁x ₁+ а₂x ₂, h) = а₁Cov(x₁,h) + а₂ Cov(x₂, h),

Cov(x, а₁h₁ + а₂h₂) = а₁Cov(x,h₁) + а₂ Cov(x,h ₂).

3. Нехай D(x,h) – коваріаційна матриця випадкових векторів x, h , що мають компоненти x₁, x₂,… та h₁, h₂,… відповідно (так що на місті (i,j) матриці D(x, h) стоїть величина Cov(x_i, h_j)); нехай також А, В – невипадкові матриці. Тоді D(Аx,Вh) = АD(x,h) , де – транспонована до В матриця.

Повернемося до доказу властивості 3) оцінок МНК. Нехай Y = (y₁, y₂,...,y_n)' – n-вимірний вектор-стовбець спостережень, А = , В = . Легко бачити, що = АY, b₁ = ВY. При цьому DY = σ² I, де I – одинична матриця розміру n ´ n. Отже, використовуючи властивість 3. коваріаційної матриці, одержуємо

Cov( , b₁) = Cov (АY, ВY) = А (DY ) В' = = 0,

тобто рівність (4.8) доведено. Тепер, користуючись відомою властивістю дисперсії суми некорельованих випадкових величин, одержимо:

Db₀ =D( – ) = D + ²D = =

= , що й доводить першу з нерівностей (4.7). Для доказу (4.9), використовуючи відомі властивості коваріацій випадкових величин, знайдемо:

Cov(b₀,b₁) = Cov( –b₁ , b₁) = Cov ( ,b₁) + Cov(–b₁ ,b₁) = – Cov (b₁, b₁) = = – Db₁ .

Тепер лишається скористатися другою з властивостей 2).

Нарешті, згідно з рівностями (2.10) та (4.8), маємо

D ŷ₀ = D [ + (х₀ – х) b₁] = D + (х₀ – х)²D b₁.

Тепер лишається скористатися рівностями (4.5) та (4.7). Зауважимо, що дисперсія величини ŷ₀ є мінімальною, коли точка х₀ співпадає з і зростає при віддаленні цієї точки від .

4.2. Нормальність випадкової складової. Надалі постійно припускатиметься, що випадкова складова e регресійної моделі (2.3) є нормально розподіленою випадковою величиною з нульовим математичним сподіванням і деякою (невідомою) дисперсією s²:

e ÎN (0, s). (4.12)

Припущення, зроблені вище, зумовлюють, що вектор випадкових складових E = (e₁,e₂,…,e_п), де e_i = y_i – (β₀ + β₁ x_i), i = 1,2,…,n, є нормально розподіленим випадковим вектором з взаємно незалежними компонентами, кожна з яких має тип (4.12). Зокрема, коваріаційна матриця D(E) вектора E є діагональною з елементами s² на головній діагоналі:

D(E) = = s² I_n, (4.13)

де I_n – одинична матриця розміру n ´ n.

Позначимо ще Y вектор спостережень, тобто Y = ( y₁,…, y_n). Зауважимо, що оскільки β₀ + β₁ x_i — є невипадковими величинами, то

D(Y) = D(E). (4.14)

З припущення (4.12) випливає дуже багато корисних наслідків. Зокрема, такими є дві наступні теореми, справедливість яких буде наведено у подальших розділах курсу як наслідок деяких більш загальних положень.

4.2.1. Теорема. Остаточна сума квадратів, поділена на s², має розподіл c² з

n – 2 степенями волі, коротше:

RSS / s² Îc² _n–2,

де RSS = S( y_i – ŷ_i)² .

4.2.2. Зауваження. Нехай відомо, що відношення деякої випадкової величини до деякої сталої величини (параметру) q має розподіл c² з m степенями волі. Тоді відношення / m є незсуненою оцінкою для q.

ð Дійсно, оскільки x /q має розподіл c²_m, то M (x /q) = m, тому M (x /m) = q. ð

Позначимо

RSS/(n – 2) = S² . (4.15)

4.2.3. Наслідок. Величина S² є незсуненою оцінкою величини s²:

M S² = s² (4.16)

4.2.4. Зауваження. Можна довести, що рівність (4.16) є справедливою і без припущення щодо нормальності розподілу x (за виконанням інших зроблених вище припущень щодо випадкової складової моделі (2.3).

4.2.5. Наслідок. Величини

b₀ = S², b₁ = S² (4.17)

є незсуненими оцінками величин Db₀ та Db₁ відповідно.

4.2.6. Теорема. За умови (4.12) мають місце співвідношення

, (4.18)

, (4.19)

де t_{n – 2} — розподіл Стьюдента з n – 2 степенями волі.

4.2.7. Наслідок. Нехай – квантиль рівня 1 – α/2 розподілу Стьюдента

t_n–2. Тоді інтервали

B₀ = [(b₀ – ],

B₁ = [(b₁ – ],

є довірчими інтервалами рівня α для параметрів b ₀ та b ₁ відповідно.

ð Це випливає із співвідношень (4.18), (4.19) та тією властивістю квантилів неперервних випадкових величин, що F(u_p) = p, де F – функція розподілу даної випадкової величини, u_p – її квантиль рівня p. ð

4.2.8. Зауваження про перевірку гіпотез щодо значень коефіцієнтів β₀, β₁.

Щойно наведені результати дають змогу перевіряти гіпотези : β₀ = b₀⁰ та : β₁ = b₁⁰, де b₀⁰ та b₁⁰ – фіксовані числа. Ідея перевірки є дуже простою. Якщо число b₀⁰ належить інтервалові B₀, то гіпотеза приймається, у протилежному випадку – не приймається. Аналогічно перевіряється гіпотеза .

Досить часто, зокрема, в комп’ютерних реалізаціях даної процедури перевірки використовуються дещо інші (формально, але не по суті) дії. А саме, позначимо T(b₀) (T(b₁)) величину з правої частини (4.18) ((4.19)) при β₀ = b₀⁰ (β₁ = b₁⁰). Ця величина порівнюється з – квантилем рівня 1 – α/2 розподілу Стьюдента t_n–2. Відповідна гіпотеза не приймається, якщо за абсолютною величиною вказана величина перевищує даний квантиль. Іншими словами, гіпотеза не приймається, якщо T(b₀) (відповідно, T(b₁)) попадає у двосторонню критичну множину (– ¥, – ) È ( , + ¥). За наявністю альтернативної гіпотези {b_i ³ b_i⁰} ({b_i £ b_i⁰}), i Î {0,1}, доцільніше використовувати односторонню критичну множину ( , + ¥) ((– ¥, – )

Особливо часто доводиться перевіряти гіпотезу при b₁⁰ = 0 (тобто мова йде про перевірку гіпотези {β₁ = 0}. У цьому випадку називається гіпотезою про незначимість коефіцієнту регресії. Якщо вона приймається, то можна вважати, що y не залежить від x (в рамках лінійної моделі(2.3)).

4.2.9. Зауваження. Деякі поширені комп’ютерні статистичні програми, наприклад, Statgraphics 3.0, використовують дещо іншу техніку перевірки гіпотез. А саме, не фіксуються заздалегідь критичні множини, а обчислюються так звані P-значення (P-values). Зокрема, при перевірці гіпотези ( ) P-значення є ймовірністю того, що за умови справедливості даної гіпотези, статистика T(b₀) (відповідно, T(b₁)) буде за абсолютною величиною рівною або більшою того значення, що конкретно отримано. Малість P-значення свідчить про недоцільність довіри до цієї гіпотези. Навпаки, великі P-значення свідчать на користь гіпотез, що перевіряються. Так, малі P-значення при перевірці гіпотези з b₁⁰ = 0 свідчать про значимість коефіцієнту регресії b₁. З коментарів, які містяться у відповідних роздруківках, можна зрозуміти, що вважається малим, а що – великим P-значенням у кожному конкретному випадку.