Система нормальних рівнянь. Дослідження та розв’язок задачі (2.4).

Для розв’язання задачі (2.4) обчислимо частинні похідні по b₀, b₁ функції S = S(b₀, b₁). Маємо

¶ S / ¶b₀ = - 2 y_i – b₀ – b₁ x_i),

¶ S / ¶b₁ = - 2 (y_i – b₀ – b₁ x_i).

Прирівнюючи знайдені похідні нулю і виконуючи належні спрощення (рекомендується виконати їх самостійно), приходимо до системи двох рівнянь, в якій, підкреслимо, невідомими є параметри b₀, b₁:

b₀ n + b₁ S x_i = S y_i,

b₀ Sx_i + b₁ S x_i² = S x_i y_i, (2.5)

де для спрощення запису індекси підсумовування опущено. Ця система носить назву системи нормальних рівнянь або нормальної системи. В одному з наступних розділів буде доведено, що розв’язок нормальної системи і справді є розв’язком задачі (2.4).

Розглянемо спочатку випадок існування та єдиності розв’язку системи (2.5). Тобто ми поки що вважаємо визначник даної системи відмінним від 0. Позначимо шуканий розв’язок (b₀, b₁); відносно b₁ маємо (переконайтесь у цьому):

, (2.6)

де підсумовування ведеться по i від 1 до n. Розв’язок нормальної системи відносно b₀ має такий вигляд:

b₀ = , (2.7)

де та – відповідні середні арифметичні значення:

= (y₁+…+ y_n)/n , = (x₁+…+ x_n)/n.

2.3.1. Зауваження. Оцінка b₁ параметра b₁ може бути записаною також іншим чином:

. (2.8)

Дійсно, це твердження випливає з наступних рівностей

S(x_i – )( y_i – ) = Sx_i y_i – S y_i – S x_i + n = Sx_i y_i – n =

= Sx_i y_i – (S x_i)(S y_i)/ n.

Зручно ввести позначення:

S_{x y} = S(x_i – )( y_i – ), S_{x x} = S(x_i – )², S_{y y} = S( y_i – )².

Тоді маємо легкий для запам’ятовування вираз оцінки b ₁:

b₁ = S_{x y} / S_{x x} . (2.9)

Вище була введена функція

= = b₀ + b₁x (2.10)

Величина = є оцінкою функції регресії g(x) з рівності (2.2). Іноді зручніше використовувати дещо інший вираз для :

= + b₁(x – ). (2.11)

Ця рівність одержується з (2.10) підстановкою замість b₀ його виразу (2.7).

З рівності (2.11) одразу бачимо, що пряма лінія, яка зображує у декартовій площині залежність = , проходить через точку декартової площини з координатами ( , ).

Припустимо тепер, що визначник D системи (2.5) дорівнює 0. З’ясуємо, за яких умов це трапляється. Маємо

D = n S x_i² –(S x_i)².

Оскільки (S x_i)² = (S 1×x_i)², то за нерівністю Коші – Буняковського буде (S x_i)² S 1² × S x_i² = n S x_i², отже завжди

D ³ 0 (2.12)

Скористаємось відомою умовою наявності рівності в нерівності Коші – Буняковського. Бачимо, що коли ввести n-вимірні вектори 1= (1,…,1) і x = ( x₁,…, x_n), то рівність в (2.12) буде мати місце тоді і тільки тоді, коли вектори 1 і x будуть лінійно залежними. Це означає, що знайдуться такі сталі с₁, с₂, що одночасно не дорівнюють 0 і для яких виконується рівність

с₁ ×1 + с₂ × x = 0, (2.13)

де права частина – це нульовий вектор (0,…,0). При цьому випадок с₂ = 0, очевидно, не може мати місця (бо інакше, оскільки тоді с₁ 0, буде 1 = 0). Тому з (2.13) випливає, що x = (с,…,с), де с – деяка стала. Це означає, що всі спостереження робляться в одній точці: x₁ = … = x_n = с. За вказаною умовою система (2.5) зводиться, фактично, до одного-єдиного рівняння

b₀ n + b₁nс = S y_i, (2.14)

яке має безліч дійсних розв’язків.

2.3.2. Висновок. З розглянутого вище бачимо, зокрема, що нормальна система рівнянь (2.5) завжди сумісна, незалежно від того, дорівнює її детермінант 0 чи не дорівнює. В останньому випадку маємо єдиний розв’язок, що дається рівностями (2.6) ((2.8)) і (2.7). Перший випадок може трапитись тільки тоді, коли всі спостереження проводяться лише при одному значенні x. У цьому випадку вказана система має безліч розв’язків, кожен з яких може бути знайдений з рівняння (2.14).

РОЗДІЛ 3