Оценка параметров нелинейных моделей

Нелинейные уравнения регрессии можно разделить на два класса:

– уравнения, которые с помощью замены переменных можно привести клинейному виду в новых переменных x',y'

y a b x ;

(2.15)

– уравнения, для которых это невозможно. Назовем их внутренне нели-нейными.

В первом случае, уравнения регрессии преобразуются к линейному виду с помощью введения новых (линеаризующих) переменных x',y'. При этом пред-варительно формируются массивы значений {(x'_i,y'_i),i= 1, …,n}. В последую-щем, после определения параметров линейного уравнения регрессии с помо-щью обратного преобразования можно получить параметры исходного уравне-ния регрессии, представляющие интерес для исследователя.

Линеаризующие преобразования для некоторых нелинейных моделей при-ведены в таблице 2.2.

	Линеаризующие преобразования	Таблица 2.2
Зависимость	Формула	Преобразование	Зависимость ме-
					жду параметрами
		b	y y	a a
Гиперболическая	y a		1
x	x	b b
		x
Логарифмическая	y a b ln x	y y	a a
x ln x	b b
Степенная	yˆ a xb	y ln y	ln a a
x ln x	b b
Экспоненциальная	yˆea b x	y ln y	a a
x x		b b
Показательная	ŷ = a·bx,	y ln y	ln a a
x x		ln b b

Для оценки параметров внутренне нелинейных зависимостей также можно применить метод наименьших квадратов и определять оптимальные значения параметров а и b исходя из условия (2.8) или (2.9). Но в данном случае условия (2.10) уже не являются линейными алгебраическими уравнениями относительнопараметров а и b, поэтому величины параметров а и b удобнее определять непо-средственно из условия (2.9) как значения, доставляющие минимум величине S.

Итерационную процедуру минимизации S в общем виде можно предста-вить в виде следующих последовательных шагов.

1. Задаются некоторые «правдоподобные» начальные (исходные) значенияа⁰иb⁰параметров а иb.

2. Вычисляются теоретические значенияŷ_i = f(x_i) с использованием этихзначений параметров.

3. Вычисляются остаткиеi = ŷi – yiи сумма квадратов остатков

S yˆ_i y_i².

4. Вносятся изменения в одну или более оценку параметров.

5. Вычисляются новые теоретические значения ŷ_i, остатки е_i и S.

6. Если произошло уменьшение S, то новые значения оценок используются

в качестве новой отправной точки.

7. Шаги 4, 5 и 6 повторяются до тех пор, пока не будет достигнута ситуа-ция, когда величину S невозможно будет улучшить (в пределах заданной точ-ности).

8. Полученные на последнем шаге значения параметров а и b являются оценками параметров уравнения регрессии, полученными по нелинейным ме-тодом наименьших квадратов.

Конкретные методы минимизации S отличаются способом выбора новых измененных значений оценок параметров.

Качество оценок МНК линейной регрессии. Теорема Гаусса-Маркова

При использовании полученных различными способами оценок парамет-ров уравнения регрессии (2.6) важно быть уверенными, являются ли они «луч-шими» среди всех остальных в некотором смысле. Ответ на этот вопрос дает теорема Гаусса-Маркова, согласно которой оценки параметров линейной рег-рессии, полученные методом наименьших квадратов, будут несмещенными и эффективными (т. е. будут иметь наименьшую дисперсию) в классе линейных несмещенных оценок при выполнении четырех условий, известных как усло-вия Гаусса-Маркова.

Эти условия принимаются в качестве основных предпосылок регрессион-ного анализа.

1-е условие Гаусса-Маркова: математическое ожидание случайного члена

εiравно нулю в любом наблюдении
М(εi) = 0.	(2.16)
2-е условие Гаусса-Маркова: дисперсия случайного членаεiпостоянна для
всех наблюдений
	(2.17)
D(i).

3-е условие Гаусса-Маркова: значения случайного члена в любых наблю-дениях ε_i и ε_j не коррелируют между собой

Cov(εi, εj) = 0 (i≠j).	(2.18)
Это условие с учетом того, что М(εi) =М(εj) = 0 принимает вид
M(εi,εj) = 0 (i ≠ j).	(2.19)
4-е условие Гаусса-Маркова: случайный член должен быть распределен
независимо от объясняющих переменных xi
Cov(xi, εi) = M (xi, εi) = 0,	(2.20)
где было учтено, что М(εi) = 0.

Следует сказать, что последнее условие заведомо выполняется, если объясняющие переменные x_i считаются детерминированными величинами.

Выполнение 4- го условия Гаусса-Маркова обеспечивает несмещенность оценки параметра b.

Выполнение 1-го и 4- го условий Гаусса-Маркова обеспечивает несмещен-ность оценки параметра а.

Нарушение одного из условий Гаусса-Маркова приводит к нарушению эффективности оценок, т. е. в классе несмещенных оценок можно найти такие, которые имеют меньшую дисперсию.

В регрессионном анализе обычно делается еще одна предпосылка о нор-мальности распределения случайного члена, что позволяет выполнить количе-ственную оценку точности полученных оценок параметров (2.13).

После построения модели необходимо вычислить значения остатков е_i и проверить выполнение условий Гаусса-Маркова, так как их нарушение снижает качество модели. Если условия нарушаются, то следует модернизировать мо-дель соответствующим образом. Эти вопросы будут рассмотрены в 3 разделе.