Оценка параметров нелинейных моделей

Нелинейные уравнения регрессии можно разделить на два класса:

– уравнения, которые с помощью замены переменных можно привести клинейному виду в новых переменных x',y'

y a b x ; (2.15)

– уравнения, для которых это невозможно. Назовем их внутренне нели-нейными.

В первом случае, уравнения регрессии преобразуются к линейному виду с помощью введения новых (линеаризующих) переменных x',y'. При этом пред-варительно формируются массивы значений {(x'i,y'i),i= 1, …,n}. В последую-щем, после определения параметров линейного уравнения регрессии с помо-щью обратного преобразования можно получить параметры исходного уравне-ния регрессии, представляющие интерес для исследователя.

Линеаризующие преобразования для некоторых нелинейных моделей при-ведены в таблице 2.2.

  Линеаризующие преобразования Таблица 2.2  
     
         
Зависимость Формула Преобразование Зависимость ме-  
          жду параметрами  
    b y y a a  
Гиперболическая y a   1  
x x b b  
    x  
           
Логарифмическая y a b ln x y y a a  
x ln x b b  
       
Степенная yˆ a xb y ln y ln a a  
x ln x b b  
       
Экспоненциальная yˆea b x y ln y a a  
x x   b b  
         
Показательная ŷ = a·bx, y ln y ln a a  
x x   ln b b  
         

Для оценки параметров внутренне нелинейных зависимостей также можно применить метод наименьших квадратов и определять оптимальные значения параметров а и b исходя из условия (2.8) или (2.9). Но в данном случае условия (2.10) уже не являются линейными алгебраическими уравнениями относительнопараметров а и b, поэтому величины параметров а и b удобнее определять непо-средственно из условия (2.9) как значения, доставляющие минимум величине S.

Итерационную процедуру минимизации S в общем виде можно предста-вить в виде следующих последовательных шагов.

1. Задаются некоторые «правдоподобные» начальные (исходные) значенияа0иb0параметров а иb.

2. Вычисляются теоретические значенияŷi = f(xi) с использованием этихзначений параметров.

3. Вычисляются остаткиеi = ŷi – yiи сумма квадратов остатков

S yˆi yi2.

4. Вносятся изменения в одну или более оценку параметров.

5. Вычисляются новые теоретические значения ŷi, остатки еi и S.

6. Если произошло уменьшение S, то новые значения оценок используются

в качестве новой отправной точки.

7. Шаги 4, 5 и 6 повторяются до тех пор, пока не будет достигнута ситуа-ция, когда величину S невозможно будет улучшить (в пределах заданной точ-ности).

8. Полученные на последнем шаге значения параметров а и b являются оценками параметров уравнения регрессии, полученными по нелинейным ме-тодом наименьших квадратов.

Конкретные методы минимизации S отличаются способом выбора новых измененных значений оценок параметров.

Качество оценок МНК линейной регрессии. Теорема Гаусса-Маркова

При использовании полученных различными способами оценок парамет-ров уравнения регрессии (2.6) важно быть уверенными, являются ли они «луч-шими» среди всех остальных в некотором смысле. Ответ на этот вопрос дает теорема Гаусса-Маркова, согласно которой оценки параметров линейной рег-рессии, полученные методом наименьших квадратов, будут несмещенными и эффективными (т. е. будут иметь наименьшую дисперсию) в классе линейных несмещенных оценок при выполнении четырех условий, известных как усло-вия Гаусса-Маркова.

Эти условия принимаются в качестве основных предпосылок регрессион-ного анализа.

1-е условие Гаусса-Маркова: математическое ожидание случайного члена

εiравно нулю в любом наблюдении    
М(εi) = 0. (2.16)  
2-е условие Гаусса-Маркова: дисперсия случайного членаεiпостоянна для  
всех наблюдений    
(2.17)  
D(i).  

3-е условие Гаусса-Маркова: значения случайного члена в любых наблю-дениях εi и εj не коррелируют между собой

Cov(εi, εj) = 0 (i≠j). (2.18)
Это условие с учетом того, что М(εi) =М(εj) = 0 принимает вид  
M(εij) = 0 (i ≠ j). (2.19)
4-е условие Гаусса-Маркова: случайный член должен быть распределен
независимо от объясняющих переменных xi  
Cov(xi, εi) = M (xi, εi) = 0, (2.20)
где было учтено, что М(εi) = 0.  

Следует сказать, что последнее условие заведомо выполняется, если объясняющие переменные xi считаются детерминированными величинами.

Выполнение 4- го условия Гаусса-Маркова обеспечивает несмещенность оценки параметра b.

Выполнение 1-го и 4- го условий Гаусса-Маркова обеспечивает несмещен-ность оценки параметра а.

Нарушение одного из условий Гаусса-Маркова приводит к нарушению эффективности оценок, т. е. в классе несмещенных оценок можно найти такие, которые имеют меньшую дисперсию.

В регрессионном анализе обычно делается еще одна предпосылка о нор-мальности распределения случайного члена, что позволяет выполнить количе-ственную оценку точности полученных оценок параметров (2.13).

После построения модели необходимо вычислить значения остатков еi и проверить выполнение условий Гаусса-Маркова, так как их нарушение снижает качество модели. Если условия нарушаются, то следует модернизировать мо-дель соответствующим образом. Эти вопросы будут рассмотрены в 3 разделе.

Наши рекомендации