Сущность метода наименьших квадратов

ВВЕДЕНИЕ

Метод наименьших квадратов

Требование «наилучшего» согласования кривой и экспериментальных точек сводится к тому, чтобы сумма квадратов отклонений экспериментальных точек от расчетных обращалась в минимум.

Метод наименьших квадратов был описан Лагранжем в 1806 г. в его труде Nouvelles methodes pour la determination des orbites des cometes.Этот математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

Сущность метода наименьших квадратов

Пусть x — набор n неизвестных переменных (параметров),

f _i ( x ), i = 1 , … , m, m > n — совокупность функций от этого набора переменных. Задача заключается в подборе таких значений x , чтобы значения этих функций были максимально близки к некоторым значениям y_i. По существу речь идет о «решении» переопределенной системы уравнений

f _i ( x ) = y _i , i = 1 , … , m в указанном смысле максимальной близости левой и правой частей системы. Сущность МНК заключается в выборе в качестве «меры близости» суммы квадратов отклонений левых и правых частей

| f _i ( x ) − y _i | . Таким образом, сущность МНК может быть выражена на

рисунке 1.1.

Рисунок 1.1 – Сущность МНК

В случае, если система уравнений имеет решение, то минимум суммы квадратов будет равен нулю и могут быть найдены точные решения системы уравнений аналитически или, например, различными численными методами оптимизации. Если система переопределена, то есть, говоря нестрого, количество независимых уравнений больше количества искомых переменных, то система не имеет точного решения и метод наименьших квадратов позволяет найти некоторый «оптимальный» вектор x в смысле максимальной близости векторов y и f ( x ) или максимальной близости вектора отклонений e к нулю (близость понимается в смысле евклидова расстояния).

В частности, в крайнем случае, когда единственным регрессором является константа, получаем, что МНК-оценка единственного параметра (собственно константы) равна среднему значению объясняемой переменной. То есть среднее арифметическое, известное своими хорошими свойствами из законов больших чисел, также является МНК-оценкой — удовлетворяет критерию минимума суммы квадратов отклонений от неё.

Простейшие частные случаи

В случае парной линейной регрессии y t = a + b x t + ε t {\displaystyle y_{t}=a+bx_{t}+\varepsilon _{t}} , когда оценивается линейная зависимость одной переменной от другой, формулы расчета упрощаются (можно обойтись без матричной алгебры). Система уравнений имеет вид:

( 1 x ¯ x ¯ x 2 ¯ ) ( a b ) = ( y ¯ x y ¯ ) {\displaystyle {\begin{pmatrix}1&{\bar {x}}\\{\bar {x}}&{\bar {x^{2}}}\\\end{pmatrix}}{\begin{pmatrix}a\\b\\\end{pmatrix}}={\begin{pmatrix}{\bar {y}}\\{\overline {xy}}\\\end{pmatrix}}}

Рисунок 2.1 – парная регрессия

Отсюда несложно найти оценки коэффициентов:

{ b ^ = Cov ( x , y ) Var ( x ) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . {\displaystyle {\begin{cases}{\hat {b}}={\frac {{\mathop {\textrm {Cov}}}(x,y)}{{\mathop {\textrm {Var}}}(x)}}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{{\overline {x^{2}}}-{\overline {x}}^{2}}},\\{\hat {a}}={\bar {y}}-b{\bar {x}}.\end{cases}}}

Рисунок 2.2 - оценки коэффициентовРР

Несмотря на то, что в общем случае модели с константой предпочтительней, в некоторых случаях из теоретических соображений известно, что константа a {\displaystyle a} а должна быть равна нулю. Например, в физике зависимость между напряжением и силой тока имеет вид U = I ⋅ R {\displaystyle U=I\cdot R} U = I * R; замеряя напряжение и силу тока, необходимо оценить сопротивление. В таком случае речь идёт о модели y = b x {\displaystyle y=bx} y = bx. В этом случае вместо системы уравнений имеем единственное уравнение

( ∑ x t 2 ) b = ∑ x t y t {\displaystyle \left(\sum x_{t}^{2}\right)b=\sum x_{t}y_{t}}

Рисунок 2.3 – уравнение y = bx

Следовательно, формула оценки единственного коэффициента имеет вид

b ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ {\displaystyle {\hat {b}}={\frac {\sum _{t=1}^{n}x_{t}y_{t}}{\sum _{t=1}^{n}x_{t}^{2}}}={\frac {\overline {xy}}{\overline {x^{2}}}}}

Рисунок 2.4 – формула для оценки 1 коэффициента

Основные сведения

Среднеквадратическое отклонение измеряется в единицах измерения самой случайной величины и используется при расчёте стандартной ошибки среднего арифметического, при построении доверительных интервалов, при статистической проверке гипотез, при измерении линейной взаимосвязи между случайными величинами. Определяется как квадратный корень из дисперсии случайной величины.

Среднеквадратическое отклонение:

s = n n − 1 σ 2 = 1 n − 1 ∑ i = 1 n ( x i − x ¯ ) 2 ; {\displaystyle s={\sqrt {{\frac {n}{n-1}}\sigma ^{2}}}={\sqrt {{\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}};}

· Примечание: Очень часто встречаются разночтения в названиях СКО (Среднеквадратического отклонения) и СТО (Стандартного отклонения) с их формулами. Например, в модуле numPy языка программирования Python функция std() описывается как "standart deviation", в то время как формула отражает СКО (деление на корень из выборки). В Excel же функция СТАНДОТКЛОН() другая (деление на корень из n-1).

Стандартное отклонение (оценка среднеквадратического отклонения случайной величины x относительно её математического ожидания на основе несмещённой оценки её дисперсии) s {\displaystyle s} S:

σ = 1 n ∑ i = 1 n ( x i − x ¯ ) 2 . {\displaystyle \sigma ={\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}.}

где σ 2 {\displaystyle \sigma ^{2}} — дисперсия; x i {\displaystyle x_{i}} — i-й элемент выборки; n {\displaystyle n} — объём выборки; x ¯ {\displaystyle {\bar {x}}} — среднее арифметическое выборки:

x ¯ = 1 n ∑ i = 1 n x i = 1 n ( x 1 + … + x n ) . {\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}={\frac {1}{n}}(x_{1}+\ldots +x_{n}).}

Следует отметить, что обе оценки являются смещёнными. В общем случае несмещённую оценку построить невозможно. Однако оценка на основе оценки несмещённой дисперсии является состоятельной.

В соответствии с ГОСТ Р 8.736-2011 среднеквадратическое отклонение считается по второй формуле данного раздела. Пожалуйста, сверьте результаты.

ВВЕДЕНИЕ

Метод наименьших квадратов

Требование «наилучшего» согласования кривой и экспериментальных точек сводится к тому, чтобы сумма квадратов отклонений экспериментальных точек от расчетных обращалась в минимум.

Метод наименьших квадратов был описан Лагранжем в 1806 г. в его труде Nouvelles methodes pour la determination des orbites des cometes.Этот математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

Сущность метода наименьших квадратов

Пусть x — набор n неизвестных переменных (параметров),

f _i ( x ), i = 1 , … , m, m > n — совокупность функций от этого набора переменных. Задача заключается в подборе таких значений x , чтобы значения этих функций были максимально близки к некоторым значениям y_i. По существу речь идет о «решении» переопределенной системы уравнений

f _i ( x ) = y _i , i = 1 , … , m в указанном смысле максимальной близости левой и правой частей системы. Сущность МНК заключается в выборе в качестве «меры близости» суммы квадратов отклонений левых и правых частей

| f _i ( x ) − y _i | . Таким образом, сущность МНК может быть выражена на

рисунке 1.1.

Рисунок 1.1 – Сущность МНК

В случае, если система уравнений имеет решение, то минимум суммы квадратов будет равен нулю и могут быть найдены точные решения системы уравнений аналитически или, например, различными численными методами оптимизации. Если система переопределена, то есть, говоря нестрого, количество независимых уравнений больше количества искомых переменных, то система не имеет точного решения и метод наименьших квадратов позволяет найти некоторый «оптимальный» вектор x в смысле максимальной близости векторов y и f ( x ) или максимальной близости вектора отклонений e к нулю (близость понимается в смысле евклидова расстояния).