Метод наименьших квадратов (МНК)

При эмпирическом (экспериментальном) изучении функциональной зависимости одной величины у от другой величины хпроизводят ряд измерений величины у при различных значениях величины х. Результаты

могут быть представлены в виде таблицы

Х	Х1	Х2	…	Хк	…	ХN
У	У1	У2	…	Ук	…	УN

или графически

Задача заключается в аналитическом представлении искомой функциональной зависимости, т.е. в подборе формулы, описывающей результаты эксперимента. Особенность задачи состоит в том, что наличие случайных ошибок измерения (или, как говорят, наличие «шума» в эксперименте) делает неразумным подбор такой формулы, которая точно описывала бы все опытные значения. Другими словами, график искомой функции не должен проходить через все точки, а должен по возможности сглаживать «шум».

Эмпирическую формулу обычно выбирают из формул определенного типа, например,

у= а х+b, у= а х²+ b х+с, у= а е^bх+с, у= а +h sin (ωx+φ), …

Другими словами, задача сводится к определению параметров а, в, с, … формулы, в то время как вид формулы известен заранее из каких-либо теоретических соображений или из простоты аналитического представления эмпирического материала.

Обозначим выбранную функциональную зависимость через

у=f(х, а₁, а₂, …, а _n) (1)

с явным указанием всех параметров подлежащих определению.

Эти параметры а₁, а₂, …, а_n нельзя определить точно по эмпирическим значениям функции у₁, у₂, …, у_n, т.к. последние содержат случайные ошибки. Речь идет только о получении «достаточно хороших» оценок искомых параметров. МНК позволяет получить несмещенные и состоятельные оценки всех параметров а₁, а₂, …, а_n. В наиболее часто встречающемся случае, когда эти параметры входят в формулу (1) линейно, оценки параметров, получаемые по МНК, являются также и эффективными.

Оценки параметров а₁, а₂, …, а_n определяются из условия, чтобы сумма квадратов отклонений измеренных значений у_к от расчетных f(x_k, а₁, а₂, …, а_n), т.е. величина

(2)

(где w_к веса измерений) принимала наименьшее значение.

Отыскание тех значений параметров а₁, а₂, …, а_n, которые доставляют наименьшее значение функции

S=S(а₁, а₂, …, а_n),

Сводится к решению системы уравнений

. (3)

Допустим, что эмпирическая функция ищется в виде

у=f(х, а, b)=ах+ b.

При определении параметров а и bпо МНК эта прямая проходит через точку ( ), координаты которой являются средними значениями координат данных точек:

(4)

Поэтому уравнение прямой целесообразно записать в виде

. (5)

Параметр а определяется по формуле:

(6)

где (7)

Если все измерения производятся с одинаковой точностью (т.е. все веса w_к=1), то формула для параметров упрощаются следующим образом:

, , , .

Наиболее простой расчет получается в том случае, когда значения аргумента выбираются равноотстоящими:

(к=1, 2, …, N-1),

а измерения значений функции у_к производятся с одинаковой точностью.

В этом случае ,

а линейную функцию записывают в виде

(8)

где параметр аh вычисляется по формуле:

(9)

Пример 2.1.

Экспериментально получены восемь значений функции у=f(x) при восьми значениях аргумента, которые записаны в таблице:

Х
У	7,6	5,6	6,6	4,4	5,4	3,9	1,9	2,4

Методом наименьших квадратов (МНК) найти функцию вида у=ах+b, выражающую (аппроксимирующую) функцию у=f(х). Сделать чертеж, на котором в декартовой прямоугольной системе координат построить экспериментальные точки и график полученной функции у= ах+b.

М( x, y)

Решение. Значения аргумента х равноотстоящие: х_к+1-х_к=h=1 и значения у_n заданы одинаковой точностью, поэтому искомую линейную функцию записываем в виде (8)

Вычислим: ;

;

параметр аh=а вычисляется по формуле (9)

.

Тогда по формуле (8) имеем

или

на рисунке указаны экспериментальные точки, а прямая

у=-0,738х+8,06 проведена по точкам М(4,5; 4,725) и К(0; 8,046).

Численное интегрирование

Правило трапеций, оценка ошибки

Правило трапеций обычно применяют в том случае, когда значения функции измерены для равноотстоящих значений аргумента, т.е. представлены таблицей с постоянным шагом h:

х	у=f(х)
х0=а	у0
х1=х0+h	у1
х2=х1+h	у2
…	…
хn=в=хn-1+h	уn

По правилу трапеций в качестве приближенного значения интеграла

(1)

принимают величину

, (2)

т.е. полагают . Геометрическая интерпретация правила трапеций дана на рис. 1: площадь криволинейной трапеции заменяется суммой площадей прямолинейных трапеций.

При этом, как показано на рис. 1, измеренные значения функции у_к могут не совпадать со значениями функции f(x) в точках х_к, т.к. измеренные значения функции содержат ошибки эксперимента.

Полная ошибка вычисления интеграла по правилу трапеций оценивается как сумма двух ошибок: ошибки усечения (аналитической ошибки), вызванной заменой криволинейной трапеции прямолинейными, и ошибки округления (эмпирической ошибки), вызванной ошибками измерения значений функции.

а) Ошибка усечения оценивается в зависимости от степени гладкости функции f(x) следующим образом.

1) Для функции у= f(x), непрерывной на отрезке [a, b],

,

что обеспечивает вычисление интеграла с любой наперед заданной точностью при достаточно малом шаге h.

2) Для функции у= f(x) с непрерывной производной второго порядка на отрезке [a, b]

, (3)

где с – некоторая точка интервала (a, b) или

, (4)

где , о(h²) есть малая более высокого порядка, чем h², при

Приближенно оценка ошибки усечения дается формулой

(5)

где Т_2h – величина той же структуры, что и Т_h, но с двойным шагом 2h (для возможности такой оценки число интервалов n надо брать четным).

б) Ошибка округления оценивается следующим образом. В предположении, что измерения всех значений функции у_к произведены независимо друг от друга с одинаковой точностью, а именно со средней квадратической ошибкой G, средняя квадратическая ошибка величины Т_h составляет . . Если ошибки измерения более или менее точно следуют нормальному закону распределения (с центром 0 и дисперсией G²), то по правилу трех сигм принято считать, что ошибки округления не превосходит величины 3(b-a) (надежность этого вывода можно считать достаточной при достаточно больших n).

Пример 3.1. Вычислить определенный интеграл с использованием формулы трапеций при n=5 и n=10. Для n=10 оценить ошибку как сумму двух ошибок: ошибки усечения и ошибки округления.

Решение. Т.к. при n=5, ; а при n=10, , поэтому вычислим значения подынтегральной функции в точках а=х₀=1, х_к=х₀+кh=1+0,1•к, при к=1, 2, …, 10. Результаты внесем в таблицу

х		1,1	1,2	1,3	1,4	1,5	1,6	1,7	1,8	1,9
		2,00909	2,03333	2,06923	2,11429	2,16667	2,22500	2,28824	2,35556	2,42632	2,50000
ех+1/х	7,3891	7,4565	7,6395	7,9187	8,2837	8,7292	9,8257	9,8556	10,5440	11,3172	12,1825

а) n=5; h=0,2 используем формулу (2)

б) n=10; h=0,1.

Приближенная оценка ошибки усечения по формуле (5)

Для более точной оценки ошибки усечения по формуле (3)

находим : , ,

.

Тогда: при 1<c<2 можно оценить сверху

=31,2176. Следовательно ошибка усечения по формуле (3)

Ошибку округления вычисляем по формуле , , где G=0,0001 (значения у_к вычислены с точностью 10^-4), h=0,1, n=10

Тогда общая ошибка .

Т.о. мы имеем, что при n=10

и ошибка вычисления не превосходит .

4. Задания контрольной работы

Задача 1. Даны результаты N=30 измерений:

хк	х1	х2	х3	х4	х5	х6	х7	х8	х9
mк

где m_к – частота х_к.

а) Требуется оценить истинное значение измеряемой величины а с надежностью 0,99;

б) х_*=х₉+2h результат тридцать первого измерения исключен как «выскакивающее». С какой надежностью исключен из обработки х_*?

Правило составления исходных данных по номеру зачетной книжки для задачи 1.

Допустим, что А, В, С составляют три последние цифры номера зачетной книжки (если цифра равна 0, то соответствующее ей значение А, В или С принимается равным 10).

Тогда: х₁ = 10•А+В, h=0,5•С и х_к = х₁+(к-1)h, где к=1,2,…, 9.

Задача 2. Экспериментально получены восемь значений функции у=f(х) при восьми значениях аргумента, которые записаны в таблице:

х
у	у1	у2	у3	у4	у5	у6	у7	у8

Методом наименьших квадратов найти функцию вида Υ=ах+b, выражающую приближенно (апроксимирующую) функцию у=f(х). Сделать чертеж, на котором в декартовой прямогральной системе координат построить экспериментальные точки и график апроксимирующей функции у=ах+b.

Правило составления исходных данных по номеру зачетной книжки для задачи 2.

Вариант для у_к выбирается по двум последним цифрам номера зачетной книжки. Если предпоследняя цифра четная или 0, то номер варианта равен последней цифре. Если предпоследняя цифра нечетная то номер варианта равен последней цифре +10.

Задача 3. Вычислить определенный интеграл с использованием формулы трапеций для n=5 и n=10. Для n=10 оценить ошибку как сумму двух ошибок: ошибки усечения и ошибки окружения.

Варианты выбираются по последней цифре номера зачетной книжки

Вариант	Интеграл	Вариант	Интеграл

Таблица I

Интеграл вероятностей

Таблица II

Величины, связанные с интегралом вероятностей Ф(t);

функции t=t() является обратной для =2Ф(t)

Таблица III

Критические значения t_n () отношения (1.3-2)

для браковки «выскакивающих» значений х_*

(n – число приемлемых результатов, – надежность вывода)

Таблица IV

Распределение Стьюдента. Значения t=t(; k)

Контрольные вопросы

1. Правила приближенных вычислений и оценка ошибок округления.

2. Классификация ошибок измерения.

3. Распределение случайных ошибок измерения.

4. Методы исключения грубых ошибок.

5. Средние значения и их оценки.

6. Точечные и интервальные оценки.

7. Оценки точности измерений.

8. Оценки дисперсий.

9. Постановка задачи МНК.

10. Отыскание параметров линейной и квадратичной функций по МНК.

11. Численное интегрирование. Оценка ошибок.

12. Численное дифференцирование. Оценка ошибок.

Литература

1. Гнеденко Б.В. Курс теории вероятностей. – М.: Наука, 1971.

2. Гмурман В.Е. Теория вероятностей и математическая статистика. – М.: Высшая школа, 1998.

3. Калинина В.Н., Пакин В.Ф. Математическая статистика. Москва, Высшая школа, 1998.

4. Румшиский Л.З. Элементы теории вероятностей. – М.: Наука, 1963.

5. Румшиский Л.З. Математическая обработка результатов эксперимента. – М.: Наука, 1971.