Метод наименьших квадратов

Лабораторная работа1.

Пусть на вход некоторого прибора подается сигнал , а на выходе измеряется сигнал . Известно, что величины и связаны функциональной зависимостью, но какой именно – неизвестно. Требуется определить эту функциональную зависимость приближенно (из опыта). Пусть в результате n измерений получен ряд экспериментальных точек. Известно, что через n точек можно всегда провести кривую, аналитически выражаемую многочленом -й степени. Этот многочлен называют интерполяционным. И вообще, замену функции на функцию так, что их значения совпадают в заданных точках

(1.1)

называют интерполяцией.

Однако такое решение проблемы не является удовлетворительным, поскольку из-за случайных ошибок измерения и влияния на измерения значений помех и шумов в приборе. Так что

(1.2)

где -- некоторая случайная ошибка. Поэтому требуется провести кривую так, чтобы она в наименьшей степени зависела от случайных ошибок. Эта задача называется сглаживанием (аппроксимацией) экспериментальной зависимости и часто решается методом наименьших квадратов. Сглаживающую кривую называют аппроксимирующей.

Задача аппроксимации решается следующим образом. В декартовой прямоугольной системе координат наносят точки. По расположению этих точек высказывается предположение о принадлежности искомой функции к определенному классу функций. Например, линейная функция квадратичная и т.д. В общем случае . Неизвестные параметры функции определяются из требования минимума суммы квадратов случайных ошибок, т.е. минимума величины

(1.3)

Величина называется также суммарной невязкой. Необходимым условием минимума функции нескольких переменных является обращение в нуль частных производных невязки:

(1.4)

Решая систему уравнений (1.4), находим неизвестные параметры и тем самым полностью определяем функцию, которая наилучшим образом (в смысле наименьших квадратов отклонений от исходных точек или наименьшей суммарной невязки) аппроксимирует (приближает) искомую функцию.

Остановимся подробнее на линейной зависимости .

Дифференцируя (1.3), получим следующую систему уравнений:

(1.5)

Из первого уравнения находим , где

(1.6)

Подставляя выражение для во второе уравнение, найдем

(1.7)

где

(1.8)

Таким образом,

(1.9)

есть искомая линейная функция.

Ввиду простоты расчетов линейная зависимость используется довольно часто. Кроме того, многие функции, зависящие от двух параметров, можно линеаризовать путем замены переменных.

Для этого необходимо подобрать такое преобразование исходной зависимости , в результате которого зависимость приобретает линейный вид . Далее решается задача линейной аппроксимации для новой зависимости и вычисленные коэффициенты и пересчитываются в коэффициенты и .

Для ряда часто встречающихся двухпараметрических зависимостей возможные замены переменных приведены в табл. 1.1.

Таблица 1.1

Вид зависимости	Замена переменных	Ограничения
Гиперболическая
Логарифмическая
Показательная
Степенная
Комбинированная

Обратные замены для пересчета и в и . приведены в табл. 1.2.

Таблица 1.2

Вид зависимости	Обратная замена переменных	Ограничения
Гиперболическая			-
Логарифмическая			-
Показательная			-
Степенная			-
Комбинированная			-

Задание к лабораторной работе 1

В табл. 1.3 приведены экспериментально полученные точки, определяющие зависимость между переменными x и y по одной из пяти функций, приведенных в табл. 1.1.

Необходимо составить документ, позволяющий линеаризовать зависимость и подобрать параметры и по методу наименьших квадратов и проверить правильность вычислений с помощью известной зависимости. Правильно составленный документ будет давать пренебрежимо малую невязку в том случае, когда значения Y вычисляются точно по заданной зависимости (ошибки будут возникать только за счет округлений при вычислении).

Поскольку вид зависимости первоначально неизвестен, следует проделать вычисления для всех пяти зависимостей и выбрать ту из них, которая обеспечивает наименьшую из всех вычисленных суммарную невязку.

Эти данные заносятся в протокол выполнения работы и служат основанием для составления отчета с выводами по работе.

Таблица 1.3

		х	-1	-0.55	-0.1	-0.35	0.35 0.8 1.25 1.7 2.15 2.6 3.05	0.8	1.25	1.7	2.15	3.05
		у	-6.78	-6.56	-6.14	-5.31	-3.68	-0.85	5.81	18.15	42.4	90.03
		х	0.01	0.56	1.11	1.66	2.21	2.28	3.3	3.85	4.4	4.95
		у	34.23 5.97 1.28	1.54	3.54	5.09	6.36	7.44	8.37	9.2	34.23 5.97 1.28	1.54
		х	-2	-1.6	-1.2	-0.8	-0.4		0.4	0.8	1.2	1.6
		у		10.24	5.76	2.56	0.53		0.64	2.56	5.76	10.24
		х	0.3	1.57	2.84	4.11	5.38	6.65	7.92	9.19	10.46	11.73
		у	15.33	4.55	3.41	2.97	2.74	2.6	2.59	2.44	2.38	2.34
		х	-3.5	-2.65	-1.8	-0.95	-0.1	0.75 0.75 1.6 2.45 3.3 4.15	1.6	2.43	3.3	4.15 0.75 1.6 2.45 3.3 4.15
		у	0.01	0.03	0.07	0.12	0.19	0.2	0.29	0.31	0.325	0.33
		х	0.15	0.94	1.72	2.51	3.29	4.08	4.86	5.65	6.43	7.22
		у	-9.69	-4.2	-2.37	-1.25	-0.43	0.21	0.74	1.3	1.58	1.93
		х	0.35	0.82	1.28	1.75	2.21	2.675	3.14	3.605	4.07	4.535
		у	6.86	5.23	4.78	4.57	4.45	4.37	4.35	4.28	4.25	4.22
		х	-1	-0.8	-0.6	-0.4	-0.2	0.0	0.2	0.4	0.6	0.8
		у	4.14	4.2	4.3	4.45	4.67		5.49	6.85	7.32	8.95
		х		2.3	2.6	2.9	3.2	3.5	3.8	4.1	4.4	4.7
		у	2.67	4.06	6.16	8.13	10.92	14.29	18.29	22.97	28.39	34.6
		х	-5	-4	-3	-2	-1
		у	0.01	0.02	0.05	0.11	0.21	0.38	0.42	0.47	0.49	0.5
		х	0.95	1.21	1.47	1.74	2.0	2.26	2.52	2.78	3.05	3.31
		у	8.16	3.39	2.19	1.34	0.88	0.61	0.54	0.33	0.28	0.19
		х	0.35	0.82	1.28	1.75	2.21	2.68	3.14	3.61	4.07	4.535
		у	16.99	8.83	6.61	5.56	4.96	4.62	4.29	4.09	3.93	3.8
		х	-1.7	-1.43	-1.16	-0.89	-0.62	-0.35	-0.08	0.19	0.46	0.73
		у	26.96	14.46	7.17	2.92	0.45	-0.98	-1.35	-2.31	-2.6	2.77
		х	-5	-3.5	-2	-0.5		2.5		5.5		8.5
		у		0.01	0.06	0.28	0.87	2.05	2.92	3.23	3.31	3.33
		х	-2	-1.4	-0.8	-0.2	0.4	1.0	1.6	2.2	2.8	3.4
		у	6.8	3.33	1.09	0.02	0.27	1.7	4.35	8.23	13.33	19.65
	х	0.4	0.86	1.32	1.78	2.24	2.7	3.16	3.62	4.08	4.54
	у	-20.5	-11.2	-8.3	-6.93	-6.5	5.59	-5.3	4.93	4.83	4.54
	х	0.01	0.51	1.01	1.52	2.01	2.51	3.0	3.05	4.0	4.5
	у	1.14	2.39	3.01	3.37	3.63	3.83	3.99	4.13	4ё25	4ё35
	х	-5	-3.91	-2.82	-1.73	-0.64	0.45	1.54	2.63	3.72	4.81
	у		-0.01	-0.01	-0.03	-0.07	-0.18	-0.2	-0.23	-0.24	-0.25
	х	-2.1	-1.79	-1.48	-1.17	-0.86	-0.55	-0.24	0.07	0.38	0.69
	у	0.28	0.29	0.3	0.32	0.36	0.48	0.78	1.52	3.41	8.21
	х	0.01	0.53	1.05	1.57	2.09	2.61	3.12	3.64	4.16	4.68
	у	15.22	3.31	1.26	0.05	-0.81	-1.74	-2.17	-2.48	-2.88	-3.23
	х		0.4	0.8	1.2	1.6	2.0	2.4	2.8	3.2	3.6
	у	0.3	7.5	11.37	14.5	17.24	19.9	21.98	24.11	26.12	28.04
	х	-4	-3.01	-2.02	-1.03	-0.04	0.95	1.94	2.93	3.92	4.91
	у	-0.02	-0.05	-0.12	-0.26	-0.49	-0.72	-0.87	-0.94	-0.98	-0.99
	х	0.4	0.81	1.22	1.5	2.04	2.45	2.86	3.27	3.68	4.09
	у	1.8	0.53	0.12	-0.09	-0.21	-0.31	-0.35	-0.39	-0.43	-0.46
	х	-1	-0.72	-0.44	-0.17	0.12	0.39	0.67	0.95	1.22	1.5
	у	-4.95	-4.89	-4.74	-4.39	-3.6	-1.93	2.42	12.08	34.33	85.55

Содержание отчета

Отчет к занятию 1 должен содержать:

- теоретическое введение;

- номер индивидуального варианта;

- исходные данные (массивы X и Y), взятые из таблицы 1.3;

- текст разработанного документа;

- пробный расчет для точек известной зависимости, измеренных без ошибок для проверки правильности документа;

- результаты вычисления невязок и графики исходных и линеаризованных кривых для всех пяти зависимостей;

- выводы по проделанной работе, позволяющие решить, какая из зависимостей измерялась в данном варианте работы.

Контрольные вопросы

I. Что такое интерполяция и аппроксимация? Чем они отличаются?

2. В чем заключается метод наименьших квадратов?

3. Являются ли необходимые условия минимизации (1.5) также и достаточными?

4. В каком случае можно линеаризовать аппроксимирующую кривую?

5. С какой целью и каким образом проводится линеаризация?