Метод наименьших квадратов. Тема 1.7. Метод наименьших квадратов

Тема 1.7. Метод наименьших квадратов

1.7.1. Постановка задачи аппроксимации

1.7.2. Метод наименьших квадратов

1.7.3. Тестовые задания по теме «Аппроксимация функций»

Постановка задачи аппроксимации

Задача аппроксимации (приближения) функции заключается в замене некоторой функции y=f(x) другой функцией g(x, a₀, a₁, ..., a_n) таким образом, чтобы отклонение
g(x, a0, a1, ..., an) от f(x) удовлетворяло в некоторой области (на множестве Х) определённому условию. Если множество Х дискретно (состоит из отдельных точек), то приближение называется точечным, если же Х есть отрезок [a;b], то приближение называется интегральным.

Если функция f(x)задана таблично, то аппроксимирующая функция
g(x, a₀, a₁, ..., a_n) должна удовлетворять определённому критерию соответствия ее значений табличным данным.

Подбор эмпирических формул состоит из двух этапов – выбора вида формулы и определения содержащихся в ней коэффициентов.

Если неизвестен вид аппроксимирующей зависимости, то в качестве эмпирической формулы обычно выбирают один из известных видов функций: алгебраический многочлен, показательную, логарифмическую или другую функцию в зависимости от свойств аппроксимируемой функции. Поскольку аппроксимирующая функция, полученная эмпирическим путем, в ходе последующих исследований, как правило, подвергается преобразованиям, то стараются выбирать наиболее простую формулу, удовлетворяющую требованиям точности. Часто в качестве эмпирической формулы выбирают зависимость, описываемую алгебраическим многочленом невысокого порядка.

Наиболее распространен способ выбора функции в виде многочлена:

,

где φ(x,a₀,a₁,...,a_n)=a₀φ₀(x)+a₁φ₁(x)+...+a_mφ_m(x), а

φ₀(x), φ₁(x),...,φ_m(x)–базисные функции (m-степень аппроксимирующего полинома).

Один из возможных базисов – степенной: φ₀(x)=1, φ₁(x)=х, ..., φ_m(x)=х^m.

Обычно степень аппроксимирующего полинома m<<n, a^T=(a₀,a₁,...,a_m) – вектор коэффициентов. Если погрешность исходных данных e, то количество базисных функций выбирается так, чтобы . Здесь S – численное значение критерия близости аппроксимирующей функции φ(x, a₀, a₁, ..., a_n) и табличных данных. Отклонения между опытными данными и значениями эмпирической функции

e_i = φ(x_i, a₀, a₁, ..., a_m) – y_i, i = 0,1,2,...,n.

Методы определения коэффициентов выбранной эмпирической функции различаются критерием минимизации отклонений.

Метод наименьших квадратов

Одним из способов определения параметров эмпирической формулы является метод наименьших квадратов. В этом методе параметры a₀, a₁, ..., a_nопределяются из условия минимума суммы квадратов отклонений аппроксимирующей функции от табличных данных.

Вектор коэффициентов a^T определяют из условия минимизации

где (n+1) – количество узловых точек.

Условие минимума функции Е приводит к системе линейных уравнений относительно параметров a₀, a₁, ..., a_m. Эта система называется системой нормальных уравнений, её матрица – матрица Грама. Элементами матрицы Грамаявляются суммы скалярных произведений базисных функций

Для получения искомых значений параметров следует составить и решить систему (m+1) уравнения

Пусть в качестве аппроксимирующей функции выбрана линейная зависимость y= a₀+a₁x . Тогда

.

Условия минимума:

Тогда первое уравнение имеет вид

Раскрывая скобки и разделив на постоянный коэффициент, получим

.

Первое уравнение принимает следующий окончательный вид:

.

Для получения второго уравнения,приравняем нулю частную производную по а1:

.

.

Система линейных уравнений для нахождения коэффициентов многочлена (линейная аппроксимация):

Введем следующие обозначения - средние значения исходных данных. Во введенных обозначениях решениями системы являются

.

В случае применения метода наименьших квадратов для определения коэффициентов аппроксимирующего многочлена второй степени y=a₀+a₁x+а₂х² критерий минимизации имеет вид

.

Из условия получим следующую систему уравнений:

Решение этой системы уравнений относительно а₀, а₁, а₂ позволяет найти коэффициенты эмпирической формулы - аппроксимирующего многочлена 2-го порядка. При решении системы линейных уравнений могут быть применены численные методы.

В случае степенного базиса (степень аппроксимирующего полинома равна m) матрица Грама системы нормальных уравнений G и столбец правых частей системы нормальных уравнений имеют вид

G =

В матричной форме система нормальных уравнений примет вид:

.

Решение системы нормальных уравнений

найдется из выражения

В качестве меры уклонения заданных значений функции y₀, y₁, ..., y_n от многочлена степени m - φ(x)=a₀ φ₀(x)+a₁ φ₁(x)+...+a_m φ_m(x) , принимается величина

(n+1) – количество узлов, m – степень аппроксимирующего многочлена, n+1>=m.

На рис.1.7.2-1 приведена укрупненная схема алгоритма метода наименьших квадратов.

Рис. 1.7.2-1. Укрупненная схема алгоритма метода наименьших квадратов

Данная схема алгоритма метода наименьших квадратов является укрупненной и отражает основные процессы метода, где n+1 – количество точек, в которых известны значения х_i, y_i; i=0,1,…, n.

Блок вычисления коэффициентов предполагает вычисление коэффициентов при неизвестных с₀, с₁, …, с_mи свободных членов системы из m+1 линейных уравнений.

Следующий блок – блок решения системы уравнений – предполагает вычисление коэффициентов аппроксимирующей функции с₀, с₁, …, с_m.

Далее вычисляется невязка