Тема: «Метод наименьших квадратов»

Предположим, что проводятся измерения через равные промежутки некоторой функции x = x(t) - неизвестная функция. В результате измерений получают некоторый набор значений:

t	t1	t2	…	tn
x(t)	x1	x2	…	xn

Перед нами стоит задача выбрать аппроксимирующую функцию из некоторого класса функций такую, что сумма будет минимальной, при этом подбираются неизвестные параметры

Необходимо найти минимум функции Ф.

Решая систему нормальных уравнений, находим значения параметров

Пример.

Напишем систему нормальных уравнений для случая, когда в качестве класса функции выбирается система уравнений 1-ой степени.

интегральная сумма

при увеличении частоты измерений

весовой коэффициент

Тема: «Получение МНК на основе принципа наибольшего правдоподобия»

ОПР:

Функция x = x(t) называется случайной функцией или случайным процессом, если при каждом t она принимает случайное значение, т.е. при каждом t она является случайной величиной.

Случайную функцию или случайный процесс будем обозначать как:

{x(t)}
Конкретную реализацию случайной функции мы будем называть реализацией случайной функции.

Пусть задан случайный процесс K ={x(t)} и пусть заданы отдельные значения x₀, x₁, x₂, …, x_n некоторой реализации этого случайного процесса. Тогда пусть эти данные представляют реализацию y = y(t)

Будем считать, что наши измерения:

1) x(t) – y(t) подчиняются нормальному закону распределения

2) не имеют ошибки

a = M [x(t) – y(t)] = 0

M [x(t)] – M [y(t)] = 0

M [x(t)] = y(t)

3) являются равноточными

D [x(t) – y(t)] = , где некоторая константа

Будем так же предполагать, что значения x₀, x₁, x₂, …, x_n получены через равные промежутки

Воспользуемся методом наибольшего правдоподобия для нахождения реализации y = y(t)

Рассмотрим при каждом t случайную величину x(t) – y(x). Очевидно, что эта случайная величина имеет реализации

Воспользуемся методом наибольшего правдоподобия

Эта функция правдоподобия примет наибольшее значение тогда, когда

принимает наименьшее значение, т.е. когда принимает наименьшее значение. Т.о. y(t) является решением оптимизационной задачи:

Но min берется по всем возможным реализациям.

Тема: «Интегральная форма МНК»

Впредь вместо y(t) будем писать x₀(t)

Предположим, что наши реализации случайных функций зависят от параметров , в этом случае нашу задачу на МНК можно переписать:

Умножим обе части равенства на

Определение интеграла:

Точки – берутся произвольно, главное из промежутка

–интегральная сумма

Точно также сумма правой части в оптимизационной задачи 1 будет стремиться при к интегралу:

Наша задача на МНК в интегральной форме будет иметь вид:

Тема: «Метод наименьших квадратов при неравномерном распределении точек измерений»

Перейдем в этом выражении к интегральным суммам:

Сложим эти два выражения:

Метод наименьших квадратов свелся к решению следующей оптимизационной задачи:

Где: