OМНК при большом объеме выборки

Известно, что в асимптотике (при OМНК при большом объеме выборки - student2.ru ) Марковские оценки стремятся к МНК оценкам, но ковариационная матрица этих оценок вычисляется по другим выражениям.

OМНК при большом объеме выборки - student2.ru

Если обращение не коррелированно, то OМНК при большом объеме выборки - student2.ru .

OМНК при большом объеме выборки - student2.ru

Таким образом, при большом объеме выборки (число измерений больше 100) вместо Марковских оценок можно использовать МНК оценки с преобразованной ковариационной матрицей. Это значительно проще с вычислительной точки зрения.

Метод максимального правдоподобия

Идея метода заключается в следующем. Имеется объект с n входами.

OМНК при большом объеме выборки - student2.ru OМНК при большом объеме выборки - student2.ru

OМНК при большом объеме выборки - student2.ru - случайные величины, имеющие какое-то распределение.
OМНК при большом объеме выборки - student2.ru - плотность распределения.

Поскольку источником распределения случайных величин OМНК при большом объеме выборки - student2.ru является наличие случайной величины e(t), то законы распределения OМНК при большом объеме выборки - student2.ru совпадают с законом распределения e(t).

Параметры распределения разные, причем математическое ожидание разное, а дисперсии при стационарном случайном процессе e(t) одинаковы.

Зная плотности распределения, можно вычислить функцию правдоподобия:

OМНК при большом объеме выборки - student2.ru

В частном случае, если измерения независимы, n-мерная плотность распределения равна произведению OМНК при большом объеме выборки - student2.ru .

Функция правдоподобия зависит от известных параметров.

OМНК при большом объеме выборки - student2.ru - это оценка максимального правдоподобия.

Оценка максимального правдоподобия максимизирует нашу функцию.

Для упрощения вычислений обычно максимизируют не исходную функцию правдоподобия, а логарифмическую функцию правдоподобия:

OМНК при большом объеме выборки - student2.ru

Рассмотрим пример.
Есть модель y=au+e, измерения входа OМНК при большом объеме выборки - student2.ru , измерения выхода OМНК при большом объеме выборки - student2.ru .
Найти OМНК при большом объеме выборки - student2.ru .

Предположим, что закон распределения случайной величины нормальный: OМНК при большом объеме выборки - student2.ru .

OМНК при большом объеме выборки - student2.ru -нормально - распределенная величина.

Найдем OМНК при большом объеме выборки - student2.ru . OМНК при большом объеме выборки - student2.ru , так как OМНК при большом объеме выборки - student2.ru

OМНК при большом объеме выборки - student2.ru

Полученная оценка OМНК при большом объеме выборки - student2.ru совпадает с МНК оценкой при нормальном законе распределения. Недостатком метода максимального правдоподобия является необходимость знания закона распределения случайной величины e(t).

Тема 4. Статистический анализ уравнений регрессии

Цель и этапы статистического анализа уравнений регрессии

Проверка значимости

Проверка адекватности

Расчет доверительных интервалов

Цель и этапы статистического анализа уравнений регрессии

OМНК при большом объеме выборки - student2.ru

OМНК при большом объеме выборки - student2.ru -уравнение регрессии

Статистический анализ уравнения регрессии включает в себя три этапа:

I- проверка значимости оценок неизвестных коэффициентов модели.

II- проверка адекватности представления результатов эксперимента полученным у авнениям регрессии.

III- расчет доверительных интервалов для истинных значений входов.

Целью статистического анализа является уточнение структуры модели с обоснованием правильности ее выбора и оценка точности предсказания по модели.

Проверка значимости.

Имеем OМНК при большом объеме выборки - student2.ru - оценки соответствующих коэффициентов.

Мы должны проверить (оценить) коэффициенты OМНК при большом объеме выборки - student2.ru на их отличие от нуля.

Проверка значимости i-ого коэффициента модели эквивалентна проверке гипотезы о том, что OМНК при большом объеме выборки - student2.ru (нуль-гипотеза). Исходными данными этой гипотезы являются оценка коэффициентов и дисперсия (точность) оценки. Проверка гипотезы сводится к использованию статистики с известным законом распределения.

Статистикой называют некоторое выражение, построенное на известных оценочных характеристиках.

Известно, что отношение модуля оценки к корню квадратному из оценки дисперсии называется t-распределением (Стьюдента).

OМНК при большом объеме выборки - student2.ru

Нуль-гипотеза принимается, если отношение OМНК при большом объеме выборки - student2.ru меньше некоторого критического значения OМНК при большом объеме выборки - student2.ru . Если неравенство не выполняется, то нуль-гипотеза отвергается.

OМНК при большом объеме выборки - student2.ru - это квантиль распределения Стьюдента, соответствующий уровню значимости OМНК при большом объеме выборки - student2.ru и числу степеней свободы OМНК при большом объеме выборки - student2.ru .

OМНК при большом объеме выборки - student2.ru .

Квантиль - это значение случайной величины, соответствующее заданной вероятности.

OМНК при большом объеме выборки - student2.ru , где Р- доверительная вероятность, то есть вероятность, с которой принимается нуль-гипотеза при выполнении нашего неравенства OМНК при большом объеме выборки - student2.ru . Обычно OМНК при большом объеме выборки - student2.ru

Квантили определяются по справочнику следующим образом:

OМНК при большом объеме выборки - student2.ru

После проверки значимости все незначащие коэффициенты исключаются из модели. Таким образом осуществляется корректировка структуры модели.

Проверка адекватности.

Проверка адекватности сводится к проверке гипотезы о равенстве дисперсии адекватности и дисперсии внешнего шума: OМНК при большом объеме выборки - student2.ru .

Дисперсия адекватности характеризует точность предсказания выхода по модели, то есть это дисперсия случайной величины, которая является разностью между экспериментальным значением выхода и значением выхода, рассчитанным по модели.

OМНК при большом объеме выборки - student2.ru

1. OМНК при большом объеме выборки - student2.ru -оценка дисперсии внешнего шума.

2. OМНК при большом объеме выборки - student2.ru

Отношение OМНК при большом объеме выборки - student2.ru - F-распределение (по закону Фишера)

Если выполняется неравенство OМНК при большом объеме выборки - student2.ru , то модель признается адекватной экспериментальным данным. В противном случае, модель не адекватна, то есть структура модели выбрана неверно. Ее необходимо изменить и для новой структуры провести все исследование.

Квантиль ( OМНК при большом объеме выборки - student2.ru ) должен удовлетворять трем условиям OМНК при большом объеме выборки - student2.ru ,

где OМНК при большом объеме выборки - student2.ru -уровень значимости;

OМНК при большом объеме выборки - student2.ru - число степеней свободы числителя дисперсионного отношения;

OМНК при большом объеме выборки - student2.ru - число степеней свободы знаменателя дисперсионного отношения.

Для определения OМНК при большом объеме выборки - student2.ru используется справочник, но предварительно выбирается конкретное значение OМНК при большом объеме выборки - student2.ru .

OМНК при большом объеме выборки - student2.ru

Наши рекомендации