Оценивание функции отклика и ее параметров.

Пусть – одномерная функция отклика. Ее оценка в любой точке имеет вид:

. (15)

Если – МНК-оценка вектор-столбца неизвестных параметров β = (b₁ b₂ ... b_p)^T, полученная по наблюдениям в точках x₁, x₂, ..., x_N, и ранг матрицы планирования X равен p, то оценка (15) является несмещенной и при заданной матрице плана (12) в классе линейных несмещенных оценок имеет минимальную дисперсию.

Пример 1. Пусть ; тогда оценка будет иметь вид .

Если столбцы матрицы планирования попарно ортогональны, т. е. при i ¹ j (i, j = 1, 2, ..., p) выполняются равенства

f_i(x₁) f_j(x₁) + f_i(x₂) f_j(x₂) + ... + f_i(x_N) f_j(x_N) = 0, (16)

то говорят, что имеет место ортогональное планирование.

Обозначим X_j = ( f_j(x₁), f_j(x₂), ..., f_j(x_N)), тогда имеем

f_i(x₁)² + f_i(x₂)² + ... + f_i(x_N)² = |X_j |² . (17)

Заметим, что вектор X_j, рассматриваемый как вектор‑столбец, совпадает с j-м столбцом матрицы X, поэтому из (16) и (17) следует

,

откуда и по формуле (9)

.

Отсюда при всех j = 1, 2, ..., p следует

. (18)

Равенство (10) показывает, что МНК-оценки (18) некоррелированы и при этом .

Пример 2. Пусть , и . Тогда f₀(x) = 1, f₁(x) = x,

,

причем , так что имеет место ортогональное планирование. Поскольку

|X₁|² = 1² + 1² + + 1² + 1² = 4,

,

то по формуле (18) получаем

,

.

Если планирование не является ортогональным, но матрицу X можно разбить на подматрицы: X = (X₁ X₂ ... X_l) так, что будет (i < j; i, j = 1, 2, ..., l; O – нулевая матрица), то для оценок можно получить формулу, обобщающую формулу (18). Например, пусть имеет место случай l = 2, т. е.

,

где . Пусть β = (b₁ b₂ ... b_p)^T, β₁ = (b₁ b₂ ... b_q)^T и β₂ = (b_q+1 b_q+2 ... b_p)^T, тогда .

В п. 3 было доказано, что МНК-оценка вектора удовлетворяет нормальному уравнению (8), поэтому имеем , или, поскольку ,

.

Отсюда следует , , и, таким образом, получаем формулы

, . (18´)

Пример 3. Пусть заданы , и вектор-столбец наблюдений .

Тогда f_j(x) = x_j ( j = 1, 2, 3, 4), следовательно, . Полагая , где , , имеем , , .

По формулам (18´) находим

,

.

8. Оценивание параметров модели при повторных наблюдениях.Пусть задана функция отклика, определенная в области G: . Вве­дем в рассмотрение вектор-функцию f = ( f₁, f₂, ..., f_p) (отождествляемую, как обычно, с одностолбцовой матрицей ( f₁ f₂ ... f_p)^T ). Тогда функцию отклика можно записать в матричном виде

.

Пусть также задан план, спектр которого m₁, m₂, ..., m_n (m_i – число наблюдений в точке x_i).

Наблюдения в одной точке называют повторными. Матрица плана при наличии повторных наблюдений имеет вид , где каждый блок – матрица размера , имеющая одинаковых строк. Вектор-столбец наблюдений можно записать в виде , где блок соответствует матрице .

Матрица планирования также может быть записана в блочном виде: , где – матрица размера (i = 1, 2, ..., n). Отсюда где

,

так что и, следовательно,

. (19)

Определим теперь матрицы

, .

Матрица состоит из строк матрицы , отвечающих различным точкам плана.

Легко убедиться, что . Отсюда и из (19) следует матричное равенство

. (20)

Обозначим (среднее значение повторных наблюдений в точке , i = 1, 2, ..., n), тогда получаем

,

где обозначено .

Используя этот результат и формулы (9) и (20), получаем .

Если, в частности, , при всех i = 1, 2, ..., n, то и тогда имеем .

Пример. Пусть даны функция отклика и матрица плана

.

Знаком « » указаны наблюдения в соответствующих точках плана. Здесь , а значит, .

Имеем , , , где ; . Следовательно, = = .

§ 2. Доверительные интервалы для параметров функции отклика и гипотеза адекватности

1. Дополнительные сведения из дисперсионного анализа. В этом параграфе будет предполагаться, что наблюдения y_is (i = 1, 2, ..., n; s = 1, 2, ..., m_i) нормально распределены и при этом выполняются условия:

; , (1)

где , – матрица размера с одинаковыми строками (i =1, 2, ..., n), β = (b₁ b₂ ... b_p)^T и .

Из первого уравнения (1) получаем при всех i = 1, 2, ..., n где обозначено . Следовательно, имеем

(i = 1, 2, ..., n; s = 1, 2, ..., m_l).

Положим , ( – произвольный вектор-столбец размерности p). Возведем в квадрат обе части тождества и просуммируем по s и по i. Получим

поскольку (i = 1, 2, ..., n). Таким образом, имеем равенство

S₀ = S₁ + S₂, (2)

где обозначено , , . Предположим теперь, что эти суммы получены при условии, что – МНК-оценка вектора β параметров функции отклика, найденная в п. 8 § 1, и введем в рассмотрение следующие величины

, , .

Можно доказать, что при сделанных предположениях эти величины обладают свойствами, аналогичными свойствам величин , и , установленным в пунктах 3 и 4 § 4 гл. 1. Именно, все они являются несмещенными оценками дисперсии s² и при этом случайные величины

, и

распределены по закону с числами степеней свободы соответственно N – p, n – p и N – n, причем две последние из них являются независимыми.

2. Доверительные интервалы для параметров функции отклика. Напомним (см. гл. 1, § 2, п. 1), что доверительным интервалом называют интервал, который с заданной надежностью g покрывает оцениваемый параметр.

Пусть – вектор-столбец МНК-оценок параметров функции отклика. Поскольку , где y – случайный вектор с независимыми компонентами, распределенными по нормальному закону, то все также распределены по нормальному закону. Так как МНК-оцен­ки являются несмещенными (см. § 1, п. 3), имеем ( j = 1, 2, ..., p). Кроме того, равенство (10) из п. 4 § 1 показывает, что , где – элемент матрицы . Значит, случайная величина

распределена по нормальному закону c параметрами Mx = 0 и Dx = 1. Обозначим также

,

где сумма S₀ построена по оценкам так же, как в п. 1. Поскольку эта случайная величина распределена по закону χ² с числом степеней свободы N – p, случайная величина

(3)

распределена по закону Стьюдента с N – p степенями свободы.

При заданном g (0 < g < 1) по таблице для распределения Стьюдента можно найти число t_g, удовлетворяющее уравнению P(| t_N-p | < t_g) = g, так что с вероятностью g будем иметь , или, что равносильно,

,

откуда следует что – доверительный интервал для параметра с надежностью g.

Замечание. Случайная величина (3) может быть использована для проверки гипотезы H₀ о том, что некоторый параметр функции отклика равен 0. Действительно, если эта гипотеза верна, то получаем

,

причем эта случайная величина должна распределяться по закону Стьюдента с N – p степенями свободы. При альтернативной гипотезе H_A: критическая область является двусторонней. Найдем для заданного уровня значимости a и числа степеней свободы N – p по таблице 4 правую критическую точку . Тогда имеем следующие возможности: , в этом случае нет оснований отвергать гипотезу H₀; если же , то гипотеза H₀ отвергается.

3. Проверка гипотезы адекватности модели. Пусть определенная в области G функция отклика

неизвестна, т. е. неизвестны функции и параметры b_j, и задан спектр плана: ; , где . Если – повторные наблюдения в точке x_i (i = 1, 2, ..., n), то матрица плана имеет вид , где – матрица размера , строки которой одинаковы, и – вектор-столбец наблюдений в точке x_i, соответствующий матрице (это соответствие показано стрелками).

Положим

, (4)

где – заданные функции.

Гипотезу H₀ о том, что при всех xÎG выполняется равенство , называют гипотезой адекватности регрессионной модели или функции отклика (4). Она проверяется при альтернативной гипотезе H_А: .

Если гипотеза H₀ верна, то МНК-оценка функции отклика равна

.

Пусть и (i = 1, 2, ..., n). Рассмотрим суммы

,

, где .

Как доказано в п. 1, для таких сумм имеет место равенство (2). Заметим также, что сумма S₁ должна, очевидно, быть небольшой, если модель адекватна, так что ее величина является характеристикой степени адекватности; сумма S₂ связана с дисперсией ошибок наблюдения, поэтому ее называют ошибкой эксперимента. Обозначим

, .

Если гипотеза H₀ верна, то эти величины совпадают соответственно с величинами и , рассмотренными в п. 1, значит, случайные величины

и

независимы и распределены по закону с числами степеней свободы соответственно и N – n. Отсюда следует, что если основная гипотеза верна, то случайная величина

имеет распределение Фишера с и N – n степенями свободы.

Вычислив и найдя по таблице распределения Фишера по уровню значимости a и степеням свободы n – p₀ и N – n , получаем следующие возможности:

, в этом случае нет оснований отвергать основную гипотезу;

, тогда основную гипотезу отвергаем.

Если гипотеза H₀ отвергается, модель (4) считается неадекватной и приходится выбирать другую модель. Выбор новой модели зависит от характера задачи, стоящей перед исследователем. Может возникнуть необходимость в проведении дополнительных наблюдений для проверки новой гипотезы.

§ 3. Полные факторные эксперименты типа 2^k .