Ковариационная матрица двумерной непрерывной случайной величины,коэффициенткорреляции,пределызначений,доказательство;независимость и некоррелированность:понятие и признаки. 4 страница

34.Оценивание коэффициентов аппроксимирующих полиномов при известной ковариационной матрице погрешностей измерений и известной модели, (рассмотреть случаи равноточных и неравноточных, однократных и многократных измерений), расширение класса аппроксимирующих полиномов.Будем рассматривать следующую ситуацию.Объективно существует функция y = f(x), ограниченная и дифференцируемая не менее q + 1 раз на интервале . Природа и происхождение этой функции могут быть различными:- этой функцией связаны между собой естественные параметры и(или) явления в природе, в обществе, в экономике и т.п.,- этой функцией описывается преобразование физических величин, происходящее в технических устройствах, таких как регуляторы, датчики, измерительные преобразователи, устройства телекоммуникаций и т.п.,- этой функцией описываются взаимосвязи параметров технических объектов, в том числе, технологических процессов в различных режимах (штатный режим работы, испытания, нештатные режимы),- этой функцией, по мнению исследователя, описываются объекты, явления, процессы, которые он моделирует на компьютере.По теореме Вейерштрасса, ограниченные и q +1 раз дифференцируемые в интервале функции могут быть сколь угодно точно аппроксимированы в этом интервале степенным (и даже обобщенным) полиномом. Понятно, что в реальном исследовании сколь угодно высокая точность достигнута быть не может, хотя стремление к максимально достижимой точности у каждого исследователя имеется. Пусть это естественное стремление выражается следующим образом.Желательно аппроксимировать реальную функцию y = f(x)полино­мом степени q так, чтобы максимальное расхождение между реальной функцией и этим полиномом не превосходило пренебрежимо малой, с точки зрения исследователя, величины d> 0 : .Поскольку, по теореме Вейерштрасса, такой полином существует при любом сколь угодно малом значении d,будем считать коэффициенты “истинными” и для их обозначения введем вектор этих коэффициентов . Степень полинома q будем считать известной. В этом случае говорят: “модель объекта известна с точностью до параметров”. Объектом для нас является полином, аппроксимирующий функцию y = f(x).Теперь задачей исследователя является организация такого экспе­римента, в результате которого он смог бы определить значения этих коэффициентов. Необходимыми условиями выполнения такого эксперимента являются- воспроизведение с необходимой точностью значений аргумента , , в заданном диапазоне , или, по крайней мере, фиксация фактически реализующихся этих значений с помощью измерений с заданной или хотя бы с известной точностью,

- измерение с необходимой или хотя бы с известной точностью значений функции при всех заданных (зафиксированных) значениях аргумента.Пример графического представления результатов подобного эксперимента приведен на рис. 31. Непрерывной кривой изображен график исследуемой функции y = f(x), точки на этой кривой - суть значения . Для обозначения всей совокупности этих значений введем вектор : . Точки вне этой кривой - результаты измерений, для обозначения которых введем вектор : .

Будем считать, что воспроизведение (измерения) значений аргумента выполняются с настолько высокой точностью, что погрешностью результатов можно пренебречь.Будем также считать, что погрешности измерения значений функции суть компоненты случайного вектора , не содержащие систематических составляющих (математическое ожидание всех компонент равно нулю), вектор распределен в соответствии с нормальным законом: , где - его ковариационная матрица. Диагональными элементами ковариационной матрицы являются дисперсии погрешностей измерений . Результаты измерений образуют в совокупности случайный вектор , который распределен нормально . В случае независимости измерений ковариационная матрица диагональна. Задача состоит в том, чтобы выполнить полиномиальную аппроксимацию исследуемой функции y = f(x), то есть найти оценки коэффициентов полинома, аппроксимирующего эту функцию.Измерения значений функции при каждом значении аргумента могут быть однократными или многократными.Рассмотрим вначале случай однократных измерений, которым можно ограничиться только в том случае, если ковариационная матрица известна априори.2.3.7.2. Измерения однократные.В соответствии с формулировкой задачи (п. 2.3.7.1) в результате эксперимента при фиксированных значениях мы получаем значения , :

Эти значения представлены на рис. 31 точками, лежащими вне кривых

Приведенная система равенств есть система k уравнений, из которой нам необходимо получить оценки q + 1 коэффициентов .

Для того, чтобы эту систему записать в матричном виде, введем матрицу

.

Тогда система уравнений записывается в виде

,

где векторы определены выше в п. 2.3.7.1 и

, .

Будем находить ММП-оценки неизвестных коэффициентов полинома. Для этого запишем k - мерную плотность распределения вектора :

.

Функция правдоподобия в этом случае равна

.

Максимум функции правдоподобия находится там же, где находится минимум квадратичной формы :

,

поэтому для нахождения ММП - оценок искомых коэффициентов будем их отыскивать путем минимизации указанной квадратичной формы. С этой целью продифференцируем ее по вектору и приравняем производную нулю. Напомним предварительно правила дифференцирования по вектору (см., например, [5], стр 73):

.

Пользуясь этими правилами после раскрытия скобок, получим:

,

откуда находим вектор ММП-оценок коэффициентов аппроксимирующего полинома :

.

Обратим внимание на то, что эта оценка линейно зависит от результатов измерений : , где - матрица размера (q+1)´k.

Являясь ММП-оценкой, полученный вектор есть эффективная оценка вектора коэффициентов полинома. Проверим ее несмещенность.

,

поскольку произведение взаимнообратных матриц есть единичная матрица. Несмещенность полученной оценки доказана.

Как показано в п. 2.3.7.1, ковариационная матрица вектора есть . Тогда, поскольку и в соответствии с п. 1.7.4 ковариационная матрица вектора оценок коэффициентов равна

. Производя перемножение ряда взаимнообратных матриц, находящихся в середине правой части, окончательно получим: .

Напомним также, что при линейном преобразовании случайных величин вид плотности распределения не изменяется (п. 1.6.7). Поэтому в связи с обнаруженной нами несмещенностью оценки .

Если измерения независимые, то ковариационная матрица диагональна. Если при этом измерения равноточные, когда при всех i= 1, 2, ..., k , тогда , где Е - единичная матрица, . В этих условиях квадратичная форма, подлежащая минимизации, принимает вид , и

.

Компонентами вектора являются разности ,и минимизируемая квадратичная форма представляет собой сумму квадратов этих разностей: .По этой причине приведенный метод определения коэффициентов аппроксимирующих полиномов называется методом наименьших квадратов (МНК), а получаемые этим методом оценки коэффициентов полиномов называются МНК-оценками.Общий метод оценивания коэффициентов аппроксимирующих полиномов путем минимизации квадратичной формы называется обобщенным методом наименьших квадратов (ОМНК), и оценки, вычисляемые по формуле , - ОМНК-оценками. Конечным итогом и целью оценивания является полином, коэффициентами которого являются найденные оценки: .При значениях аргумента этот полином принимает значения, которые суть компоненты вектора . График этого полинома представлен на рис. 31 пунктирной линией. В точке показана разность между результатом измерений и значением построенного полинома в этой точке. Все эти разности в совокупности для i = 1, 2, . . , kсоставляют вектор .Итак, в результате выполненных операций мы определили, что квадратичная форма принимает минимальное значение при . Обозначим это минимальное значение через . В случае ОМНК . Применительно к МНК , когда , .В обоих вариантах величина случайна, поскольку зависит от выборочных данных. Естественно выяснить плотность распределения величины . Этот вопрос мы рассмотрим отдельно в следующем пункте.2.3.7.3. Плотность распределения величины Начнем с рассмотрения величины ,которая вычисляется в рамках применения МНК, когда для получения оценок коэффициентов достаточно знать лишь о факте равноточности измерений, а значение дисперсии погрешностей измерений может быть неизвестным.

В выражении для - вектор выборочных значений, .Вектор - несмещенная ММП-оценка математического ожидания . В соответствии с МНК и постановкой задачи в п.. 2.3.7.1 компоненты вектора случайных погрешностей распределены нормально с одинаковыми параметрами . Поэтому компоненты вектора , то есть разности можно считать выборочными значениями погрешностей, изъятыми из одной нормальной генеральной совокупности : . Тогда величина есть не что иное, как сумма нормальных случайных величин с нулевым математическим ожиданием и единичной дисперсией. Такая сумма распределена по закону с числом степеней свободы, равным количеству слагаемых k без количества связей между выборочными значениями. В данном случае количество таких связей равно количеству уравнений, из которых получены оценки коэффициентов , то есть q + 1. Число степеней свободы поэтому равно k – q – 1.На этом основании заключаем, что ,Таким образом, при однократных равноточных измерениях несмещенной оценкой дисперсии погрешностей этих измерений может служить величина: .Если k = q + 1 , это выражение теряет смысл. Подобная ситуация возникает в одномерном случае, когда математическое ожидание исследуемой случайной величины неизвестно и выполняется только одно измерение, то есть n = 1. Тогда оценить характеристику разброса, каковой является дисперсия, принципиально невозможно (см. также п. 2.3.4.2. b). В случае применения ОМНК также .

35.Процедура оценивания коэффициентов аппроксимирующих полиномов при известной и неизвестной ковариационной матрице погрешностей и неизвестной степени полинома, (рассмотреть случаи однократных и многократных измерений).2.3.7.5. Измерения многократные,

характеристики погрешностей измерений известны.Полагаем, что известны характеристики погрешностей измерения значений аппроксимируемой функции:- при равноточных измерениях - дисперсия ,- при неравноточных измерениях - ковариационная матрица .

В частном случае ковариационная матрица может быть диагональной, i - ми элементами диагонали являются дисперсии погрешностей измерения значений ппроксимируемой функции. При каждом значении аргумента , i = 1,2,...,k, выполняется n измерений функции. Обозначим результаты этих измерений, через , где j -номер эксперимента, j = 1,2,..., n.Вычисляются средние арифметические значения ,из которых составляется вектор , после чего в зависимости от обстоятельств вычисляются МНК или ОМНК - оценки коэффициентов аппроксимирующего полинома по формулам п. 2.3.7.2, где вместо вектора следует использовать вектор . В силу центральной предельной теоремы плотность распределения среднего арифметического стремится к нормальной довольно быстро при любых плотностях распределения исходных погрешностей, которые не слишком сильно различаются по дисперсии (см. п. 1.6.6.4). Поэтому при многократных измерениях требование к нормальности распределения погрешностей измерений значительно смягчается.Как известно из п. 2.3.4.1, дисперсии средних арифметических . Точно так же из п. 2.3.4.4 следует, что ковариационная матрица вектора средних арифметических . В связи с этими обстоятельствами формулы пп. 2.3.7.2, 2.3.7.3 несколько изменятся.a)В случае применения МНК. ,

, но, как и прежде, .

b)В случае применения ОМНК. , , , ,о, как и прежде, .

2.3.7.6. Измерения многократные, характеристики погрешностей измерений неизвестны.В предыдущем пункте предполагалось, что ковариационная матрица или, по крайней мере, дисперсии погрешностей результатов измерений известны, что на практике бывает достаточно редко, особенно в отношении ковариационной матрицы.Однако, при многократных измерениях предоставляется возможность оценить дисперсии при каждом i: ли ковариационную матрицу в целом.Корректная оценка всех элементов ковариационной матрицы , не только диагональных, но и внедиагональныхвозможна лишь при выполнении специально организованного эксперимента.

Выполняется один цикл измерений в такой последовательности:- воспроизводится значение физической или иной величины, соответствующее первому значению аргумента и выполняется измерение (определение) значения функции, полученный результат - ,- воспроизводится значение физической или иной величины, соответствующее второму значению аргумента и выполняется измерение (определение) значения функции, полученный результат - ,- описанная процедура продолжается до достижения последнего, k - го значения аргумента х, таким образом будет получен первый вектор результатов измерений ,- устанавливается значение физической величины x, превышающее значение , затем вновь устанавливается значение , и процесс повторяется, но в обратном порядке, при уменьшении значений x; таким образом будет получен второй вектор результатов ,- в конечном итоге так будет получено n векторов вида , j = 1, 2, . . . , n.По этому массиву экспериментальных данных вычисляются оценки (см. пп. 2.3.4.3, 2.3.4.4) : , .Оценка ковариационной матрицы построена в соответствии с ее математическим определением, приведенным в п. 1.7.3. Поскольку при реализации ОМНК эту матрицу придется обращать, она не должна быть особенной. Для этого необходимо, чтобы n > k. Но если по техническим, экономическим или иным причинам это условие выполнить невозможно, то придется ограничиться вычислением только оценок дисперсий при каждом значении . По этим значениям строится диагональная матрица , в диагонали которой на i - ом месте стоит оценка дисперсии . В таком случае не учитывается ковариация между измерениями в точках , что приводит к незначительной потере в эффективности оценок коэффициентов, но они остаютсянесмещенными (см. п. 2.3.7.4, замечание 1).После этого для вычисления оценок коэффициентов аппроксимирующего полинома применяется ОМНК с заменой во всех формулах п. 2.3.7.5 матрицы на : , , ,

.Вследствие случайности исходных данных величина также случайна. Из-за участия в формуле для вместо генеральной ковариационной матрицы ее оценки в данном случае распределение “хи - квадрат” неприменимо. Вместо него здесь применяется плотность F - распределения Фишера (иногда она именуется, как плотность распределения Фишера - Снедекора), и обозначается, как , где и - количества степеней свободы. Плотность распределения Фишера имеет случайная величина [5]F = , что записывается в видеF = . Эта плотность распределения широко используется для сопоставления дисперсий генеральных совокупностей при дисперсионном анализе посредством исследования отношения оценок этих дисперсий. Нетрудно увидеть, что величина также, в некотором смысле есть отношение дисперсий. Функция распределения Фишера табулирована, таблицы приводятся в специальных таблицах математической статистики (например, [1,13, 14]). Из последних выражений для величины F следует, что при подготовке эксперимента по аппроксимации зависимостей необходимо обеспечивать выполнение неравенства n > k - q -1 , то есть превышение количества повторных измерений над числом степеней свободы квадратичной формы . Иногда по техническим, экономическим или иным объективным причинам это условие оказывается невыполнимым. В таком вынужденном случае придется формировать диагональную матрицу : , , и применять ее при вычислении оценок коэффициентов.В этой ситуации F - распределению Фишера подчиняется случайная величина F = .Число степеней свободы k - q - 1 и n - 1.В частном случае, когда по результатам проверки по критерию Кочрена (п. 2.5.6.1) гипотезы о равенстве дисперсий будет принято решение о применении МНК, тогда вычисляется средняя оценка дисперсии ,которая подставляется вместо во всех соответствующих формулах п. 2.3.7.5 : , , И в этом случае случайная величина F = .распределена в соответствии с F - распределением Фишера с числом степеней свободы k - q - 1 и n - 1.Все замечания, сделанные выше в п. 2.3.7.4, распространяются на случаи многократных измерений в полном объеме.