Метод наименьших квадратов

(рассмотрим для двух величин, остальные аналогично0Пусть (Х,У) – система двух случайных величин. Задача – исследовать связь между Х и У.

М(У/Х=х) – условные математические ожидания случайной величины У при условии, что Х=х (х – фиксированное число) М(У/Х=х)=f(x). Уравнение y=f(x) называется уравнением регрессии СВ У на СВ Ч. Будем приближать функцию y=f(x) к прямой y=kx+b, т.е. попытаемся подобрать k,b так, чтобы y=kx+b как можно лучше апроксимировать функцию y=f(x). В качестве прямой y=kx+b предлагается выбрать ту, на которую лучше всего «ложаться» экспериментальные точки. у₁=kx₁+b Þ Е²₁= (y₁-(kx₁+b))² характеризует степень удалённости точки (х₁,у₁) от прямой y=kx+b Е²₂= (y₂-(kx₂+b))² и т.д. Естественный критерий, характеризующий близость всей совокупности точек к прямой y=kx+b К=åⁿ_i=1E²_i . К=к(к,b) – функция двух переменных. Найдём такие к^*,b^*, которые минимизируют значение К.

К(к,b)= åⁿ_i=1(y_i-(kx_i+b))² Необходимое условие экстремума. DК/Dк=0; DК/Db=0

DК/Dк=åⁿ_i=12(y_i-(kx_i+b))(-х_i)=0

kåⁿ_i=1 х_i²+båⁿ_i=1 х_i =åⁿ_i=1 х_i y_i ;

DК/Db=åⁿ_i=12(y_i-(kx_i+b))(-1)=0

åⁿ_i=1 y_i -kåⁿ_i=1 х_i-nb=0.

_í^ì kåⁿ_i=1 х_i²+båⁿ_i=1 х_i =åⁿ_i=1 х_i y_i

î kåⁿ_i=1 х_i+nb=åⁿ_i=1 y_i

cистема двух линейных уравнений с двумя неизвестными к и b.

12. Выпуклые функции в Rⁿ и их свойства.

Отрезок в Rⁿ с концами a, b Î Rⁿ – это множество точек

х (t)= (1-t) a + t b,

где t произвольное число из промежутка [0; 1]. Отрезок с концами a, b обозначается [ a, b ]. Отрезок [ a, b ] совпадает с множеством точек в Rⁿ, представимых в виде с = aа + bb , где a,b - произвольные неотрицательные числа такие, что a+b=1. Множество Р Ì Rⁿ называется выпуклым, если вместе с любыми двумя точками a, bÎР оно содержит и весь отрезок [ a, b ]. Функция n переменных f (х), определенная на выпуклом множестве РÌRⁿ , называется выпуклой, если для любых двух точек a, b Î Р и любых двух чисел a,bÎ[0; 1] таких, что a+b=1, выполняется неравенство

f (aа + bb) ≤ a f (а) + b f (b)

Для непрерывной функции, заданной на выпуклом множестве Р , следующие условия равносильны:

1) f выпукла;

Неравенство из пункта 4 называется неравенством Йесена. выпуклая функция наз. строго выпуклой, если неравенство f (aа + bb) ≤ a f (а) + b f (b)строгое при всех a, b из области определения функции и α,β ≥0 таких, что α+β=1.

Функция f наз. (строго) вогнутой, если –f (строго) выпукла, т.е.

f (aа + bb)≥a f (а) + b f (b)

Линейная функция f(x)=(c,x)+c₀ одновременно выпукла и вогнута, но не строго.

Свойства выпуклых функций.

1. функция с выпуклой областью определения Р Ì Rⁿ выпукла тогда и только тогда, когда выпукло множество Н_f ={(х,у):хÎР, у≥f(x)} (из Rⁿ⁺¹) называемое надграфиком функции f(x).

2. Если f(x) выпукла, то функция αf(x) выпукла при α>0 и вогнута при α<0.

3. Если f(x) выпукла на Р, то множество U_f (α)={х:f(x)≤α} выпукло при любом α. (обратное утверждение неверно).

4. Сумма любого числа выпуклых функций на множестве Р Ì Rⁿ выпуклана Р , если при этом хотя бы одна из суммируемых функций строго выпукла, то вся сумма строго выпукла.

5. Пусть Р Ì Rⁿ – выпуклое множество, и для каждого i=1,2,…k пусть l_i(x) – линейная функция n переменных , а f_i(t) – функция одной переменной , выпуклая на l_i(Р). Тогда функция F(х)=f₁ ( l₁(x))+…+ f_К ( l_К(x)) выпукла на Р. При этом, если все функции f_i(t) строго выпуклы и любая точка однозначно определяется набором ( l₁(а)+…+ l_К(а)), то F(х) строго выпукла.

6. Пусть f выпукла на Р Ì Rⁿ , а φ(t) – возрастающая выпуклая функция на множестве f(Р) ÌR, тогда F(х)= φ(f(x)) выпукла на Р. Если f(x) строго выпукла, то и F(х) строго выпукла.

7. Дифференциируемая функция f(x) выпукла на множестве Р Ì Rⁿ тогда и только тогда, когда (grad f(a), b-a)≤f(b)-f(a) для любых a,bÎР

8. Пусть f(x) – функция, непрерывная на отрезке [ a, b ]ÌR и дважды дифференциируемая на (a, b). Для выпуклости функции f(x) на [ a, b ] необходимо и достаточно выполнение неравенства f˝(x)≥0 для всех tÎ (a, b). Для строгой выпуклости f(x) добавляется условие f˝(x)≠0 ни на одном интервале, содержащемся в (a, b).

9. Пусть D – выпуклое открытое множество в пространстве Rⁿ, f(x)=f(x₁,…,х_n) – функция, имеющая в D непрерывные частные производные второго порядка. Для каждой точки хÎ D положим

и составим матрицу

C=Cij(X). Функция f(x) строго выпукла на множестве D , если в каждой точке хÎ D выполняются следующие неравенства

∆₁=с₁₁>0, …, ∆_n=det c>0

Экстремальные значения выпуклых и вогнутых функций.

1.Если х* - точка локального минимума (максимума) выпуклой (вогнутой) функции f(x) на выпуклом множестве Р Ì Rⁿ то f(x*) – наименьшее (наибольшее) значение f(x) на Р. Если f(x) строго выпукла (вогнута), то х* - единственная точка глобального экстремума.

2.Пусть f(x) – выпуклая (вогнутая) функция на выпуклом множестве Р Ì Rⁿ и пусть grad f(x*)=0. Тогда х* -точка глобального минимума (максимума) f(x) на Р.