Метод главных компонент

Метод главных компонент (МГК) применяется для снижения размерности пространства наблюдаемых векторов, не приводя к существенной потере информативности. Предпосылкой МГК является нормальный закон распределения многомерных векторов. В МГК линейные комбинации случайных величин определяются характеристическими векторами ковариационной матрицы. Главные компоненты представляют собой ортогональную систему координат, в которой дисперсии компонент характеризуют их статистические свойства.

Пусть дан исходный набор векторов X линейного пространства L^k. Применение метода главных компонент позволяет перейти к базису пространства L^m (m≤k), такому что: первая компонента (первый вектор базиса) соответствует направлению, вдоль которого дисперсия векторов исходного набора максимальна. Направление второй компоненты (второго вектора базиса) выбрано таким образом, чтобы дисперсия исходных векторов вдоль него была максимальной при условии ортогональности первому вектору базиса. Аналогично определяются остальные векторы базиса. В результате, направления векторов базиса выбраны так, чтобы максимизировать дисперсию исходного набора вдоль первых компонент, называемых главными компонентами (или главными осями). Получается, что основная изменчивость векторов исходного набора векторов представлена несколькими первыми компонентами, и появляется возможность, отбросив оставшиеся (менее существенные) компоненты, перейти к пространству меньшей размерности.

Результатом применения МГК является вычисление матрицы W размера m*k, осуществляющей проекцию векторов пространства L^k на подпространство, натянутое на главные компоненты:

Y = W*(X - μ), Y ∈ L^m, X ∈ L^k.

Где X - вектор из исходного набора, Y- координаты вектора в подпространстве главных компонент, μ- математическое ожидание вектора X начального набора.

Пусть имеется реализация (20 наблюдений) двумерного вектора X. На рисунке представлена совокупность наблюдений.

Определение главных компонент Y вектора X состоит в определении новых осей координат по условию: направление координаты y₁ должно соответствовать максимальному рассеянию наблюдений, направление y₂ должно соответствовать направлению с максимальном рассеянием наблюдений среди всех направлений ортогональных y₁.

Если исходные данные нормировать, то начало координат главных компонент будет соответствовать X = (x₁,x₂)^т ,дисперсии компонент, будут равны единице.

Решение задачи методом главных компонент сводится к поэтапному преобразованию матрицы исходных данных X.

Пусть X – матрица исходных данных размерностью n*k (n – число объектов наблюдения, k – число элементарных аналитических признаков), тогда Z – матрица центрированных и нормированных значений признаков, элементы матрицы вычисляют по формуле:

z_i,j =( x_i,j - x_j )/S_j,

где: x_i,j - i-ое значение j-ой компонентывектораX, i=1,2, ... ,n; j=1,2, ... ,k,

x_j -оценка математического ожиданияj-ой компонентывектораX: x_j =∑_i x_i,j/n,

S_j -корень квадратный из оценки дисперсииj-ой компоненты вектораX:

S²_j = ∑_i (x_i,j - x_j )²/(n-1).

Матрица оценок парных корреляций R вычисляется по формуле:

R=(Z^т*Z)/(n-1).

Напомним, что оценка ковариационной матрицы C вычисляется по формуле:

C = (X^т*X)/(n-1).

Далее вычисляется диагональная матрица Λсобственных (характеристических) чисел.

Множество решений λ_j находят решением характеристического уравнения |R - λI| = 0. Характеристики вариацииλ_j- показатели оценок дисперсий каждой главной компоненты. Суммарное значение Σλ_j равно сумме оценок дисперсий элементарных признаков x_j. При условии стандартизации исходных данных, эта сумма равна числу элементарных признаков k.

Решив характеристическое уравнение, находят его корни λ_j. После этого вычисляют собственные векторы матрицы R. Реально это означает решение k систем линейных уравнений для каждого при j = 1, ..., k. В общем виде система имеет вид:

(1-λ_j )*v_1j + r₁₂*v_2j +r₁₃*v_3j + ... +r_1k*v_kj = 0,

r₂₁*v_1j + (1-λ_j )*v_2j +r₂₃*v_3j + ... +r_2k*v_kj = 0,

...............................................................

r_k1*v_1j + r_k2*v_2j +r_k3*v_3j + ... +(1-λ_j )*v_kj = 0,

Приведенная система объединяет однородные линейные уравнения, и так как число ее уравнений равно числу неизвестных, она имеет бесконечное множество решений. Конкретные значения собственных векторов при этом можно найти, задавая произвольно по крайней мере величину одной компоненты каждого вектора.

Далее вычисляется матрица A – матрица компонентного отображения, ее элементы a_kj – весовые коэффициенты. Вначале A имеет размерность k*k – по числу элементарных признаков X_j, затем в анализе остается mнаиболее значимых компонент, m ≤ k. Вычисляют матрицу A по известным данным матрицы собственных чисел Λ и нормированных собственных векторов V по формуле A = V*Λ^1/2.

G– матрица значений главных компонент размерностью k*n, G = A^-1Z^т. Эта матрица в общем виде записывается:

g11	g12	...	g1n
g21	g22	...	g2n
...	...	...	...
gk1	gk1	...	gkn

Эта матрица показывает значения всего набора главных компонент (число главных компонент равно k). При снижении размерности до m главных компонент размер матрицы будет m*n.Величина m либо назначается пользователем, либо определяется по значениям λ_j.Например, в ППП "Statgraphics" по умолчанию остаются только те главные компоненты, собственные числа которых не меньше единицы.