Как работает PCA

PCA (Principal Component Analysis) — это метод уменьшения размерности данных, который проецирует их на новую систему координат с ортогональными осями (главными компонентами). Основные шаги:

1. Стандартизация данных (центрирование и масштабирование).
2. Вычисление ковариационной матрицы.
3. Нахождение собственных значений и векторов этой матрицы.
4. Сортировка компонент по убыванию дисперсии (собственных значений).
5. Проецирование данных на выбранные главные компоненты.

Пример с sklearn:

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# Предобработка
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# PCA с 2 компонентами
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)
print("Explained variance ratio:", pca.explained_variance_ratio_)

Ключевые свойства:

• Первая компонента объясняет максимальную дисперсию.
• Компоненты ортогональны (некоррелированы).
• Можно выбрать число компонент по кумулятивной дисперсии (например, 95%).