Как ранжировать признаки в задаче классификации

Для ранжирования признаков в задаче классификации можно использовать несколько подходов:

1. Feature Importance из деревьев (например, RandomForest):

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier()
model.fit(X, y)
importances = model.feature_importances_

2. Коэффициенты линейных моделей (логистическая регрессия):

from sklearn.linear_model import LogisticRegression

model = LogisticRegression()
model.fit(X, y)
coefs = abs(model.coef_[0])

3. Статистические методы:

• ANOVA F-value для числовых признаков
• Хи-квадрат для категориальных

4. Permutation Importance:

from sklearn.inspection import permutation_importance

result = permutation_importance(model, X_test, y_test, n_repeats=10)

Для корректного сравнения важно масштабировать признаки перед анализом. Лучше комбинировать несколько методов, так как каждый имеет свои ограничения (например, деревья склонны завышать важность категориальных признаков с большим числом категорий).