Как отбираются признаки в дереве

Деревья решений отбирают признаки на основе критериев информативности (например, энтропия, индекс Джини, MSE для регрессии). На каждом шаге алгоритм выбирает признак, который лучше всего разделяет данные, максимизируя прирост информации или уменьшая неопределенность.

Пример с sklearn:

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris

iris = load_iris()
X, y = iris.data, iris.target
model = DecisionTreeClassifier(criterion='gini')
model.fit(X, y)

# Важность признаков
print(model.feature_importances_)

Важные нюансы:

1. Деревья склонны к переобучению при большом числе признаков
2. Категориальные признаки требуют предобработки (one-hot, ordinal encoding)
3. Важность признаков можно интерпретировать через feature_importances_