Как избежать переобучения в деревьях решений

Чтобы избежать переобучения в деревьях решений, используйте следующие методы:

1. Ограничение глубины дерева (max_depth)

   python

   Копировать

   from sklearn.tree import DecisionTreeClassifier
   model = DecisionTreeClassifier(max_depth=3)

2. Минимальное число образцов в листе (min_samples_leaf)

   python

   Копировать

   model = DecisionTreeClassifier(min_samples_leaf=5)

3. Прунинг (пост-обрезка дерева)
   Используйте ccp_alpha для cost-complexity pruning.

4. Кросс-валидация
   Разделяйте данные на train/validation/test и контролируйте метрики.

5. Регуляризация
   Ограничьте параметры, например max_features или min_impurity_decrease.

Пример с GridSearch для подбора параметров:

from sklearn.model_selection import GridSearchCV
params = {'max_depth': [3, 5, 7], 'min_samples_leaf': [2, 5, 10]}
grid = GridSearchCV(DecisionTreeClassifier(), params, cv=5)
grid.fit(X_train, y_train)