Как выполняется pruning в деревьях

Pruning (обрезка) в деревьях решений уменьшает их сложность, предотвращая переобучение. Основные методы:

1. Pre-pruning (ранняя остановка): Останавливает построение дерева при достижении критериев (максимальная глубина, минимальное число образцов в листе и т.д.).

from sklearn.tree import DecisionTreeClassifier
model = DecisionTreeClassifier(max_depth=3, min_samples_leaf=5)

2. Post-pruning (Cost-Complexity Pruning): Удаляет ветви после построения дерева, используя параметр ccp_alpha для баланса сложности и точности.

path = model.cost_complexity_pruning_path(X, y)
ccp_alphas = path.ccp_alphas
model_pruned = DecisionTreeClassifier(ccp_alpha=ccp_alphas[-2])

Нюансы:

• Pre-pruning быстрее, но может не найти оптимальное дерево.
• Post-pruning точнее, но требует дополнительных вычислений.
• Важно подбирать гиперпараметры через кросс-валидацию.