Как увеличение глубины дерева влияет на дисперсию модели

Увеличение глубины дерева повышает дисперсию модели, так как дерево становится более сложным и начинает переобучаться, подстраиваясь под шумы в данных. Это приводит к высокой точности на обучающей выборке, но ухудшает обобщающую способность.

Пример с DecisionTreeRegressor в sklearn:

from sklearn.tree import DecisionTreeRegressor

# Глубокое дерево (высокая дисперсия)
deep_tree = DecisionTreeRegressor(max_depth=10)
deep_tree.fit(X_train, y_train)  # Хороший train score, плохой test score

# Мелкое дерево (низкая дисперсия)
shallow_tree = DecisionTreeRegressor(max_depth=3)
shallow_tree.fit(X_train, y_train)  # Хуже на train, но лучше обобщает

Оптимальную глубину находят через кросс-валидацию или ограничивают параметрами max_depth, min_samples_leaf.