Какие плюсы и минусы древовидных моделей

Плюсы:

• Интерпретируемость: легко визуализировать и объяснить логику принятия решений (особенно для небольших деревьев)
• Не требуют масштабирования данных: работают с разномасштабными признаками
• Умеют работать с категориальными данными без one-hot encoding
• Устойчивы к выбросам и пропускам (особенно ансамбли)

Минусы:

• Склонны к переобучению (особенно одиночные деревья)
• Нестабильность: малые изменения данных могут сильно менять структуру дерева
• Плохая экстраполяция: не умеют предсказывать за пределами обучающего диапазона
• Ансамбли (Random Forest, GBDT) теряют интерпретируемость

# Пример переобучения дерева
from sklearn.tree import DecisionTreeClassifier
dt = DecisionTreeClassifier(max_depth=None)  # без ограничений - переобучится
dt.fit(X_train, y_train) 
print(f"Train score: {dt.score(X_train, y_train):.2f}")  # 1.0 
print(f"Test score: {dt.score(X_test, y_test):.2f}")     # 0.85