Что минимизируем или максимизируем при построении дерева решений

В дереве решений минимизируем неоднородность (impurity) в листьях. Для этого используем метрики:

1. Gini impurity (классификация) - вероятность ошибки при случайном присвоении метки
2. Entropy (классификация) - мера неопределенности
3. MSE/MAE (регрессия) - среднеквадратичная/абсолютная ошибка

Пример расчета Gini в Python:

from sklearn.tree import DecisionTreeClassifier
model = DecisionTreeClassifier(criterion='gini')  # или 'entropy'

Для регрессии:

from sklearn.tree import DecisionTreeRegressor
model = DecisionTreeRegressor(criterion='squared_error')  # или 'absolute_error'

На каждом шаге алгоритм выбирает разбиение, которое максимально уменьшает impurity. Процесс продолжается, пока не достигнем критериев остановки (макс. глубина, мин. samples в листе и т.д.).