Как оценивается качество разделения в дереве решений

Качество разделения в дереве решений оценивается с помощью критериев, которые минимизируют неоднородность (impurity) в дочерних узлах. Основные метрики:

1. Критерий Джини (Gini impurity)
   Минимизирует вероятность неправильной классификации:
   python

   Копировать

   Gini = 1 - Σ(p_i²)  # p_i — доля класса i в узле

2. Энтропия (Information Gain)
   Основан на уменьшении энтропии (неопределенности):

   python

   Копировать

   Entropy = -Σ(p_i * log2(p_i))

3. MSE (для регрессии)
   Минимизирует среднеквадратичную ошибку в листьях.

Пример для DecisionTreeClassifier в sklearn:

from sklearn.tree import DecisionTreeClassifier
clf = DecisionTreeClassifier(criterion='gini')  # или 'entropy'
clf.fit(X_train, y_train)

Нюансы:

• Gini работает быстрее, энтропия чувствительнее к небольшим изменениям.
• Для несбалансированных данных можно использовать class_weight.
• Переобучение контролируется через max_depth, min_samples_split и др. параметры.