Что показывает критерий информативности

Критерий информативности (Information Gain) измеряет, насколько уменьшается энтропия (неопределенность) после разбиения данных по определенному признаку. Чем выше значение, тем важнее признак для классификации. Используется в алгоритмах типа ID3 и C4.5 для построения деревьев решений.

Пример:

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris

data = load_iris()
X, y = data.data, data.target
model = DecisionTreeClassifier(criterion='entropy')
model.fit(X, y)

# Важность признаков (аналог Information Gain)
print(model.feature_importances_)

Вывод показывает вклад каждого признака в уменьшение энтропии.