Энтропия в контексте ML измеряет неопределенность данных. Плохая энтропия — когда распределение классов несбалансированно или данные слишком предсказуемы (энтропия близка к 0), что снижает информативность.

Пример с кодом (Python):

from sklearn.tree import DecisionTreeClassifier
import numpy as np

Плохая энтропия: все метки одинаковы (энтропия = 0)

y_bad = np.array([0, 0, 0, 0])
X_dummy = np.random.rand(4, 2)

tree = DecisionTreeClassifier(criterion="entropy")
tree.fit(X_dummy, y_bad) # Дерево не сможет разделить данные

**Проблемы:**  
- Нет разнообразия в данных → модель не обучается.  
- В реальных задачах это может означать дисбаланс классов (например, 99% одного класса).  

**Решение:**  
- Балансировка данных (SMOTE, undersampling).  
- Использование метрик типа F1-score вместо accuracy.