Что такое перекрестная энтропия

Перекрестная энтропия (Cross-Entropy) — это мера различия между двумя распределениями вероятностей. В машинном обучении часто используется как функция потерь для задач классификации, особенно с логистической регрессией и нейронными сетями.

Формула для бинарной классификации:
$$H(p, q) = -\sum_{i} p_i \log(q_i)$$
где (p) — истинное распределение, (q) — предсказанное.

Пример в Python с numpy:

import numpy as np

def cross_entropy(y_true, y_pred):
    epsilon = 1e-15  # чтобы избежать log(0)
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))

y_true = np.array([1, 0, 1])
y_pred = np.array([0.9, 0.1, 0.8])
print(cross_entropy(y_true, y_pred))  # ~0.105

Чем меньше перекрестная энтропия, тем ближе предсказания к истинным значениям.