Как выглядит формула бинарной кросс-энтропии

Формула бинарной кросс-энтропии (log loss) для одного примера:

L = -[y * log(p) + (1 - y) * log(1 - p)]

где:

• y — истинный класс (0 или 1)
• p — предсказанная вероятность класса 1 (0 ≤ p ≤ 1)

Для N примеров (усредненная кросс-энтропия):
L = -1/N * Σ [y_i * log(p_i) + (1 - y_i) * log(1 - p_i)]

Пример расчета в Python:

import numpy as np

def binary_crossentropy(y_true, y_pred):
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))

y_true = np.array([1, 0, 1])
y_pred = np.array([0.9, 0.1, 0.8])
print(binary_crossentropy(y_true, y_pred))  # ~0.164