Какие знаешь улучшения бинарной кросс-энтропии

Бинарная кросс-энтропия (BCE) может быть улучшена несколькими способами:

1. Взвешенная BCE – добавление весов для классов при дисбалансе:

torch.nn.BCEWithLogitsLoss(pos_weight=torch.tensor([2.0]))

2. Focal Loss – уменьшает вес легко классифицируемых примеров, фокусируясь на сложных:

def focal_loss(y_pred, y_true, alpha=0.25, gamma=2):
    bce = F.binary_cross_entropy_with_logits(y_pred, y_true, reduction='none')
    pt = torch.exp(-bce)
    loss = alpha * (1-pt)**gamma * bce
    return loss.mean()

3. Label Smoothing – заменяет жесткие 0/1 на мягкие метки (например, 0.1/0.9) для регуляризации.

4. Dice Loss – популярна в задачах сегментации, менее чувствительна к дисбалансу.

5. Lovász Hinge – оптимизирует непосредственно IoU для бинарной классификации.

Выбор зависит от задачи: дисбаланс классов → Focal Loss, сегментация → Dice Loss, переобучение → Label Smoothing.