Что происходит в MAE при дифференциале

MAE (Mean Absolute Error) не дифференцируема в точке ноль из-за модуля. Это может вызвать проблемы при использовании градиентных методов оптимизации, так как градиент в нуле не определен.

Пример:

import numpy as np

def mae(y_true, y_pred):
    return np.mean(np.abs(y_true - y_pred))

# Градиент MAE
def mae_grad(y_true, y_pred):
    return np.sign(y_pred - y_true)  # Возвращает -1, 0 или 1

В нуле градиент делает "скачок" с -1 на 1, что может замедлить сходимость или вызвать нестабильность. На практике часто используют Huber Loss или MAE с небольшим сглаживанием (например, добавляя ε ≈ 1e-5 к знаменателю).