Как рассчитывается Layer Normalization

Layer Normalization (LN) стандартизирует входные данные по последнему измерению (обычно features), вычисляя среднее и дисперсию для каждого примера в батче независимо. Формула:

def layer_norm(x, eps=1e-5):
    mean = x.mean(-1, keepdims=True)
    variance = x.var(-1, keepdims=True)
    normalized = (x - mean) / (variance + eps).sqrt()
    return normalized * gamma + beta  # gamma и beta - обучаемые параметры

Ключевые моменты:

• LN работает независимо для каждого примера в батче (в отличие от BatchNorm)
• Сохраняет масштаб и сдвиг через gamma и beta
• eps добавляется для численной стабильности
• Часто используется в трансформерах и RNN