Что такое momentum

Momentum — это техника оптимизации в градиентном спуске, которая ускоряет сходимость, добавляя долю предыдущего обновления весов к текущему градиенту. Это помогает избежать колебаний и быстрее проходить плоские участки функции потерь.

Формула:
v_t = β * v_{t-1} + (1 - β) * ∇J(w_t)
w_{t+1} = w_t - α * v_t

Где:

• v_t — накопленный импульс,
• β — коэффициент затухания (обычно 0.9),
• α — скорость обучения.

Пример в PyTorch:

optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

Плюсы:

• Ускоряет обучение,
• Сглаживает шум в градиентах.