Что такое проблема взрывающегося градиента

Проблема взрывающегося градиента возникает в глубоких нейронных сетях, когда градиенты обратного распространения ошибки становятся слишком большими, что приводит к нестабильному обучению. Это часто происходит в рекуррентных сетях (RNN) из-за многократного умножения градиентов на веса при длинных последовательностях.

Причины:

• Большие веса в сети
• Длинные последовательности в RNN
• Неправильная инициализация весов

Решение:

• Использование методов обрезки градиента (gradient clipping)
• Применение архитектур с гейтами (LSTM, GRU)
• Правильная инициализация весов (например, Xavier/Glorot)

Пример обрезки градиента в PyTorch:

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)