Что такое градиентный взрыв

Градиентный взрыв — это проблема в обучении нейронных сетей, когда градиенты обратного распространения ошибки становятся слишком большими, что приводит к нестабильному обновлению весов и резкому росту ошибки. Чаще возникает в глубоких сетях с нелинейными активациями (например, ReLU) или при неправильной инициализации весов.

Причины:

• Слишком большой learning rate.
• Глубокие архитектуры (например, RNN).
• Неправильная инициализация весов.

Решение:

• Использование методов нормализации градиента (Gradient Clipping).
• Применение Batch Normalization.
• Оптимизация архитектуры (например, LSTM вместо RNN).

Пример с Gradient Clipping в PyTorch:

optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()