Что происходит при большом learning rate

Слишком большой learning rate может привести к нескольким проблемам:

1. Пропуск оптимального решения - модель "перепрыгивает" минимум функции потерь, не сходясь к нему.

2. Расходимость - потери начинают колебаться или расти вместо уменьшения.

3. Нестабильное обучение - веса модели резко изменяются, что мешает стабилизации.

Пример с PyTorch:

# Плохой пример - слишком большой LR
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# Хороший пример - разумный LR
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)

Рекомендации:

• Начинать с малых значений (например, 0.001)
• Использовать learning rate schedulers
• Мониторить потери во время обучения
• Попробовать адаптивные оптимизаторы (Adam, RMSprop)