Что такое learning rate

Learning rate (скорость обучения) — это гиперпараметр, определяющий размер шага, с которым модель обновляет веса во время градиентного спуска.

Ключевые моменты:

• Слишком высокий LR может привести к расхождению (модель "перепрыгивает" минимум).
• Слишком низкий LR замедляет обучение или застревает в локальных минимумах.

Пример на PyTorch:

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)  # LR=0.01

Советы:

• Начинайте с стандартных значений (например, 0.01 или 0.001).
• Используйте learning rate schedulers (например, ReduceLROnPlateau).
• Попробуйте адаптивные оптимизаторы (Adam, RMSprop), которые автоматически настраивают LR.