Для чего нужен learning rate

Learning rate определяет размер шага, который модель делает при обновлении весов во время градиентного спуска. Слишком высокий learning rate может привести к "перепрыгиванию" минимума функции потерь, а слишком низкий — к медленной сходимости или застреванию в локальном минимуме.

Пример настройки learning rate в PyTorch:

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)  # lr - learning rate

Оптимальное значение learning rate часто подбирают экспериментально или используют адаптивные методы (Adam, RMSprop), которые автоматически регулируют learning rate.