Что нужно сделать с learning rate при увеличении размера batch

При увеличении размера batch learning rate следует пропорционально увеличить. Это связано с тем, что больший batch даёт более точную оценку градиента (меньше шума), поэтому можно использовать более агрессивный шаг.

Эмпирическое правило:
new_lr = base_lr * (new_batch_size / base_batch_size)

Пример на PyTorch:

batch_size = 256  # новый размер батча
base_batch = 32   # исходный размер
base_lr = 0.01    # исходный LR
optimizer = torch.optim.SGD(model.parameters(), 
                           lr=base_lr * (batch_size/base_batch))

Важно: это начальная точка для настройки, окончательный LR может потребовать дополнительной подгонки. Также при очень больших batch может потребоваться warmup.