Какие плюсы и минусы Batch Normalization

Плюсы:

• Ускоряет обучение, уменьшая internal covariate shift
• Позволяет использовать большие learning rates
• Снижает чувствительность к инициализации весов
• Действует как регуляризатор (в некоторых случаях)

Минусы:

• Увеличивает вычислительные затраты
• Может ухудшить работу на маленьких batch'ах (из-за неточной оценки статистик)
• Усложняет архитектуру сети

Пример использования в PyTorch:

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(100, 50),
    nn.BatchNorm1d(50),
    nn.ReLU()
)