Как работает Dropout

Dropout — это техника регуляризации в нейронных сетях, которая случайным образом "отключает" (обнуляет) часть нейронов во время обучения с заданной вероятностью p. Это предотвращает переобучение, заставляя сеть учиться более устойчивым признакам.

Как работает:

• На каждом шаге обучения для каждого нейрона с вероятностью p он исключается из сети (выход = 0).
• На инференсе все нейроны активны, но их веса масштабируются на (1 - p), чтобы компенсировать большее количество активных нейронов.

Пример в PyTorch:

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(100, 200),
    nn.ReLU(),
    nn.Dropout(p=0.5),  # 50% нейронов отключаются
    nn.Linear(200, 10)
)

Почему работает:

• Предотвращает коадаптацию нейронов (слишком сильную зависимость друг от друга).
• Эмулирует ансамбль множества подмоделей.