Как меняется bias и variance при использовании dropout в нейросетях

Dropout снижает variance за счёт уменьшения коадаптации нейронов — каждый нейрон не может полагаться на конкретные другие нейроны, так как они случайно "отключаются". Это делает модель более устойчивой к переобучению.

Однако dropout может немного увеличить bias, так как он ограничивает способность сети обучаться на полную мощность (некоторые нейроны "молчат" в каждом проходе).

Пример с Keras:

from keras.models import Sequential
from keras.layers import Dense, Dropout

model = Sequential()
model.add(Dense(128, activation='relu', input_dim=64))
model.add(Dropout(0.5))  # 50% dropout
model.add(Dense(10, activation='softmax'))

Оптимальный уровень dropout (обычно 0.2–0.5) балансирует между bias и variance.