Как бороться с градиентным затуханием

Используйте методы инициализации (Xavier, He), чтобы избежать слишком малых градиентов. Применяйте функции активации, такие как ReLU или LeakyReLU, вместо сигмоиды/тангенса. Нормализуйте входные данные и используйте batch normalization в скрытых слоях.

Пример с кодом (PyTorch):

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(784, 256),
    nn.BatchNorm1d(256),  # BatchNorm
    nn.LeakyReLU(0.1),    # LeakyReLU вместо ReLU
    nn.Linear(256, 10)
)

# Инициализация весов
for layer in model:
    if isinstance(layer, nn.Linear):
        nn.init.kaiming_normal_(layer.weight, mode='fan_in', nonlinearity='leaky_relu')

Также можно использовать residual connections (ResNet) или регулировать learning rate с помощью адаптивных оптимизаторов (Adam, RMSprop).