Что такое backpropagation

Backpropagation — это алгоритм обучения нейронных сетей, основанный на градиентном спуске. Он вычисляет градиенты функции потерь по весам сети, распространяя ошибку от выходного слоя назад к входному.

Шаги:

1. Прямой проход (forward pass) — вычисление предсказания.
2. Обратный проход (backward pass) — расчёт градиентов через цепное правило (chain rule).
3. Обновление весов с помощью оптимизатора (например, SGD).

Пример с кодом (PyTorch):

import torch

# Простая модель
model = torch.nn.Linear(2, 1)
criterion = torch.nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# Данные
X = torch.tensor([[1.0, 2.0]])
y = torch.tensor([[3.0]])

# Forward pass
output = model(X)
loss = criterion(output, y)

# Backward pass
optimizer.zero_grad()
loss.backward()  # Вычисление градиентов
optimizer.step()  # Обновление весов

Нюансы:

• Зависание градиентов (vanishing/exploding) — решается нормализацией или архитектурой (например, ResNet).
• Переобучение — регуляризация (Dropout, L2).
• Вычислительная сложность — оптимизация через автоматическое дифференцирование (autograd).