Как работает распределенное обучение

Распределенное обучение позволяет ускорить тренировку моделей, разделяя вычисления между несколькими узлами. Основные подходы:

1. Data Parallelism – данные разбиваются на части, каждая нода обучает модель на своем фрагменте, градиенты агрегируются (например, через AllReduce).
2. Model Parallelism – модель разделяется между узлами (полезно для больших моделей, как трансформеры).

Пример с PyTorch (Data Parallel):

import torch
import torch.nn as nn
import torch.distributed as dist

model = nn.Linear(10, 10).cuda()
model = nn.parallel.DistributedDataParallel(model)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# На каждой ноде свой DataLoader с частью данных
for inputs, labels in train_loader:
    outputs = model(inputs.cuda())
    loss = nn.MSELoss()(outputs, labels.cuda())
    loss.backward()
    optimizer.step()

Ключевые технологии: Horovod, TensorFlow Distributed, PyTorch DDP. Важно синхронизировать градиенты и учитывать накладные расходы на коммуникацию.