Какой граф вычислений в PyTorch

Граф вычислений в PyTorch — это динамическая структура, автоматически создаваемая при выполнении операций над тензорами с requires_grad=True. Он хранит историю операций для последующего автоматического дифференцирования (autograd).

Пример:

import torch

x = torch.tensor(2.0, requires_grad=True)
y = x ** 2 + 3 * x
y.backward()  # Вычисление градиента
print(x.grad)  # dy/dx = 2x + 3 → 7

Ключевые особенности:

1. Граф строится динамически во время выполнения (define-by-run)
2. Узлы — тензоры, ребра — операции
3. Для оптимизации памяти граф автоматически удаляется после .backward()
4. Можно отключить через torch.no_grad() или @torch.inference_mode()

Граф позволяет эффективно вычислять градиенты методом обратного распространения (backpropagation).