Куда указывает градиент

Градиент функции в точке указывает направление наискорейшего возрастания функции. В машинном обучении мы обычно минимизируем функцию потерь, поэтому двигаемся в направлении, противоположном градиенту (антиградиент).

Пример с градиентом квадратичной функции:

import numpy as np

def f(x): return x**2  # функция
def grad(x): return 2*x  # её градиент

x = 3.0
print(f"Градиент в точке {x}: {grad(x)}")  # выведет 6.0 - направление роста

В SGD обновление весов:

learning_rate = 0.1
x = x - learning_rate * grad(x)  # двигаемся против градиента