Какая формула градиентного спуска

Формула градиентного спуска для обновления параметров модели:

θ = θ - α * ∇J(θ)

Где:

• θ — вектор параметров модели
• α — скорость обучения (learning rate)
• ∇J(θ) — градиент функции потерь J по параметрам θ

Пример на Python:

def gradient_descent(X, y, theta, alpha, num_iters):
    m = len(y)
    for _ in range(num_iters):
        gradient = (1/m) * X.T @ (X @ theta - y)
        theta = theta - alpha * gradient
    return theta

Ключевые моменты:

1. Градиент показывает направление наискорейшего роста функции
2. Мы двигаемся в противоположном направлении (спуск)
3. Скорость обучения α критична — слишком большое значение может привести к расходимости