Функция потерь минимизируется по параметрам модели (весам и смещениям), которые напрямую влияют на предсказания. Например, в линейной регрессии минимизируется MSE (среднеквадратичная ошибка) по весам w и смещению b:

import numpy as np

Данные

X = np.array([1, 2, 3])
y = np.array([2, 4, 6])

Инициализация параметров

w, b = 0.0, 0.0

Функция потерь (MSE)

def loss(y_true, y_pred):
return ((y_true - y_pred)**2).mean()

Градиентный спуск

learning_rate = 0.01
for _ in range(100):
y_pred = w * X + b
dw = -2 * (X * (y - y_pred)).mean() # Градиент по w
db = -2 * (y - y_pred).mean() # Градиент по b
w -= learning_rate * dw
b -= learning_rate * db

Параметры обновляются в направлении, противоположном градиенту, чтобы уменьшить ошибку. В нейронных сетях минимизируются веса всех слоёв через backpropagation.