Какие знаешь критерии остановки в градиентном спуске

Основные критерии остановки градиентного спуска:

1. Достижение максимального числа итераций
   Простейший способ — ограничить количество шагов.

2. Малая величина градиента
   Останавливаем, когда норма градиента становится меньше заданного ε:
   if np.linalg.norm(gradient) < epsilon: break

3. Незначительное изменение функции потерь
   Разница между значениями loss на соседних итерациях мала:
   if abs(loss_prev - loss_current) < tol: break

4. Ранняя остановка (Early Stopping)
   Для валидационных данных loss перестаёт уменьшаться или начинает расти.

5. Ручной мониторинг
   Визуализация кривой обучения и принятие решения вручную.

Пример кода для критерия 2 и 3:

for epoch in range(max_epochs):
    gradient = compute_gradient(data, params)
    if np.linalg.norm(gradient) < 1e-5:
        break
    
    loss_prev = loss_current
    loss_current = compute_loss(data, params)
    if abs(loss_prev - loss_current) < 1e-6:
        break