Какие знаешь модификации градиентного спуска

Стандартный градиентный спуска имеет несколько модификаций, улучшающих скорость сходимости и устойчивость:

1. Стохастический градиентный спуск (SGD)
   Обновляет веса на каждом примере, а не на всём датасете. Быстрее, но шумнее.
   python

   Копировать

   for epoch in range(epochs):
       np.random.shuffle(data)
       for x, y in data:
           grad = compute_gradient(x, y, weights)
           weights -= lr * grad

2. Mini-batch SGD
   Компромисс между SGD и полным градиентом — обновляет веса на небольших батчах.

3. Momentum
   Добавляет инерцию, сглаживая колебания:

   python

   Копировать

   velocity = 0
   velocity = beta * velocity + (1 - beta) * grad
   weights -= lr * velocity

4. Adam
   Адаптивный момент, комбинирует идеи Momentum и RMSprop. Автоматически настраивает learning rate.

   python

   Копировать

   optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)

5. Adagrad/RMSprop
   Адаптируют learning rate для каждого параметра, уменьшая его для часто обновляемых весов.

Выбор зависит от задачи: Adam часто используется по умолчанию, SGD — для точной настройки.