Какие знаешь подходы, где не используется стохастический градиентный спуск

Вот несколько подходов, где не используется SGD:

1. Закрытые решения (Closed-form solutions)
   Например, линейная регрессия через нормальное уравнение:
   python

   Копировать

   import numpy as np
   X = np.array([[1, 1], [1, 2], [1, 3]])
   y = np.array([1, 2, 3])
   theta = np.linalg.inv(X.T @ X) @ X.T @ y

2. Методы оптимизации без градиентов

   • Сеточный поиск (Grid Search)
   • Случайный поиск (Random Search)
   • Методы на основе производных (Newton's method, L-BFGS)

3. Детерминированные алгоритмы

   • SVM (для линейного случая через Quadratic Programming)
   • Деревья решений (CART, ID3)
   • Ансамбли (Random Forest, Gradient Boosting без line search)

4. Методы MCMC
   Например, Gibbs Sampling для байесовских моделей.

5. Аналитические методы
   EM-алгоритм для GMM или PCA через SVD.

Эти методы либо не требуют градиентов, либо используют детерминированную оптимизацию.