Как работает L1 и L2 регуляризация в градиентом бустинге

L1 (Lasso) и L2 (Ridge) регуляризация в градиентном бустинге добавляют штрафы к функции потерь для борьбы с переобучением.

L1 регуляризация добавляет сумму абсолютных значений весов (λ * Σ|w|). Она может обнулять неважные признаки, выполняя отбор.

L2 регуляризация добавляет сумму квадратов весов (λ * Σw²). Она уменьшает веса равномерно, но не обнуляет их.

В градиентном бустинге (например, XGBoost) регуляризация применяется к весам листьев:

# XGBoost параметры регуляризации
params = {
    'lambda': 1.0,  # L2 регуляризация
    'alpha': 0.5,   # L1 регуляризация
    'max_depth': 3
}

L1 сильнее уменьшает сложность модели, L2 стабилизирует обучение. Оба метода помогают контролировать переобучение.