Есть ли в градиентном бустинге L1 и L2 регуляризация

Да, в градиентном бустинге (например, XGBoost, LightGBM, CatBoost) есть L1 (Lasso) и L2 (Ridge) регуляризация. Они применяются к весам листьев (для деревьев) или коэффициентам (для линейных моделей).

Пример в XGBoost:

import xgboost as xgb
params = {
    'objective': 'reg:squarederror',
    'reg_alpha': 1.0,  # L1 регуляризация
    'reg_lambda': 0.5, # L2 регуляризация
    'max_depth': 3
}
model = xgb.train(params, dtrain)

Нюансы:

• reg_alpha (L1) помогает отбирать признаки, делая некоторые веса нулевыми.
• reg_lambda (L2) уменьшает переобучение, штрафуя большие веса.
• В LightGBM аналогичные параметры: lambda_l1, lambda_l2.
• В CatBoost: l2_leaf_reg (только L2).