Как обучить модель предсказывать распределение, а не одно число

Для предсказания распределения вместо точечной оценки можно использовать несколько подходов:

1. Квантильная регрессия - обучаем модель предсказывать разные квантили распределения:

from sklearn.ensemble import GradientBoostingRegressor

# Обучаем модели для разных квантилей
models = {
    q: GradientBoostingRegressor(loss='quantile', alpha=q)
    for q in [0.05, 0.5, 0.95]
}
for q, model in models.items():
    model.fit(X_train, y_train)

2. Probabilistic Forecasting - модели, предсказывающие параметры распределения:

• Gaussian Process Regression
• Bayesian Neural Networks
• Модели типа DeepAR (для временных рядов)

3. Генеративные модели:

• Conditional Variational Autoencoders (CVAE)
• Normalizing Flows
• Diffusion Models

Для оценки качества таких предсказаний используют:

• CRPS (Continuous Ranked Probability Score)
• Покрытие доверительных интервалов
• Логарифмическую правдоподобие (log-likelihood)