Как происходит оценка ошибки

Ошибка оценивается с помощью функции потерь (loss function), которая измеряет разницу между предсказанными и фактическими значениями. Для регрессии часто используют MSE (Mean Squared Error), а для классификации — кросс-энтропию.

Пример с MSE:

from sklearn.metrics import mean_squared_error
y_true = [3, 5, 2.5, 7]
y_pred = [2.5, 5, 4, 8]
mse = mean_squared_error(y_true, y_pred)
print(f"MSE: {mse:.2f}")  # MSE: 0.62

Для классификации можно использовать log_loss:

from sklearn.metrics import log_loss
y_true = [1, 0, 1, 1]
y_probs = [0.9, 0.1, 0.8, 0.65]
loss = log_loss(y_true, y_probs)
print(f"Log Loss: {loss:.3f}")  # Log Loss: 0.216

Выбор метрики зависит от задачи: точность, F1, ROC-AUC и т.д.