Что такое метод максимального правдоподобия

Метод максимального правдоподобия (MLE) — это статистический подход для оценки параметров модели, максимизирующий функцию правдоподобия, которая измеряет вероятность наблюдения данных при заданных параметрах.

Суть:
Находим параметры θ, при которых вероятность увидеть имеющиеся данные X максимальна:
θ̂ = argmax P(X|θ)

Пример с кодом (оценка параметра λ для экспоненциального распределения):

import numpy as np
from scipy.optimize import minimize

data = np.random.exponential(scale=2, size=100)  # Истинный λ=0.5 (scale=1/λ)

def neg_log_likelihood(lambda_param):
    return -np.sum(np.log(lambda_param) - lambda_param * data)

result = minimize(neg_log_likelihood, x0=1.0, bounds=[(0.001, None)])
print(f"Оценка λ: {result.x[0]:.3f}")  # ≈0.5

Ключевые моменты:

1. Работает с любым распределением.
2. Асимптотически несмещенный и эффективный.
3. Для сложных моделей может потребоваться численная оптимизация.