Как определить влияют ли офлайн-метрики на онлайн-метрики

import pandas as pd
import scipy.stats as stats

# Пример данных: офлайн-метрика (precision) и онлайн-метрика (CTR)
df = pd.DataFrame({
    'precision': [0.85, 0.90, 0.78, 0.82],
    'ctr': [0.12, 0.15, 0.10, 0.13]
})

**A/B-тест:**  
1. Разделите пользователей на группы (A/B).  
2. Внедрите улучшение офлайн-метрики в группе B.  
3. Сравните онлайн-метрики между группами (t-тест или U-критерий).  

**Нюансы:**  
- Корреляция ≠ причинно-следственная связь.  
- Учитывайте временные лаги (например, эффект может проявиться через неделю).  
- Проверяйте стабильность метрик (шум в данных может исказить результаты).