Какие знаешь методы обработки выбросов в данных

Выбросы можно обрабатывать разными методами, выбор зависит от природы данных и задачи:

1. Удаление – простой способ, но может привести к потере информации.

df = df[(df['col'] < upper_bound) & (df['col'] > lower_bound)]

2. Квантили – замена выбросов граничными значениями (например, 1% и 99% квантили).

lower = df['col'].quantile(0.01)
upper = df['col'].quantile(0.99)
df['col'] = df['col'].clip(lower, upper)

3. Логарифмирование – полезно для правосторонних выбросов.

df['col_log'] = np.log1p(df['col'])

4. Методы машинного обучения – Isolation Forest или DBSCAN для автоматического обнаружения.

5. Статистические методы – Z-score или IQR (межквартильный размах).

z_scores = (df['col'] - df['col'].mean()) / df['col'].std()
df = df[abs(z_scores) < 3]  # удаляем выбросы (|z| > 3)

Важно анализировать природу выбросов – иногда они содержат ценную информацию!