Что делать, если есть выбросы в данных

Выбросы требуют анализа перед обработкой. Сначала определи их природу: ошибка измерения или реальное явление.

Методы обработки:

1. Удаление (если ошибка):

df = df[(df['col'] < upper_bound) & (df['col'] > lower_bound)]

2. Замена (медианой, средним, квантилями):

df['col'] = np.where(df['col'] > threshold, median, df['col'])

3. Логарифмирование для уменьшения влияния:

df['log_col'] = np.log1p(df['col'])

4. Winsorization (ограничение выбросов):

from scipy.stats import mstats
df['col'] = mstats.winsorize(df['col'], limits=[0.05, 0.05])

Важно учитывать контекст задачи — иногда выбросы содержат ценную информацию.