Какие плюсы и минусы target encoding

Плюсы:

• Эффективно кодирует категориальные признаки, сохраняя информацию о взаимосвязи с целевой переменной.
• Работает лучше one-hot encoding при большом количестве категорий, избегая "раздувания" признакового пространства.
• Хорошо подходит для деревьев и ансамблей (CatBoost, LightGBM).

Минусы:

• Риск переобучения (утечка информации), если не использовать кросс-валидацию или сглаживание.
• Может закодировать шум, если категория редкая или данные несбалансированы.
• Требует аккуратной обработки новых/редких категорий (например, замены на глобальное среднее).

Пример с кодом (Python, category_encoders):

from category_encoders import TargetEncoder
import pandas as pd

data = pd.DataFrame({'category': ['A', 'B', 'A', 'C'], 'target': [1, 0, 1, 0]})
encoder = TargetEncoder(smoothing=1.0).fit(data['category'], data['target'])
encoded = encoder.transform(data['category'])

Совет: Всегда используйте smoothing и кодирование внутри кросс-валидации!