Расскажи архитектуру энкодера

Энкодер в машинном обучении — это модель, преобразующая входные данные в компактное представление (латентное пространство). Основные типы:

1. Последовательные (RNN/LSTM) — обрабатывают данные шаг за шагом, сохраняя скрытое состояние. Подходят для текста, временных рядов.

encoder = LSTM(64, return_state=True)
_, state_h, state_c = encoder(input_data)

2. Сверточные (CNN) — используют фильтры для извлечения локальных признаков. Эффективны для изображений.

encoder = Sequential([
    Conv2D(32, (3,3), activation='relu'),
    MaxPooling2D(),
    Flatten()
])

3. Трансформеры — применяют self-attention для учета глобальных зависимостей. Основной выбор для NLP.

encoder_layer = TransformerEncoderLayer(d_model=512, nhead=8)
encoder = TransformerEncoder(encoder_layer, num_layers=6)

Ключевые свойства:

• Сжимает данные с потерей информации (в отличие от lossless-кодирования)
• Может обучаться как часть автоэнкодера или seq2seq-модели
• Размер латентного представления — гиперпараметр