Какие знаешь архитектуры энкодера

Основные архитектуры энкодеров:

1. Автоэнкодер (Vanilla Autoencoder) – базовая модель с encoder-decoder структурой, минимизирующая MSE между входом и выходом.

from keras.layers import Input, Dense
input_layer = Input(shape=(input_dim,))
encoded = Dense(encoding_dim, activation='relu')(input_layer)
decoded = Dense(input_dim, activation='sigmoid')(encoded)

2. Variational Autoencoder (VAE) – генеративная модель, обучающая распределение скрытого пространства (обычно гауссово).

# Пример слоя Sampling для VAE
class Sampling(layers.Layer):
    def call(self, inputs):
        z_mean, z_log_var = inputs
        epsilon = tf.random.normal(shape=tf.shape(z_mean))
        return z_mean + tf.exp(0.5 * z_log_var) * epsilon

3. Denoising Autoencoder – устойчив к шуму, обучается на зашумленных данных.

4. Sparse Autoencoder – добавляет L1-регуляризацию для разреженности активаций.

5. Transformer-based (BERT, GPT) – используют self-attention для кодирования последовательностей.

6. CNN-based (ResNet, VGG) – свёрточные архитектуры для изображений.

Ключевые различия: цель (сжатие/генерация), тип данных (таблицы/изображения/текст), наличие регуляризации.