Какие знаешь архитектуры декодера

Основные архитектуры декодеров:

1. RNN/LSTM декодеры - последовательная обработка, используются в ранних seq2seq моделях. Пример:

decoder_lstm = LSTM(units=256, return_sequences=True)

2. Transformer декодер (например, в GPT) - использует masked self-attention для авторегрессионного прогнозирования. Ключевые компоненты:
   • Masked multi-head attention
   • Cross-attention (в encoder-decoder архитектурах)
   • Position-wise FFN

3. CNN декодеры - например, в моделях для генерации изображений (DCGAN), используют транспонированные свертки:

Conv2DTranspose(filters=64, kernel_size=4, strides=2)

4. Diffusion декодеры - постепенно преобразуют шум в данные через цепочку шагов денизинга.

5. VAE декодеры - преобразуют латентное представление в данные, часто используют MLP или CNN.