Что такое трансформенная архитектура

Трансформерная архитектура — это модель глубокого обучения, основанная на механизме внимания (attention), особенно self-attention. Она исключает рекуррентные и сверточные слои, заменяя их механизмами внимания для обработки последовательностей.

Ключевые компоненты:

1. Self-Attention — вычисляет веса для каждого элемента последовательности относительно других.
2. Multi-Head Attention — несколько параллельных механизмов внимания для лучшего учета контекста.
3. Positional Encoding — добавляет информацию о позиции элемента, так как трансформеры не имеют встроенного понимания порядка.
4. Feed-Forward Networks — применяется к каждому элементу отдельно после внимания.

Пример кода (PyTorch):

import torch.nn as nn
from transformers import Transformer

model = Transformer(
    d_model=512,  # размер эмбеддингов
    nhead=8,      # количество голов внимания
    num_layers=6   # количество слоев
)

Используется в NLP (BERT, GPT), CV (ViT), и других областях.