Что такое Attention механизм

Attention механизм — это техника в нейронных сетях, позволяющая модели динамически фокусироваться на наиболее релевантных частях входных данных. В отличие от классических архитектур (например, RNN), attention взвешивает значимость элементов последовательности, что особенно полезно для задач типа машинного перевода или обработки текста.

Пример (PyTorch):

import torch
import torch.nn as nn

class SimpleAttention(nn.Module):
    def __init__(self, hidden_size):
        super().__init__()
        self.attention = nn.Linear(hidden_size, 1)

    def forward(self, x):
        # x shape: [batch, seq_len, hidden_size]
        scores = self.attention(x).squeeze(-1)  # [batch, seq_len]
        weights = torch.softmax(scores, dim=-1)
        return torch.sum(x * weights.unsqueeze(-1), dim=1)

Ключевые аспекты:

• Self-Attention (Transformer): вычисляет зависимости внутри одной последовательности.
• Scaled Dot-Product Attention: масштабирует скалярные произведения для стабильности градиентов.
• Multi-Head Attention: параллельные attention-головы для разных подпространств.

Используется в BERT, GPT и других SOTA-моделях.