Что такое Attention

Attention — это механизм в нейронных сетях, позволяющий модели динамически фокусироваться на наиболее релевантных частях входных данных. В отличие от классических архитектур (например, RNN), attention взвешивает важность каждого элемента последовательности при генерации выхода, что улучшает обработку длинных зависимостей.

Пример с кодом (PyTorch):

import torch.nn as nn

class SimpleAttention(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.query = nn.Linear(dim, dim)
        self.key = nn.Linear(dim, dim)
        self.value = nn.Linear(dim, dim)
        
    def forward(self, x):
        Q = self.query(x)
        K = self.key(x)
        V = self.value(x)
        scores = torch.matmul(Q, K.transpose(-2, -1)) / (dim ** 0.5)
        weights = torch.softmax(scores, dim=-1)
        return torch.matmul(weights, V)

Ключевые свойства:

• Параметризуемые веса (query, key, value)
• Масштабированное скалярное произведение для оценки важности
• Softmax для нормализации весов

Используется в Transformers, NLP, CV и других областях.