Встречается на собеседованиях • сегодня

Какие плюсы и минусы трансформеров

Плюсы:

  • Отлично работают с последовательностями благодаря механизму внимания (self-attention)
  • Улавливают долгосрочные зависимости лучше, чем RNN/LSTM
  • Параллелизуются на GPU (нет последовательной обработки как в RNN)
  • State-of-the-art результаты в NLP, CV, генеративных задачах

Минусы:

  • Высокие вычислительные затраты (O(n²) по памяти и времени для self-attention)
  • Требуют огромных объемов данных для обучения
  • Сложность интерпретации механизма внимания
  • Плохо масштабируются на длинные последовательности
python
# Пример Self-Attention в PyTorch
import torch.nn as nn
class SelfAttention(nn.Module):
    def __init__(self, embed_size):
        super().__init__()
        self.query = nn.Linear(embed_size, embed_size)
        self.key = nn.Linear(embed_size, embed_size)
        self.value = nn.Linear(embed_size, embed_size)
        
    def forward(self, x):
        Q = self.query(x)
        K = self.key(x)
        V = self.value(x)
        attention = torch.softmax((Q @ K.T) / (x.shape[-1] ** 0.5), dim=-1)
        return attention @ V
Sophi
Софи собрала все вопросы. Тренируйся и получай
офферы быстрее!
Попробовать бесплатноArrow

Следующий вопрос

Это единственный вопрос по вашему фильтру

как отвечать на вопрос
пример собеседования
фреймворки на собеседовании
типичные вопросы junior
интервью вопросы и ответы