Какие знаешь архитектуры языковых моделей

Основные архитектуры языковых моделей:

1. RNN (Recurrent Neural Networks) – последовательная обработка текста с сохранением состояния. Проблема: забывание длинных зависимостей.
   Пример: LSTM, GRU (улучшенные версии RNN).

2. Transformer – основа современных LLM. Использует механизм внимания (self-attention) для параллельной обработки и улавливания зависимостей.
   Пример: BERT (encoder-only), GPT (decoder-only), T5 (encoder-decoder).

3. BERT (Bidirectional Encoder Representations) – предобучение на masked language modeling (MLM). Подходит для классификации, NER.

4. GPT (Generative Pre-trained Transformer) – авторегрессионная модель, предобученная на предсказании следующего токена. Оптимизирована для генерации текста.

5. T5 (Text-to-Text Transfer Transformer) – унифицированный подход: все задачи формулируются как "текст → текст".

# Пример использования GPT-2 из Hugging Face
from transformers import GPT2LMHeadModel, GPT2Tokenizer

model = GPT2LMHeadModel.from_pretrained("gpt2")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))