Как устроена BERT

BERT (Bidirectional Encoder Representations from Transformers) — это трансформерная модель для NLP, предобученная на больших текстовых корпусах.

Ключевые особенности:

• Двунаправленность: анализирует контекст слева и справа от токена (в отличие от GPT).
• Архитектура: основана на трансформерах (многоголовое self-attention + feed-forward слои).
• Предобучение:
  • MLM (Masked Language Model): 15% токенов маскируются, модель предсказывает их.
  • NSP (Next Sentence Prediction): определяет, следует ли одно предложение за другим.

Пример использования (PyTorch + HuggingFace):

from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

inputs = tokenizer("Hello, BERT!", return_tensors="pt")
outputs = model(**inputs)  # Получаем эмбеддинги

BERT применяется для задач классификации, NER, QA и др. через fine-tuning.