Что такое RuBERT

RuBERT — это предобученная языковая модель на основе архитектуры BERT, адаптированная для русского языка. Разработана DeepPavlov и Сбером, обучена на большом корпусе русскоязычных текстов. Используется для задач NLP: классификации, NER, вопросно-ответных систем.

Пример загрузки и использования:

from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('DeepPavlov/rubert-base-cased')
model = BertModel.from_pretrained('DeepPavlov/rubert-base-cased')

inputs = tokenizer("Привет, мир!", return_tensors="pt")
outputs = model(**inputs)

Ключевые особенности:

• Поддержка морфологии русского языка.
• Качественные эмбеддинги для downstream-задач.
• Интеграция с Hugging Face.