Что такое языковая модель

Языковая модель (LM) — это алгоритм машинного обучения, который предсказывает вероятность последовательности слов. Она учится на текстовых данных, улавливая закономерности в языке, и может генерировать осмысленный текст, завершать предложения или отвечать на вопросы.

Пример с кодом (используем Hugging Face Transformers):

from transformers import pipeline

generator = pipeline('text-generation', model='gpt2')
result = generator("The future of AI is", max_length=30)
print(result[0]['generated_text'])

Типы моделей:

• Статистические (n-gram) — простые, но ограниченные.
• Нейросетевые (RNN, Transformer) — мощные, как GPT или BERT.

Применение: чат-боты, перевод, исправление текста, анализ тональности.