Для чего используется LoRA

LoRA (Low-Rank Adaptation) — метод дообучения больших языковых моделей (LLM) с минимальными вычислительными затратами. Он замораживает исходные веса модели и добавляет низкоранговые матрицы для адаптации под конкретную задачу.

Преимущества:

• Экономия памяти (тренируется только малая часть параметров).
• Быстрее fine-tuning по сравнению с полным дообучением.
• Легко переключаться между задачами, подгружая разные адаптеры.

Пример с Hugging Face:

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=8,  # ранг матрицы
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.1,
)
model = get_peft_model(base_model, config)  # base_model — исходная LLM

Используется в NLP (чат-боты, классификация), но применим и для других архитектур (ViT, Diffusion).