Что такое ROUGE

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) — это метрика для оценки качества автоматического суммирования текста. Она сравнивает сгенерированный текст с эталонным (референсным) по совпадению n-грамм (обычно 1-4 слов).

Основные варианты:

• ROUGE-N: Совпадение n-грамм (например, ROUGE-1 — униграммы).
• ROUGE-L: Учитывает наибольшую общую подпоследовательность (LCS).
• ROUGE-S: Учитывает пропущенные биграммы (skip-биграммы).

Пример вычисления ROUGE-1 (Python, библиотека rouge-score):

from rouge_score import rouge_scorer

scorer = rouge_scorer.RougeScorer(['rouge1'], use_stemmer=True)
scores = scorer.score("The cat is on the mat", "The cat sits on the mat")
print(scores['rouge1'].fmeasure)  # F1-score для униграмм

Нюансы:

• Ориентирована на recall (полноту), но включает precision и F1.
• Не учитывает семантику, только лексические совпадения.
• Чувствительна к множественным референсам.