В чем разница между BLEU и ROUGE

BLEU (Bilingual Evaluation Understudy) и ROUGE (Recall-Oriented Understudy for Gisting Evaluation) — метрики для оценки качества текста, но с разными акцентами.

BLEU оценивает точность (precision) — совпадение n-грамм между машинным переводом и референсным текстом. Учитывает краткость (brevity penalty). Пример:

from nltk.translate.bleu_score import sentence_bleu
reference = [['the', 'cat', 'is', 'on', 'the', 'mat']]
candidate = ['the', 'cat', 'sat', 'on', 'the', 'mat']
score = sentence_bleu(reference, candidate)  # 0.59

ROUGE (чаще ROUGE-L, ROUGE-N) ориентирован на полноту (recall) — сколько n-грамм из референса есть в кандидате. Популярен для суммаризации. Пример:

from rouge import Rouge
rouge = Rouge()
scores = rouge.get_scores("the cat sat on the mat", "the cat is on the mat")
# {'rouge-1': {'f': 0.8, 'p': 0.8, 'r': 0.8}}

Ключевое отличие: BLEU — точность, ROUGE — полнота. BLEU строже к порядку слов, ROUGE гибче.