Какие плюсы и минусы TF-IDF

Плюсы:

• Простота реализации и интерпретации
• Эффективен для задач поиска и классификации текстов
• Учитывает важность слов в документе относительно коллекции
• Работает с разреженными матрицами (эффективно по памяти)

Минусы:

• Не учитывает семантику и порядок слов
• Плохо работает с редкими словами (может зашумлять данные)
• Не учитывает синонимы и многозначность
• Требует предобработки текста (стемминг, удаление стоп-слов)

Пример:

from sklearn.feature_extraction.text import TfidfVectorizer
corpus = ["This is first document", "This document is second"]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
print(X.toarray())