Какие знаешь методы оценки сходства векторов в NLP

Косинусное сходство - наиболее популярный метод, измеряет угол между векторами, инвариантен к длине векторов. Формула: cos(θ) = (A·B) / (||A|| * ||B||).

from sklearn.metrics.pairwise import cosine_similarity
cos_sim = cosine_similarity(vec1.reshape(1,-1), vec2.reshape(1,-1))[0][0]

Евклидово расстояние - геометрическое расстояние между точками: sqrt(Σ(Ai - Bi)²). Чем меньше значение, тем ближе векторы.

Манхэттенское расстояние (L1 норма) - сумма абсолютных разностей: Σ|Ai - Bi|. Устойчивее к выбросам, чем евклидово.

Точковое произведение (Dot Product) - простая мера, но зависит от длины векторов: Σ(Ai * Bi).

Для предобученных эмбеддингов (Word2Vec, GloVe) обычно используют косинусное сходство, так как важнее направление, а не величина вектора.