Векторные метрики¶

Векторные метрики оценивают выходные данные ИИ путем сравнения эмбеддинг-представлений, а не с помощью LLM-оценки. Они быстрее и дешевле LLM-метрик, так как требуют только модель эмбеддингов.

Доступные метрики¶

Основные свойства¶

• LLM не требуется — метрики используют только модели эмбеддингов
• Детерминированность — одинаковые входные данные всегда дают одинаковый результат
• Скорость — один вызов эмбеддинга на текст, без многошаговых LLM-цепочек
• Экономичность — вызовы API эмбеддингов значительно дешевле генерации чата

Импорт¶

from eval_lib.metrics.vector_metrics import (
    SemanticSimilarityMetric,
    ReferenceMatchMetric,
)

Провайдеры эмбеддингов¶

Векторные метрики поддерживают следующие провайдеры через параметр embedding_provider: