Выбор метрик¶

Вкладка Metrics позволяет выбрать, какие метрики оценки будут применяться к ответам вашего API.

Вкладка Metrics

Категории метрик¶

Метрики организованы в пять категорий, доступных через подвкладки:

RAG¶

Метрики для оценки систем Retrieval-Augmented Generation:

Метрика	Описание	Обязательные поля
AnswerRelevancyMetric	Многоэтапная оценка релевантности	`input`, `actual_output`
AnswerPrecisionMetric	Точность относительно ожидаемого ответа	`input`, `actual_output`, `expected_output`
FaithfulnessMetric	Фактологическая точность относительно контекста	`actual_output`, `retrieval_context`
ContextualRelevancyMetric	Релевантность контекста запросу	`input`, `retrieval_context`
ContextualPrecisionMetric	Точность извлечённого контекста	`input`, `actual_output`, `expected_output`, `retrieval_context`
ContextualRecallMetric	Полнота контекста	`expected_output`, `retrieval_context`
BiasMetric	Обнаружение предвзятости в ответах	`actual_output`
ToxicityMetric	Определение уровня токсичности	`actual_output`
RestrictedRefusalMetric	Корректный отказ на вредоносные запросы	`actual_output`
GEval	Пользовательская оценка G-Eval	`input`, `actual_output`
CustomEvalMetric	Пользовательская оценка на основе вердиктов	`input`, `actual_output`

Agent¶

Метрики для оценки AI-агентов и использования инструментов:

Метрика	Описание
ToolCorrectnessMetric	Проверка правильности выбора инструмента
TaskSuccessMetric	Оценка выполнения задачи
RoleAdherenceMetric	Проверка соответствия роли

Security¶

Метрики для оценки безопасности и защищённости:

Метрика	Описание
PromptInjectionMetric	Обнаружение атак внедрения промптов
JailbreakMetric	Обнаружение попыток джейлбрейка
PIILeakageMetric	Проверка наличия персональных данных в ответах

Deterministic¶

Метрики без использования LLM, основанные на точном сопоставлении и правилах шаблонов.

Vector¶

Метрики на основе векторного сходства.

Как выбрать метрики¶

Установите флажок рядом с каждой метрикой, которую хотите включить
Обязательные поля (отображаются в виде серых тегов под каждой метрикой) указывают, какие данные необходимы
Убедитесь, что ваши настройки Column Mapping и Response Mapping предоставляют необходимые поля

Warning

Выбор метрик, требующих полей, отсутствующих в вашем датасете или ответе API, приведёт к ошибкам оценки. Внимательно проверяйте теги обязательных полей.