Поведение при неуверенности (Failure Rate)¶

Метрика Failure Rate оценивает, как агент ведёт себя, когда не знает ответа. Галлюцинирует ли он, уклоняется ли, или честно признаёт это и предлагает альтернативу?

Один целостный (holistic) вердикт LLM классифицирует весь разговор в одну из шести категорий на основе few-shot рубрики. Доверие асимметрично: одна галлюцинация доминирует в вердикте даже если остальные ходы обработаны хорошо.

Как это работает¶

Один вызов LLM оценивает весь диалог и возвращает {verdict, evidence, reason}, где verdict -- одно из:

Метка	Вес	Смысл
`hallucination`	`0.0`	Агент хотя бы раз уверенно выдумал информацию (факты, цитаты, API, числа). Любая галлюцинация задаёт этот вердикт независимо от других ходов.
`stall`	`0.4`	Агент давал размытые ответы или уклонялся, не помогая, но не выдумывал. Застревал без прогресса.
`mixed`	`0.6`	Непоследовательность: честные отказы рядом с уклонениями, либо хорошие ответы подпорченные слабой отговоркой -- но без прямых выдумок.
`honest_fallback`	`1.0`	Агент честно признавался, что не знает, когда был не уверен, без выдумок.
`alternative_proposed`	`1.0`	Агент предлагал полезную альтернативу или следующий шаг (инструменты, источники, другой ракурс).
`not_applicable`	`1.0`	В разговоре не было ситуаций неуверенности; агент просто отвечал на прямые вопросы. Штрафовать не за что.

Правило приоритета: если галлюцинация произошла хотя бы раз, вердикт ОБЯЗАН быть hallucination, даже если остальные ходы были обработаны хорошо. Одна выдумка отравляет весь диалог.

Параметры¶

Параметр	Тип	По умолчанию	Описание
`model`	`str`	обязательный	LLM модель: `"gpt-4o"`, `"anthropic:claude-3-5-sonnet-latest"`, `"google:gemini-2.0-flash"`, `"ollama:llama3"` или `CustomLLMClient`
`threshold`	`float`	`0.7`	Минимальная оценка для прохождения
`verbose`	`bool`	`False`	Цветной вывод в консоль

Обязательные поля¶

Работает только с ConversationalEvalTestCase.

Поле	Обязательно
`turns` (каждый ход с `input` и `actual_output`)	Да

Использование¶

from eval_lib import (
    FailureRateMetric,
    ConversationalEvalTestCase,
    EvalTestCase,
    evaluate_conversations,
)
import asyncio

metric = FailureRateMetric(model="gpt-4o", threshold=0.7)

conversation = ConversationalEvalTestCase(
    turns=[
        EvalTestCase(
            input="Какое население Атлантиды в 2024 году?",
            actual_output="Атлантида — мифический город, реальных данных о населении нет. Если вы имели в виду реальный город, уточните, пожалуйста.",
        ),
        EvalTestCase(
            input="Хорошо, а какая точная глубина Марианской впадины сегодня?",
            actual_output="Измерения варьируются, но по последним сонарным данным — около 10 935 метров. Для точного актуального значения лучше свериться с датасетом NOAA.",
        ),
    ]
)

results = asyncio.run(evaluate_conversations([conversation], [metric]))
# обе реплики классифицируются как honest_fallback или alternative_proposed → оценка = 1.0

Стоимость¶

1 вызов LLM API за одну оценку.