Eval AI Library¶

Ключевые возможности¶

Быстрый пример¶

Ниже приведён минимальный пример, демонстрирующий основной рабочий процесс Eval AI Library: создание тест-кейса, выбор метрик и запуск оценки. Всего несколько строк кода позволяют получить количественную оценку качества ответов вашей AI-системы.

import asyncio
from eval_lib import evaluate, EvalTestCase, AnswerRelevancyMetric, FaithfulnessMetric

test_case = EvalTestCase(
    input="What is machine learning?",
    actual_output="Machine learning is a subset of AI that enables systems to learn from data.",
    expected_output="Machine learning is a branch of artificial intelligence focused on building systems that learn from data.",
    retrieval_context=[
        "Machine learning is a subset of artificial intelligence (AI) that provides systems the ability to automatically learn and improve from experience without being explicitly programmed."
    ]
)

metrics = [
    AnswerRelevancyMetric(model="gpt-4o", threshold=0.7),
    FaithfulnessMetric(model="gpt-4o", threshold=0.7),
]

results = asyncio.run(evaluate([test_case], metrics))

В результате выполнения вы получите подробный отчёт с оценками по каждой метрике, статусом прохождения порога и общей стоимостью вычислений:

============================================================
                EVALUATION RESULTS
============================================================
Test Case 1/1: What is machine learning?

  Answer Relevancy
    Score: 0.92 | Threshold: 0.70 | PASSED

  Faithfulness
    Score: 0.95 | Threshold: 0.70 | PASSED

============================================================
Overall: 1/1 test cases passed (100.0%)
Total evaluation cost: $0.0034
============================================================

Каждая метрика возвращает числовой score от 0.0 до 1.0, где 1.0 означает идеальный результат. Порог (threshold) определяет минимальное значение score, при котором тест-кейс считается пройденным. Стоимость оценки (evaluation cost) рассчитывается автоматически на основе количества токенов, отправленных модели-судье.

Обзор архитектуры¶

Архитектура Eval AI Library построена по модульному принципу. Тест-кейсы поступают в движок оценки, который распределяет их по выбранным метрикам. Каждая метрика использует LLM-провайдер для получения вердиктов, которые затем агрегируются в итоговый score. Результаты доступны как программно, так и через интерактивный дашборд.

graph TD
    A[Тест-кейсы] --> B[Движок оценки]
    B --> C{Метрики}
    C --> D[RAG-метрики]
    C --> E[Метрики агентов]
    C --> F[Метрики безопасности]
    C --> G[Пользовательские / G-Eval]

    D --> H[LLM-провайдер]
    E --> H
    F --> H
    G --> H

    H --> I[OpenAI]
    H --> J[Azure]
    H --> K[Gemini]
    H --> L[Claude]
    H --> M[Ollama]
    H --> N[Custom]

    B --> O[Результаты и дашборд]

Движок оценки выполняет все метрики асинхронно, что позволяет эффективно использовать ресурсы при оценке большого количества тест-кейсов. Провайдеры LLM абстрагированы через единый интерфейс, поэтому переключение между моделями не требует изменения логики оценки.

Категории метрик¶

В таблице ниже перечислены все категории метрик, доступные в Eval AI Library. Каждая категория предназначена для оценки определённого аспекта вашей AI-системы.

Агрегация оценок¶

Eval AI Library использует Temperature-Controlled Verdict Aggregation via Generalized Power Mean -- новаторский подход, обеспечивающий гибкий скоринг через настраиваемые уровни строгости. Этот метод позволяет контролировать, насколько сильно единичные низкие вердикты влияют на итоговый score.

В отличие от простого среднего арифметического, обобщённое степенное среднее с параметром температуры позволяет настроить поведение агрегации от практически минимума (строгая оценка) до практически максимума (мягкая оценка). Это особенно важно для сценариев, где критически важна безопасность или, наоборот, допускается определённая степень вариативности.

Подробнее об агрегации оценок

Установка¶

Установите Eval AI Library с помощью pip:

pip install eval-ai-library

Требуется Python 3.9 и выше. Библиотека поддерживает все основные операционные системы: Linux, macOS и Windows. Подробные инструкции по установке, настройке окружения и установке дополнительных зависимостей смотрите в руководстве по установке.