Установка¶

В этом разделе описан процесс установки Eval AI Library и настройки окружения для работы с различными LLM-провайдерами. Библиотека устанавливается стандартным способом через pip и требует минимальной конфигурации для начала работы.

Системные требования¶

Перед установкой убедитесь, что ваша система соответствует следующим минимальным требованиям:

• Python 3.9 или выше (рекомендуется Python 3.11+ для оптимальной производительности асинхронных операций)
• pip актуальной версии (рекомендуется обновить командой pip install --upgrade pip)
• Как минимум один API-ключ LLM-провайдера (OpenAI, Anthropic, Google и т.д.) для метрик, использующих модель-судью. Некоторые метрики (например, Tool Correctness) работают без LLM и не требуют API-ключей.

Установка из PyPI¶

Основной способ установки -- через Python Package Index (PyPI). Эта команда установит библиотеку со всеми необходимыми зависимостями, включая pydantic, aiohttp, openai, anthropic, google-generativeai и другие:

pip install eval-ai-library

Рекомендуется устанавливать библиотеку в виртуальное окружение, чтобы избежать конфликтов зависимостей с другими проектами:

python -m venv eval-env
source eval-env/bin/activate  # Linux/macOS
# eval-env\Scripts\activate   # Windows

pip install eval-ai-library

Облегчённая установка (Lite)¶

Если вам нужна только функциональность трейсинга без метрик оценки, используйте облегчённый вариант установки. Это полезно в продакшен-окружениях, где вы хотите собирать данные о работе модели, но не проводить полноценную оценку:

pip install "eval-ai-library[lite]"

Облегчённая установка включает только pydantic и aiohttp -- минимальный набор зависимостей для трейсинга в продакшене. Размер установки значительно меньше по сравнению с полной версией, что ускоряет сборку Docker-образов и деплой.

Настройка окружения¶

Установите API-ключи для тех LLM-провайдеров, которые вы планируете использовать. API-ключи необходимы для метрик, использующих модель-судью (LLM-as-a-Judge). Каждый провайдер требует свой набор переменных окружения.

export OPENAI_API_KEY="sk-..."

export ANTHROPIC_API_KEY="sk-ant-..."

export GOOGLE_API_KEY="AI..."

export AZURE_OPENAI_API_KEY="..."
export AZURE_OPENAI_ENDPOINT="https://your-resource.openai.azure.com"
export AZURE_OPENAI_DEPLOYMENT="your-deployment-name"

# Ollama работает локально, API-ключ по умолчанию не нужен
export OLLAMA_API_BASE_URL="http://localhost:11434/v1"

Проверка установки¶

После установки убедитесь, что библиотека корректно установлена и доступна. Выполните следующий код в Python-интерпретаторе или скрипте:

import eval_lib
print(eval_lib.__version__)

Если версия отображается корректно, установка прошла успешно. В случае ошибки импорта убедитесь, что вы используете то виртуальное окружение, в которое установили библиотеку.

Для более полной проверки можно выполнить минимальный тест с метрикой, не требующей LLM:

from eval_lib import EvalTestCase, ToolCorrectnessMetric
import asyncio
from eval_lib import evaluate

test_case = EvalTestCase(
    input="Test",
    actual_output="Test response",
    tools_called=["search"],
    expected_tools=["search"],
)

results = asyncio.run(evaluate([test_case], [ToolCorrectnessMetric(threshold=0.5)]))
print("Установка работает корректно!")

Дополнительно: модель spaCy¶

Некоторые метрики используют библиотеку spaCy для обработки естественного языка (NLP), в частности для токенизации, лемматизации и извлечения именованных сущностей. Если вы планируете использовать такие метрики, скачайте модель для английского языка:

python -m spacy download en_core_web_sm

Для работы с русскоязычными текстами может потребоваться дополнительная модель:

python -m spacy download ru_core_news_sm

Дополнительно: Tesseract OCR¶

Для возможности извлечения текста из изображений при генерации тестовых данных (data generation) необходимо установить Tesseract OCR. Это актуально, если ваша документация или база знаний содержит изображения с текстом, таблицы в виде скриншотов и т.п.

brew install tesseract

sudo apt-get install tesseract-ocr

sudo apt-get install tesseract-ocr-rus

Что дальше?¶

После успешной установки рекомендуем перейти к следующим разделам:

• Быстрый старт -- запустите свою первую оценку за 5 минут и познакомьтесь с основными концепциями библиотеки
• Конфигурация -- настройте провайдеры, метрики и параметры оценки под ваши задачи