Настройки¶
Вкладка Settings позволяет настроить провайдеров LLM, модель оценки, параметры запросов и отслеживание стоимости.
Провайдеры LLM¶
Добавьте API-ключи для провайдеров LLM, используемых метриками оценки. Ключи хранятся локально в браузере.
| Провайдер | Переменная окружения | Статус |
|---|---|---|
| OpenAI | OPENAI_API_KEY | Требуется для большинства метрик |
| Anthropic | ANTHROPIC_API_KEY | Для оценки на базе Claude |
GOOGLE_API_KEY | Для моделей Gemini | |
| Azure OpenAI | AZURE_OPENAI_API_KEY, AZURE_OPENAI_ENDPOINT, AZURE_OPENAI_API_VERSION | Для развёртываний Azure |
| Ollama (Local) | OLLAMA_API_KEY, OLLAMA_API_BASE_URL | Для локальных моделей |
| DeepSeek | DEEPSEEK_API_KEY | |
| Qwen (Alibaba) | DASHSCOPE_API_KEY | |
| Zhipu GLM | ZHIPU_API_KEY | |
| Mistral AI | MISTRAL_API_KEY | |
| Groq | GROQ_API_KEY |
Для настройки провайдера:
- Введите ваш API-ключ в поле ввода
- Нажмите Save
- Статус изменится на "Configured" с зелёной галочкой
Note
Ключи провайдеров используются моделью оценки (LLM, которая оценивает ваши ответы), а не тестируемым API. Например, если вы тестируете пользовательский API, но оцениваете с помощью GPT-4o-mini, вам нужен ключ OpenAI.
Модель оценки¶
Выберите модель, используемую для оценки:
- Выбирайте из настроенных провайдеров (например,
OpenAI / gpt-4o-mini) - В выпадающем списке отображаются только модели провайдеров с действительными API-ключами
Tip
gpt-4o-mini обеспечивает хороший баланс качества и стоимости для большинства оценок. Используйте gpt-4o для более высокой точности на сложных метриках.
Параметры запросов¶
Настройка обработки API-запросов:
| Параметр | По умолчанию | Описание |
|---|---|---|
| Timeout (seconds) | 60 | Максимальное время ожидания на один API-запрос |
| Max Retries | 1 | Количество повторных попыток при ошибке |
| Delay Between Requests (ms) | 0 | Время ожидания между последовательными запросами |
Tip
Установите задержку 200-500ms между запросами, чтобы избежать ограничения частоты запросов со стороны вашего API-провайдера.
Отслеживание стоимости¶
Укажите стоимость за 1 миллион токенов для вашего целевого API, чтобы рассчитать общую стоимость оценки:
- Cost per 1M tokens ($) — введите
0, чтобы отключить отслеживание стоимости - Рассчитанная стоимость отображается на панели Dashboard после завершения оценки