API Connector¶
API Connector — это пошаговый мастер из 4 шагов для запуска оценок на любом LLM API без написания кода на Python.
Перейдите в раздел API Connector через верхнюю панель навигации.
Порядок работы¶
Мастер проведет вас через четыре шага:
graph LR
A[1. Настройки] --> B[2. Датасет]
B --> C[3. Тест]
C --> D[4. Запуск]| Шаг | Описание |
|---|---|
| Настройки | Настройка API-эндпоинта, маппинга ответа, маппинга колонок, метрик и провайдеров |
| Датасет | Загрузка тестовых данных (CSV, JSON, JSONL) |
| Тест | Проверка всего пайплайна одним запросом |
| Запуск | Просмотр конфигурации и запуск оценки |
Вкладки настроек¶
Шаг 1 содержит пять вкладок конфигурации:
| Вкладка | Описание |
|---|---|
| Connection | API-эндпоинт, заголовки, шаблон тела запроса |
| Response | Маппинг полей ответа API на переменные оценки |
| Columns | Маппинг колонок датасета на поля тестовых кейсов |
| Metrics | Выбор метрик оценки (RAG, Agent, Security) |
| Settings | LLM-провайдеры, модель оценки, таймауты, учет стоимости |
Сохранение и загрузка проектов¶
Вы можете сохранить всю конфигурацию как именованный проект с помощью кнопки Save Project и загрузить его позже из выпадающего списка Load project. Это полезно для:
- Запуска одной и той же оценки на обновленных датасетах
- Обмена конфигурациями между участниками команды
- A/B-тестирования различных API-эндпоинтов с одинаковыми метриками