Запуск оценки¶

Шаг 4 — просмотр полной конфигурации и запуск оценки.

Шаг Запуск

Сводка конфигурации¶

Перед запуском просмотрите сводку:

Поле	Описание
URL	Конечная точка API и HTTP-метод
Dataset	Количество строк для оценки
Input column	Столбец датасета, используемый как входные данные
Response path	JSONPath для извлечения actual_output
Eval model	Модель, используемая для оценки (например, `gpt-4o-mini`)
Metrics	Количество и названия выбранных метрик

Валидация¶

Система проверяет вашу конфигурацию и отображает предупреждения при обнаружении проблем:

Предупреждение	Исправление
"No API URL configured"	Укажите конечную точку в Подключении
"No dataset uploaded"	Загрузите данные в Датасете
"No response mapping for actual_output"	Настройте маппинг Response
"No metrics selected"	Выберите метрики во вкладке Metrics

Кнопка Run Evaluation неактивна до прохождения всех проверок.

Выполнение оценки¶

Когда все проверки пройдены:

Нажмите Run Evaluation
Индикатор прогресса показывает текущий статус
Каждая строка датасета отправляется в ваш API, затем оценивается моделью оценки
Результаты автоматически кэшируются в .eval_cache/
После завершения перейдите на вкладку Dashboard для просмотра результатов

Что происходит во время оценки¶

sequenceDiagram
    participant C as API Connector
    participant A as Your API
    participant E as Eval Model
    participant D as Dashboard

    loop For each dataset row
        C->>A: Send request (with row data)
        A-->>C: API response
        C->>C: Extract actual_output
        C->>E: Score with selected metrics
        E-->>C: Metric scores
    end
    C->>D: Cache results
    D-->>C: View on Dashboard

Tip

Сохраните конфигурацию проекта перед запуском. Если что-то пойдёт не так, вы сможете перезагрузить и повторить попытку без повторной настройки.