Стоимость моделей¶

Eval AI Library отслеживает затраты на API для всех вызовов LLM. Ниже приведены цены поддерживаемых моделей и рекомендации по оптимизации затрат.

OpenAI¶

Модели эмбеддингов¶

Google Gemini¶

Anthropic Claude¶

Оценка затрат¶

Стоимость по метрикам¶

Количество вызовов LLM и приблизительная стоимость одной оценки при использовании gpt-4o:

Метрики Answer Precision и Tool Correctness полностью бесплатны, так как работают алгоритмически без обращений к LLM.

Пример: полная RAG-оценка¶

Оценка 100 тестовых кейсов с 4 метриками (Answer Relevancy + Faithfulness + Contextual Relevancy + Contextual Recall):

• Вызовы LLM: 100 x (4 + 3 + 3 + 2) = 1,200 вызовов
• Оценочная стоимость: ~$0.80 с gpt-4o

Это означает, что полная оценка RAG-системы на 100 тестах обойдётся менее чем в $1 при использовании gpt-4o.

Отслеживание стоимости в результатах¶

При verbose=True (по умолчанию) итоговая сводка включает информацию о стоимости:

======================================================================
                     📋 EVALUATION SUMMARY
======================================================================

Overall Results:
  ✅ Passed: 3 / 3
  ❌ Failed: 0 / 3
  📊 Success Rate: 100.0%

Resource Usage:
  💰 Total Cost: $0.034200
  ⏱️  Total Time: 12.45s
  📈 Avg Time per Test: 4.15s

======================================================================

Стоимость каждой метрики также доступна программно:

for _, test_results in results:
    for result in test_results:
        for metric in result.metrics_data:
            print(f"{metric.name}: ${metric.evaluation_cost:.4f}")