Стоимость моделей¶

Eval AI Library отслеживает стоимость каждого вызова LLM. Цены резолвятся в два слоя:

1. Ручная таблица переопределений eval_lib.price.model_pricing (preview-SKU и модели, которых пока нет в LiteLLM -- Zhipu GLM, Qwen, DeepSeek, Claude с датой-суффиксом).
2. Всё остальное -- через встроенный справочник цен LiteLLM, обновляемый с каждым релизом.

Снимки ниже ориентировочные -- актуальные цены всегда лучше сверять у провайдера (или через litellm.model_cost).

OpenAI¶

Модели эмбеддингов¶

Google Gemini¶

Anthropic Claude¶

Другие провайдеры (через LiteLLM)¶

DeepSeek (v3.1/v3.2, R1), Qwen (max/plus/turbo/long, QwQ), Zhipu GLM (4-plus/air/long/flash), Mistral (large/small/codestral/pixtral/ministral), Groq (Llama 3.x), xAI/Grok и остальные -- тарифицируются из курируемой таблицы override, если в LiteLLM их ещё нет. Посмотреть актуальные цены:

from eval_lib import model_pricing
print(model_pricing["deepseek-v3.2"])

Оценка затрат¶

Стоимость по метрикам¶

Количество вызовов LLM и приблизительная стоимость одной оценки при использовании gpt-4o:

Метрики Answer Precision и Tool Correctness полностью бесплатны, так как работают алгоритмически без обращений к LLM.

Пример: полная RAG-оценка¶

Оценка 100 тестовых кейсов с 4 метриками (Answer Relevancy + Faithfulness + Contextual Relevancy + Contextual Recall):

• Вызовы LLM: 100 x (4 + 3 + 3 + 2) = 1,200 вызовов
• Оценочная стоимость: ~$0.80 с gpt-4o

Это означает, что полная оценка RAG-системы на 100 тестах обойдётся менее чем в $1 при использовании gpt-4o.

Отслеживание стоимости в результатах¶

При verbose=True (по умолчанию) итоговая сводка включает информацию о стоимости:

======================================================================
                     📋 EVALUATION SUMMARY
======================================================================

Overall Results:
  ✅ Passed: 3 / 3
  ❌ Failed: 0 / 3
  📊 Success Rate: 100.0%

Resource Usage:
  💰 Total Cost: $0.034200
  ⏱️  Total Time: 12.45s
  📈 Avg Time per Test: 4.15s

======================================================================

Стоимость каждой метрики также доступна программно:

for _, test_results in results:
    for result in test_results:
        for metric in result.metrics_data:
            print(f"{metric.name}: ${metric.evaluation_cost:.4f}")