Ollama¶

Используйте локально размещённые модели через Ollama с префиксом ollama:. API-ключ не требуется. Это идеальный вариант для разработки, тестирования и сценариев, где данные не должны покидать ваш сервер.

Настройка¶

1. Установите Ollama
2. Загрузите модель: ollama pull llama3
3. Ollama работает локально на порту 11434 по умолчанию

# Optional: configure custom endpoint
export OLLAMA_API_BASE_URL="http://localhost:11434/v1"
export OLLAMA_API_KEY=""  # Optional, usually not needed

Доступные модели¶

Можно использовать любую модель, доступную в Ollama:

Использование¶

from eval_lib import AnswerRelevancyMetric, BiasMetric

metric = AnswerRelevancyMetric(model="ollama:llama3", threshold=0.6)
metric = BiasMetric(model="ollama:mistral", threshold=0.7)

Преимущества¶

• Бесплатно -- никаких затрат на API
• Приватно -- данные никогда не покидают вашу машину
• Быстро -- нет сетевой задержки (при наличии GPU)

Ограничения¶

• Качество зависит от размера и возможностей модели
• Требует локальных вычислительных ресурсов (рекомендуется GPU)
• Маленькие модели могут давать менее надёжные результаты оценки
• Отслеживание стоимости возвращает None (нет затрат на API)