Groq¶

Провайдер Groq предоставляет доступ к open-source моделям, работающим на движке LPU-инференса Groq. Модели используются с префиксом groq:.

Настройка¶

export GROQ_API_KEY="your-api-key"

Базовый URL: https://api.groq.com/openai/v1

Доступные модели¶

Использование¶

from eval_lib.metrics import AnswerRelevancyMetric

metric = AnswerRelevancyMetric(model="groq:mixtral-8x7b-32768", threshold=0.7)