Otimização Inteligente de Custos
O sistema de Cascata de Modelos do EDDI permite roteamento multi-modelo baseado em custo. Comece com modelos rápidos e baratos e escale automaticamente para modelos mais poderosos (e caros) apenas quando a confiança é baixa — reduzindo custos de IA sem sacrificar qualidade.
Recursos de Cascata
- Otimização de Custos — Tente modelos baratos/rápidos primeiro, escale para modelos poderosos apenas quando a confiança é baixa
- 4 Estratégias de Confiança — Saída estruturada, heurística, modelo juiz ou nenhuma — escolha o método de avaliação ideal para seu caso
- Orçamentos por Conversa — Rastreamento automático de custos com limites de orçamento e evisção de conversa ao exceder
- Tetos de Custo por Tenant — Orçamentos mensais por tenant com aplicação automática em implantações multi-tenant
- 12 Provedores LLM — OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face e qualquer endpoint compatível com OpenAI
Como Funciona
Configure uma cadeia de cascata de modelos ordenados por custo. Para cada mensagem do usuário, o EDDI tenta primeiro o modelo mais barato e avalia a confiança. Se a confiança cair abaixo do limite, ele escala automaticamente para o próximo modelo na cadeia. Esta abordagem pode reduzir custos de LLM em 60-80% para cargas de trabalho típicas.