Optimisation Intelligente des Coûts
Le système de Cascade de Modèles d'EDDI permet un routage multi-modèles sensible aux coûts. Commencez par des modèles rapides et économiques et escaladez automatiquement vers des modèles plus puissants (et coûteux) uniquement lorsque la confiance est faible — réduisant les coûts d'IA sans sacrifier la qualité.
Fonctionnalités de Cascade
- Optimisation des Coûts — Essayez les modèles économiques/rapides d'abord, escaladez uniquement quand la confiance est faible
- 4 Stratégies de Confiance — Sortie structurée, heuristique, modèle juge ou aucune — choisissez la méthode d'évaluation adaptée
- Budgets par Conversation — Suivi automatique des coûts avec plafonds budgétaires et éviction de conversation en cas de dépassement
- Plafonds de Coûts par Locataire — Budgets mensuels par locataire avec application automatique dans les déploiements multi-locataires
- 12 Fournisseurs LLM — OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face et tout endpoint compatible OpenAI
Comment Ça Marche
Configurez une chaîne de modèles en cascade classés par coût. Pour chaque message utilisateur, EDDI essaie d'abord le modèle le moins cher et évalue la confiance. Si la confiance tombe en dessous du seuil, il escalade automatiquement vers le modèle suivant de la chaîne. Cette approche peut réduire les coûts LLM de 60-80% pour les charges de travail typiques où la plupart des requêtes sont suffisamment simples pour des modèles plus petits.