Optimización Inteligente de Costes
El sistema de Cascada de Modelos de EDDI permite enrutamiento multi-modelo consciente de costes. Comience con modelos rápidos y económicos y escale automáticamente a modelos más potentes (y costosos) solo cuando la confianza es baja — reduciendo costes de IA sin sacrificar calidad.
Funciones de Cascada
- Optimización de Costes — Modelos baratos/rápidos primero, escalar a modelos potentes solo cuando la confianza es baja
- 4 Estrategias de Confianza — Salida estructurada, heurística, modelo juez o ninguna — elija el método de evaluación adecuado
- Presupuestos por Conversación — Seguimiento automático de costes con límites y eliminación de conversación al excederse
- Techos de Coste por Inquilino — Presupuestos mensuales por inquilino con aplicación automática en despliegues multi-inquilino
- 12 Proveedores LLM — OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face y cualquier endpoint compatible con OpenAI
Cómo Funciona
Configure una cadena de cascada de modelos ordenados por coste. Para cada mensaje del usuario, EDDI prueba primero el modelo más económico y evalúa la confianza. Si la confianza cae por debajo del umbral, escala automáticamente al siguiente modelo de la cadena. Este enfoque puede reducir los costes de LLM entre un 60-80% para cargas de trabajo típicas donde la mayoría de las consultas son lo suficientemente simples para modelos más pequeños.