การเพิ่มประสิทธิภาพต้นทุนอัจฉริยะ
ระบบ Model Cascading ของ EDDI ช่วยให้การเราท์แบบหลายโมเดลที่คำนึงถึงต้นทุน เริ่มด้วยโมเดลที่เร็วและถูก และเพิ่มระดับไปยังโมเดลที่แรงกว่า (และแพงกว่า) โดยอัตโนมัติเมื่อความเชื่อมั่นต่ำ — ลดต้นทุน AI โดยไม่เสียคุณภาพ
ฟีเจอร์การเรียงซ้อน
- การปรับต้นทุนให้เหมาะสม — ลองโมเดลถูก/เร็วก่อน เพิ่มระดับเมื่อความเชื่อมั่นต่ำ
- 4 กลยุทธ์ความเชื่อมั่น — Structured output, heuristic, judge model หรือไม่มี — เลือกวิธีประเมินที่เหมาะกับกรณีใช้งาน
- งบประมาณต่อสนทนา — การติดตามต้นทุนอัตโนมัติพร้อมเพดานงบประมาณและการยกเลิกสนทนาเมื่อเกิน
- เพดานต้นทุนต่อผู้เช่า — งบประมาณรายเดือนต่อผู้เช่าพร้อมการบังคับใช้อัตโนมัติในการใช้งานแบบหลายผู้เช่า
- 12 LLM Providers — OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face และ endpoint ที่เข้ากันได้กับ OpenAI
วิธีการทำงาน
กำหนดค่า cascade chain ของโมเดลเรียงตามต้นทุน สำหรับแต่ละข้อความผู้ใช้ EDDI จะลองโมเดลถูกที่สุดก่อนและประเมินความเชื่อมั่น หากความเชื่อมั่นต่ำกว่าเกณฑ์จะเพิ่มระดับไปยังโมเดลถัดไปใน chain โดยอัตโนมัติ วิธีนี้สามารถลดต้นทุน LLM ได้ 60-80% สำหรับ workload ทั่วไป