โอเพ่นซอร์ส Openai Azure ล้มเหลวอย่างปลอดภัย
Openai Azure Load Balancer และล้มเหลวอย่างปลอดภัยสำหรับคำขอ GPT
เด่น
2 โหวต
มีแนวโน้ม
120 มุมมอง
คำอธิบาย
OpenAI Load Balancer เป็นไลบรารี Python ที่ออกแบบมาเพื่อแจกจ่ายคำขอ API ในหลายจุดปลาย (รองรับทั้ง OpenAI และ Azure)มันใช้กลไกรอบโรบินสำหรับการปรับสมดุลโหลดและรวมถึง backoff แบบเอ็กซ์โปเนนเชียลสำหรับการลองคำขอที่ล้มเหลวอีกครั้ง