ओपन सोर्स ओपनई एज़्योर सुरक्षित विफल

Openai लोड बैलेंसर एक पायथन लाइब्रेरी है जिसे कई एंडपॉइंट्स (Openai और Azure दोनों का समर्थन करता है) में API अनुरोधों को वितरित करने के लिए डिज़ाइन किया गया है।यह लोड बैलेंसिंग के लिए एक राउंड-रॉबिन तंत्र को लागू करता है और इसमें विफल अनुरोधों को पुनः प्राप्त करने के लिए घातीय बैकऑफ़ शामिल है।