Open Source OpenAI Azure fehl sicher
Openai Azure Load Balancer und für GPT -Anfragen scheitern
Vorgestellt
2 Stimmen
Beschreibung
Der OpenAI -Last -Balancer ist eine Python -Bibliothek, mit der API -Anforderungen über mehrere Endpunkte hinweg verteilen sollen (unterstützt sowohl OpenAI als auch Azure).Es implementiert einen Round-Robin-Mechanismus für den Lastausgleich und umfasst exponentielle Backoffs für die Wiederholung fehlgeschlagener Anforderungen.