Open source openai azure fail coche
Openai Azure Load Balancer et échec sûr pour les demandes GPT
En vedette
2 Votes
Description
L'équilibreur de charge Openai est une bibliothèque Python conçue pour distribuer des demandes d'API sur plusieurs points de terminaison (prend en charge OpenAI et Azure).Il met en œuvre un mécanisme du tournoi à ronde pour l'équilibrage de la charge et comprend un revers exponentiel pour réessayer les demandes d'échec.