Open source openai azure fail safe
Bilanciatore del carico Azure OpenAI e fallimento per le richieste GPT
In Evidenza
2 Voti
Tendenza
120 Visualizzazioni
Descrizione
Il bilanciamento del carico Openi è una libreria Python progettata per distribuire richieste API su più endpoint (supporta sia OpenAI che Azure).Implementa un meccanismo round-robin per il bilanciamento del carico e include il backoff esponenziale per il tentativo di richieste non riuscite.