Open Open OpenAi Azure Fail Safe
Balanceador de carga do OpenAi Azure e falha segura para solicitações de GPT
Destaque
2 Votos
Tendência
120 Visualizações
Descrição
O Balancer de Carga do OpenAI é uma biblioteca Python projetada para distribuir solicitações de API em vários pontos de extremidade (suporta o OpenAI e o Azure).Ele implementa um mecanismo redondo-robina para balanceamento de carga e inclui o retorno exponencial para repetir solicitações com falha.