Código abierto OpenAi Azure Fail Safe
Balancador de carga de OpenAi Azure y fallas para las solicitudes GPT
Destacado
2 Votos
Tendencia
120 Vistas
Descripción
El Balancer de carga Operai es una biblioteca de Python diseñada para distribuir solicitudes de API en múltiples puntos finales (admite OpenAI y Azure).Implementa un mecanismo de redondo para el equilibrio de carga e incluye retroceso exponencial para volver a intentar las solicitudes fallidas.