Sumber terbuka terbuka azure gagal selamat
Openai Azure Load Balancer dan gagal selamat untuk permintaan GPT
Pilihan
2 Undi
Trending
120 Tontonan
Penerangan
Openai Load Balancer adalah perpustakaan Python yang direka untuk mengedarkan permintaan API merentasi pelbagai titik akhir (menyokong kedua -dua OpenAI dan Azure).Ia melaksanakan mekanisme bulat untuk mengimbangi beban dan termasuk backoff eksponen untuk mencuba semula permintaan yang gagal.