Açık Kaynak Openai Azure Başarısız Güvenli
Openai Azure yük dengeleyici ve GPT istekleri için başarısızlık güvenli
Öne Çıkan
2 Oylar
Trend
120 Görüntülemeler
Açıklama
Openai yük dengeleyici, API isteklerini birden çok uç noktaya dağıtmak için tasarlanmış bir Python kütüphanesidir (hem Openai hem de Azure'u destekler).Yük dengeleme için bir yuvarlak robin mekanizması uygular ve başarısız istekleri yeniden denemek için üstel geri çekilme içerir.