Nguồn mở openai azure fail an toàn
Openai Azure Load Balancer và không an toàn cho các yêu cầu GPT
Nổi Bật
2 Bình Chọn
Thịnh Hành
120 Lượt Xem
Mô Tả
Bộ cân bằng tải Openai là một thư viện Python được thiết kế để phân phối các yêu cầu API trên nhiều điểm cuối (hỗ trợ cả Openai và Azure).Nó thực hiện một cơ chế vòng tròn để cân bằng tải và bao gồm backoff theo cấp số nhân để thử lại các yêu cầu thất bại.