OpenAI Load Balancer는 여러 엔드 포인트에 API 요청을 배포하도록 설계된 Python 라이브러리입니다 (OpenAI 및 Azure 지원).로드 밸런싱을위한 라운드 로빈 메커니즘을 구현하고 실패한 요청을 재 시도하기위한 지수 백 오프를 포함합니다.
