オープンソースOpenai Azure Fail Safe

Openaiロードバランサーは、複数のエンドポイントにAPIリクエストを配布するように設計されたPythonライブラリです（OpenaiとAzureの両方をサポートしています）。負荷分散のためのラウンドロビンメカニズムを実装し、失敗したリクエストを再試行するための指数関数的バックオフを含みます。