Open Source Openai Azure Fail Safe
Openai Azure Balancer Balancer и сбой для запросов GPT
Рекомендуемые
2 Голоса
Популярные
120 Просмотры
Описание
Balancer OpenAI нагрузки - это библиотека Python, предназначенная для распространения запросов API по нескольким конечным точкам (поддерживает как OpenAI, так и Azure).Он реализует механизм с круглым робином для балансировки нагрузки и включает экспоненциальный откат для повторения неудачных запросов.