Открытый исходный код AI Gateway
Поговорите с несколькими LLMS через Unified API
Рекомендуемые
5 Голоса
Популярные
186 Просмотры
Описание
Настраиваемый шлюз API для нескольких поставщиков LLM (OpenAI, антроп, Близнеца, Оллама, Мишстраль и Коурея) со встроенной аналитикой, ограждениями, ограничением скорости, кэшированием и административным контролем.Интерфейсы HTTP и GRPC