Kubeai: AI ouvert privé sur K8S
Servir les LLMS privés avec une API API OpenAI
En vedette
19 Votes
Tendance
120 Vues
Description
✅️ Remplacement de rendez-vous pour OpenAI par la compatibilité des API 🚀 Servir les LLMS OSS sur des CPU ou des GPU ⚖️ Autoscalités avec une échelle de 0 🛠️ zéro dépendances (pas d'istio, Knative, etc.) 🤖 exploite des serveurs de modèle OSS (VllM et Olllama) 🔋 CHAT UI inclus