KUBEAI: Private Open AI op K8S
Serveer LLMS privé met een Openai API -compatibele API
Uitgelicht
19 Stemmen
Trending
120 Weergaven
Beschrijving
✅️ Drop-in vervanging voor openai met API-compatibiliteit 🚀 Serveer OSS LLMS op CPU's of GPU's ⚖️ Autoscaling met schaal van 0 🛠️ Zero-afhankelijkheden (geen Istio, Knative, etc.) 🤖 Bewerkt OSS-modelservers (Vllm en Ollama)