Kubeai: K8s पर निजी खुला AI
एक Openai API संगत API के साथ निजी तौर पर LLMS परोसें
विशेष रुप से प्रदर्शित
19 वोट
ट्रेंडिंग
120 व्यू
विवरण
API संगतता के साथ OpenAI के लिए ✅ ड्रॉप-इन रिप्लेसमेंट 🚀 CPUs या GPUs पर OSS LLMS परोसें। 0 🛠 शून्य निर्भरता (कोई istio, knative, आदि) से स्केल के साथ ऑटोस्केलिंग 🤖 🤖 OSS मॉडल सर्वर (VLLM और Ollama) संचालित करता है।