Kubeai: K8'lerde özel açık AI
Openai API uyumlu API ile özel olarak llms servis edin
Öne Çıkan
19 Oylar
Trend
116 Görüntülemeler
Açıklama
API uyumluluğu ile Openai için Drop-in Değiştirme 🚀 CPU'larda veya GPU'larda OSS LLM'leri servis edin ⚖️ 0 🛠< sıfır bağımlılıklardan (istio, knative, vb.) Ölçekli otomatikleştirme (VLLM ve OLLAMA) 🔋 Sohbet UI dahildir.