Kubeai: AI Private Open su K8S
Servire LLMS privatamente con un'API compatibile API OpenAI
In Evidenza
19 Voti
Tendenza
120 Visualizzazioni
Descrizione
✅️ Sostituzione drop-in per apertura con compatibilità API 🚀 Servire OSS LLM su CPU o GPU ⚖️ Autoscaling Autoscaling con scala da 0 🛠️ Zero dipendenze (nessuna istio, knative, ecc.)