Kubeai: Private Open Ai en K8s
Servir LLMS en privado con una API compatible con API de OpenAI
Destacado
19 Votos
Tendencia
120 Vistas
Descripción
✅️ Reemplazo de entrega de OpenAI con compatibilidad API 🚀 Servir OSS LLMS en CPU o GPU ⚖️ Autoscaling con escala de 0 🛠️ cero dependencias (sin istio, knative, etc.) 🤖 opera servidores de modelos OSS (VLLM y OLLMA) 🔋 chat ui incluida