Kubaii: IA aberta privada no K8S
Servir LLMS em particular com uma API compatível com API OpenAI
Destaque
19 Votos
Tendência
120 Visualizações
Descrição
✅️ Substituição de drop-in para o OpenAI pela compatibilidade da API 🚀 Sirva LLMs OSS em CPUs ou GPUs ⚖️ AUTOSCALEGING COM ESCALA DE 0 🛠️ ZERO ZERO (NO ISTIO, KNATION, etc.) 🤖 opera servidores de modelos de oss (VLLM e olama) 🔋 INCLUSADO