Selfostllm
Calcule la memoria GPU que necesita para la inferencia de LLM
Destacado
110 Votos
Descripción
Calcule los requisitos de memoria de GPU y las solicitudes concurrentes máximas de inferencia LLM autohostada.Apoyo a Llama, Qwen, Deepseek, Mistral y más.Planifique su infraestructura de IA de manera eficiente.