Qwen 1.5 Moe

QWEN1.5-MOE-A2.7b est un petit modèle de mélange de mélange (MOE) avec seulement 2,7 milliards de paramètres activés, mais correspond aux performances des modèles 7B de pointe comme Mistral 7B et QWEN1.5-7b.