Qwen 1.5 Moe

QWEN1.5-MOE-A2.7B ist ein kleines Modell mit kleinem Expert (MOE) mit nur 2,7 Milliarden aktivierten Parametern, entspricht jedoch der Leistung hochmoderner 7B-Modelle wie Mistral 7B und QWEN1.5-7B.