Qwen 1.5 moe

QWEN1.5-MOE-A2.7B adalah model campuran-expert (MOE) yang kecil dengan hanya 2.7 bilion parameter yang diaktifkan namun sepadan dengan prestasi model 7B terkini seperti Mistral 7B dan QWEN1.5-7B.