QWEN 1.5 MOE

QWEN1.5-MOE-A2.7B是一个小的Expert（MOE）模型，仅27亿个激活参数，但与最先进的7B 7B模型（如Mistral 7b和Qwen1.5-7b）相匹配。