QWEN1.5-MOCE-A2.7B는 27 억 개의 활성화 된 매개 변수를 가진 작은 혼합 엑스퍼트 (MOE) 모델이지만 Mistral 7B 및 QWEN1.5-7B와 같은 최첨단 7B 모델의 성능과 일치합니다.
