QWEN 1,5 MOE

QWEN1.5-ME2.7B-это небольшая модель смеси эксперта (MOE) с активированными параметрами всего 2,7 миллиарда параметров, но соответствует производительности современных моделей 7B, таких как MiStral 7B и QWEN1.5-7B.