Qwen 1,5 moe
Mô hình hỗn hợp có hiệu quả cao (MOE) từ Alibaba
Đặc trưng
78 Phiếu bầu
Sự miêu tả
QWEN1.5-MOE-A2.7B là mô hình hỗn hợp nhỏ (MOE) chỉ với 2,7 tỷ thông số được kích hoạt nhưng phù hợp với hiệu suất của các mô hình 7B hiện đại như Mistral 7B và QWEN1.5-7B.