flashmla

更快的llm推斷霍珀GPU

特色

5 投票

描述

來自DeepSeek的FlashMLA是Hopper GPU的有效的MLA解碼內核，可針對可變長度序列進行了優化。最多可實現3000 GB/s的內存帶寬和580個TFLOPS。

類別

大型語言模型 Git客戶端

標籤

開源人工智慧 Girub 發展

推薦產品