中文标题#
透過在 IREE 中啟用 RISC-V 微內核支持來加速 GenAI 工作負載
英文标题#
Accelerating GenAI Workloads by Enabling RISC-V Microkernel Support in IREE
中文摘要#
該項目使 IREE 支持 RISC-V 微內核，IREE 是一個基於 MLIR 的機器學習編譯器和運行時。該方法首先在 IREE 的傳遞管道中為 RISC-V64 目標啟用 MLIR linalg 方言收縮操作到 linalg.mmt4d 操作的降低，然後開發了針對 RISC-V 的優化微內核。與上游 IREE 和 Llama.cpp 相比，對 Llama-3.2-1B-Instruct 模型的性能增益進行了比較。
英文摘要#
This project enables RISC-V microkernel support in IREE, an MLIR-based machine learning compiler and runtime. The approach begins by enabling the lowering of MLIR linalg dialect contraction ops to linalg.mmt4d op for the RISC-V64 target within the IREE pass pipeline, followed by the development of optimized microkernels for RISC-V. The performance gains are compared with upstream IREE and Llama.cpp for the Llama-3.2-1B-Instruct model.
文章页面#
透過在 IREE 中啟用 RISC-V 微內核支持來加速 GenAI 工作負載
PDF 獲取#
抖音掃碼查看更多精彩內容