中文标题#
通过在 IREE 中启用 RISC-V 微内核支持来加速 GenAI 工作负载
英文标题#
Accelerating GenAI Workloads by Enabling RISC-V Microkernel Support in IREE
中文摘要#
该项目使 IREE 支持 RISC-V 微内核，IREE 是一个基于 MLIR 的机器学习编译器和运行时。 该方法首先在 IREE 的传递管道中为 RISC-V64 目标启用 MLIR linalg 方言收缩操作到 linalg.mmt4d 操作的降低，然后开发了针对 RISC-V 的优化微内核。 与上游 IREE 和 Llama.cpp 相比，对 Llama-3.2-1B-Instruct 模型的性能增益进行了比较。
英文摘要#
This project enables RISC-V microkernel support in IREE, an MLIR-based machine learning compiler and runtime. The approach begins by enabling the lowering of MLIR linalg dialect contraction ops to linalg.mmt4d op for the RISC-V64 target within the IREE pass pipeline, followed by the development of optimized microkernels for RISC-V. The performance gains are compared with upstream IREE and Llama.cpp for the Llama-3.2-1B-Instruct model.
文章页面#
通过在 IREE 中启用 RISC-V 微内核支持来加速 GenAI 工作负载
PDF 获取#
抖音扫码查看更多精彩内容