日本語タイトル#
IREE における RISC-V マイクロカーネルサポートの有効化による GenAI ワークロードの加速
英文タイトル#
Accelerating GenAI Workloads by Enabling RISC-V Microkernel Support in IREE
日本語要約#
このプロジェクトは、MLIR に基づく機械学習コンパイラおよびランタイムである IREE に RISC-V マイクロカーネルサポートを有効にします。このアプローチは、IREE のパスパイプライン内で RISC-V64 ターゲット向けに MLIR linalg 方言の収縮操作を linalg.mmt4d 操作に低減することから始まり、その後 RISC-V 向けの最適化されたマイクロカーネルの開発が行われます。性能向上は、Llama-3.2-1B-Instruct モデルに対して、上流の IREE および Llama.cpp と比較されます。
英文要約#
This project enables RISC-V microkernel support in IREE, an MLIR-based machine learning compiler and runtime. The approach begins by enabling the lowering of MLIR linalg dialect contraction ops to linalg.mmt4d op for the RISC-V64 target within the IREE pass pipeline, followed by the development of optimized microkernels for RISC-V. The performance gains are compared with upstream IREE and Llama.cpp for the Llama-3.2-1B-Instruct model.
文章ページ#
IREE における RISC-V マイクロカーネルサポートの有効化による GenAI ワークロードの加速
PDF 取得#
Douyin でさらに素晴らしいコンテンツを見るには QR コードをスキャンしてください