DNNFusion PLDI 2021

DNNFusion Accelerating Deep Neural Networks Execution with Advanced Operator Fusion

Posted by Treaseven on November 30, 2024

Motivation

  • 过去的融合模式太局限没有考虑到各类算子和层连接
  • 针对循环融合都是以一种低级视角看待计算 在资源受限的移动平台上高效执行更深神经网络是十分困难由于其高内存和计算要求

DNNFusion’s Design

Mathematical-Property-Based Graph Rewriting 优化目标:去除非必要算子、消除冗余中间数据拷贝、用高效算子来替代昂贵算子

Light-Weight Profile-Driven Fusion Plan Exploration
算法核心:选定种子(这里论文提到要选有更少中间结果融合的算子作为起点,这样最终能融合更多算子,这一点有点反常规做法,常规都会偏向选择更多中间结果融合的算子)、后向传播融合、前向传播融合(该算法本质上是一个贪心算法)—-这个想法能不能用到Heron里面

Fusion Code Generation and Optimizations

Reference

DNNFusion: Accelerating Deep Neural Networks Execution with Advanced Operator Fusion