日本語タイトル#
三元 ReLU 回帰神経ネットワークの線形領域数の下限
英文タイトル#
A Lower Bound for the Number of Linear Regions of Ternary ReLU Regression Neural Networks
日本語摘要#
深層学習の進展に伴い、計算の複雑さとメモリ消費を削減することが重要な課題となっており、パラメータを {−1,0,+1} に制限した三元神経ネットワーク（NNs）が有望なアプローチとして注目されています。三元 NNs は、画像認識や自然言語処理などの実際のアプリケーションで優れた性能を示していますが、その理論的理解は十分ではありません。本論文では、三元 NNs の表現力を線形領域の数の観点から理論的に分析します。具体的には、活性化関数として修正線形単位（ReLU）を使用した三元回帰 NNs の線形領域の数を評価し、線形領域の数がネットワークの幅に対して多項式的に増加し、深さに対して指数的に増加することを証明します。これは標準 NNs と類似しています。さらに、三元 NNs の幅を平方または深さを倍にするだけで、一般的な ReLU 回帰 NNs に匹敵する最大線形領域数の下限を達成できることを示します。これは、ある意味で三元 NNs の実際の成功に対する理論的な説明を提供します。
英文摘要#
With the advancement of deep learning, reducing computational complexity and memory consumption has become a critical challenge, and ternary neural networks (NNs) that restrict parameters to {−1,0,+1} have attracted attention as a promising approach. While ternary NNs demonstrate excellent performance in practical applications such as image recognition and natural language processing, their theoretical understanding remains insufficient. In this paper, we theoretically analyze the expressivity of ternary NNs from the perspective of the number of linear regions. Specifically, we evaluate the number of linear regions of ternary regression NNs with Rectified Linear Unit (ReLU) for activation functions and prove that the number of linear regions increases polynomially with respect to network width and exponentially with respect to depth, similar to standard NNs. Moreover, we show that it suffices to either square the width or double the depth of ternary NNs to achieve a lower bound on the maximum number of linear regions comparable to that of general ReLU regression NNs. This provides a theoretical explanation, in some sense, for the practical success of ternary NNs.
PDF 获取#
抖音扫码查看更多精彩内容