日本語タイトル#
ReCA：パラメトリック ReLU 複合活性化関数
英文タイトル#
ReCA: A Parametric ReLU Composite Activation Function
日本語要約#
活性化関数は深層神経ネットワークの性能に大きな影響を与えることが示されています。 修正線形単位（ReLU）は実際には主要な選択肢であり続けていますが、深層神経ネットワークに最適な活性化関数は依然として未解決の研究課題です。本論文では、ReLU に基づく新しいパラメトリック活性化関数 ReCA を提案します。この関数は、異なる複雑な神経ネットワークアーキテクチャを使用した最先端のデータセットで、すべてのベースラインを上回る性能を示しています。
英文要約#
Activation functions have been shown to affect the performance of deep neural networks significantly. While the Rectified Linear Unit (ReLU) remains the dominant choice in practice, the optimal activation function for deep neural networks remains an open research question. In this paper, we propose a novel parametric activation function, ReCA, based on ReLU, which has been shown to outperform all baselines on state-of-the-art datasets using different complex neural network architectures.
PDF 取得#
抖音でスキャンしてさらに素晴らしいコンテンツを見る