中文标题#
ReCA：一种参数化 ReLU 复合激活函数
英文标题#
ReCA: A Parametric ReLU Composite Activation Function
中文摘要#
激活函数已被证明对深度神经网络的性能有显著影响。 尽管修正线性单元（ReLU）在实践中仍然是主要选择，但深度神经网络的最佳激活函数仍然是一个开放的研究问题。 在本文中，我们提出了一种基于 ReLU 的新颖参数化激活函数，ReCA，该函数已在使用不同复杂神经网络架构的最新数据集上表现出优于所有基线的效果。
英文摘要#
Activation functions have been shown to affect the performance of deep neural networks significantly. While the Rectified Linear Unit (ReLU) remains the dominant choice in practice, the optimal activation function for deep neural networks remains an open research question. In this paper, we propose a novel parametric activation function, ReCA, based on ReLU, which has been shown to outperform all baselines on state-of-the-art datasets using different complex neural network architectures.
PDF 获取#
抖音扫码查看更多精彩内容