FReLU：为视觉任务设计的激活函数.
- paper：Funnel Activation for Visual Recognition
- arXiv：link
作者提出了一种新型激活函数：Funnel Activation(FReLU)。ReLU表达式为$max(x,0)$；PReLU通过引入可学习参数$p$构造表达式为$max(x,px)$，相当于引入参数条件(Parametric Condition)；作者通过$3 \times 3$卷积操作引入形如漏斗的Funnel Condition，通过增加可学习的卷积构造$max(x,T(x))$。
通常的卷积神经网络通过加深网络线性增加感受野，但其形状仍是矩形（如下图a）。通过引入FReLU激活函数，该层会随机地选择$1 \times 1$或$3 \times 3$的感受野，使得整个网络的感受野不再是线性变化，从而可构造更复杂的感受野（如下图b、c）。
作者将FReLU应用到各种视觉任务上，均提升了表现：
