APL：自适应分段线性单元.

通常的激活函数在每个神经元上都是固定的，作者设计了一种分段线性激活函数，通过梯度下降法为每个神经元独立学习不同的激活函数；该激活函数被称为自适应分段线性单元(adaptive piecewise linear unit, APL)。

APL的表达式如下，是由一系列形如Hinge函数组成的：

\[h(x) = \max(0,x)+\sum_{s=1}^{S}a^s\max (0,-x+b^s)\]

对于每个神经元，额外引入$2S$个可学习的参数，通过梯度下降更新这些参数。下图展示了$S=1$时的一些情况，相比于maxout激活函数，该函数可以表示非凸函数，且只需要一个输入。

通过应用APL激活函数，提升了分类网络的性能。

作者展示了不同层的不同神经元的激活函数，虚线表示激活函数的初始化结果，实线为最终学习得到的函数。