Maxout：自适应分段线性单元.

作者设计了maxout模型，即输出一组输入的最大值。主要目的是加速dropout优化以及提高dropout快速近似模型平均的准确性。

给定输入$x$，则maxout表示为：

\[h_i(x)=\mathop{\max}_{j\in [1,k]}x^TW_{i,j}+b_{ij}\]

maxout可以看作是对任意凸函数的分段线性近似：

作者统计了网络中maxout激活的相应情况。相比于传统激活函数，maxout的输出不是稀疏的，而且是无界的。

只有两个maxout隐藏单元的网络可以逼近任意连续函数。证明思路是使用一个maxout(对应一组线性函数)拟合函数的凸部分，使用另一组线性函数拟合函数的凹部分，再将两部分组合起来即可。

实验结果如下：