自正交化模块:一种用于学习正交滤波器的网络结构插件.
给全连接或者卷积模型的核加上带有正交化倾向的正则项,是不少模型的需求。核参数的正交化意味着参数的各个视角互不相关,能够减少视角的冗余,更充分的利用所有视角的参数。
通常的参数矩阵正交化的手段是添加正交化相关的正则项,比如对于正交矩阵来说有$W^⊤W=I$,所以可以添加正则项:
\[|| W^TW - I ||^2\]上面这个正则项不仅希望正交化($w_i^Tw_j=0,i\neq j$),而且同时还希望归一化$w_i^Tw_i = 1$。如果只需要正交化,则可以把对角线部分给mask掉:
\[||( W^TW - I) \otimes (1-I) ||^2\]本文作者指出已有正交正则项都并不能有效地提高模型的准确率,进而引入了一个新的正交正则项,并且做了相应的评估,结果表明新的正则项不仅能促进正交,而且能带来一定的结果提升。
根据基于余弦相似度的局部敏感哈希理论,给定两个向量\(w_i,w_j \in \mathbb{R}^d\),$\theta_{i,j} \in [0, \pi]$是它们的夹角,\(x \sim \mathcal{X}\)是$d$维单位超球面上的随机向量,则有:
\[\mathcal{V}_{i,j} = \mathbb{E}_{x \sim \mathcal{X}}\left[ \text{sign}\left(x^Tw_i\right)\text{sign}\left(x^Tw_j\right) \right] = 1 - \frac{2\theta}{\pi}\]若两个向量\(w_i,w_j\)正交,则\(\mathcal{V}_{i,j}=0\)。因此可以构造正交正则项:
\[\mathcal{R}_{\mathcal{V}} = \lambda_1 \left(\sum_{i \neq j}\mathcal{V}_{i,j}\right)^2 + \lambda_2 \sum_{i \neq j} \mathcal{V}_{i,j}^2\]其中$\lambda_1$控制的正则项柔和一些,只希望\(\mathcal{V}_{i,j}\)的均值为$0$;而$λ_2$则强硬一些,希望所有的\(\mathcal{V}_{i,j}\)都等于$0$。考虑到实际问题可能比较复杂,不应当对模型进行过于强硬的约束,所以推荐的具体值是$λ_1=100, λ_2=1$。
下面讨论\(\mathcal{V}_{i,j}\)的实际估算问题。假设采样$B$个样本$X = [x_1,…,x_B]$,则\(\mathcal{V}_{i,j}\)估算为:
\[\begin{aligned} \mathcal{V}_{i,j}&\approx \frac{1}{B}\sum_{b=1}^B \text{sign}\left(x_b^Tw_i\right)\text{sign}\left(x_b^Tw_j\right) \\ & = \left(\frac{y_i}{||y_i||_2}\right)^T\left(\frac{y_j}{||y_j||_2}\right) \\ y &= \begin{pmatrix} \text{sign}\left(x_1^Tw\right) \\ \text{sign}\left(x_2^Tw\right) \\ \vdots \\ \text{sign}\left(x_B^Tw\right) \end{pmatrix} = \text{sign}\left(X^Tw\right) \end{aligned}\]由于\(\text{sign}(\cdot)\)函数不可导,因此采用光滑近似(实践中取$\gamma=10$):
\[\text{sign}(x) \approx \text{tanh}(\gamma x)\]而\(X\)既可以通过随机采样构造,也可以直接选取模型当前层的输入,此时称为自正交化正则项。由于模型输入$X$与模型核矩阵$W$的乘积恰好为模型的输出$Y$(无激活函数),因此估算\(\mathcal{V}_{i,j}\)的流程可以得到化简:
- 对于当前层输入$X$与核矩阵$W$,做矩阵乘法输出$Y$;
- 用tanh$(\gamma x)$激活$Y$,沿着维度$B$做归一化;
- 计算$Y^TY$,用于近似\(\mathcal{V}\);进而估算正则项\(\mathcal{R}_{\mathcal{V}}\)。