通过损失平衡任务加权解决多任务学习中的负迁移.

多任务学习通常能够提高单任务的表现。有时多任务学习的平均表现提高，但在某个任务上的表现会低于单任务学习模型，这种现象称为negative transfer。产生负迁移现象的原因可能是：

  1. 所有任务之间都是不相关的，没有合适的公共特征表示空间；
  2. 一组相关任务主导了训练过程，随着更多相关任务的加入表现会提高，但是与其相关程度较小的任务受到抑制。

作者提出了Loss-Balanced Task Weighting方法，能够在模型训练时动态更新任务权重。对于每轮训练的每个任务，考虑当前损失与初始损失之比，并引入超参数$\alpha$平衡权重的影响：

\[w_t = (\frac{\mathcal{L}_i(t)}{\mathcal{L}_i(0)})^{\alpha}\]

作者使用不同的多任务学习方法进行实验，并与单任务学习的结果进行比较，下图展示了在不同多任务方法中每个任务相对于单任务模型的表现变化。尽管没有模型能够完全消除negative transfer，本文提出的方法使得表现下降的任务数量最少。