Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers

对不同深度学习优化器的基准测试.

Addressing Some Limitations of Transformers with Feedback Memory

Feedback Transformer：改进Transformer的序列信息提取能力.

卷积神经网络中的池化(Pooling)层

Pooling Layers.池化(pooling)是卷积神经网络中的重要组成部分。通过池化可以对特征图(feature map)进行降采样，从而减小网络的模型参数量和计算成本，也在一定程度上降低过拟合的风险。池化的作用包括： 通过降采样增...

Language Models are Open Knowledge Graphs

使用预训练的语言模型生成知识图谱.

Supermasks in Superposition

SupSup：使用网络掩码进行终身学习.

UNet++: A Nested U-Net Architecture for Medical Image Segmentation

UNet++：用于医学图像分割的巢型UNet. paper：UNet++: A Nested U-Net Architecture for Medical Image Segmentation arXiv：link1. 图像分割网络的发展...