1-D-DAN:为雷达光谱图设计一维密集注意力网络用于人类活动识别.
- paper:Radar-Based Human Activity Recognition With 1-D Dense Attention Network
- IEEE Geoscience and Remote Sensing Letters:link
本文提出了一维密集注意力网络(1-D Dense Attention Network,1-D-DAN),用于基于雷达的人类活动识别。该网络使用了专门为雷达光谱图(radar spectrogram)设计的一维注意力机制,由于光谱图的$x$轴表示时间,$y$轴表示频率,所以该注意力机制包括时间注意力分支和频率注意力分支;在该机制中还引入了可以充分利用网络特征的密集注意力操作。
1. Introduction
雷达系统相比于光学系统不依赖照明条件和天气影响,可以保护使用者的隐私,被应用于人类活动识别任务中。基于微多普勒雷达(micro-Doppler radar)的人类行为识别通常将雷达信号转化为光谱图。利用深度学习处理雷达光谱图有两种方法:
- 将雷达光谱图通过短时傅里叶变换(short-time Fourier Transform,STFT)转换成二维图像;
- 将雷达光谱图看作时间序列。
前一种方法通常使用二维卷积神经网络进行处理,后一种方法通常使用循环神经网络进行处理。作者采用前一种方法,将雷达光谱图看作时间-频率图像,使用一维卷积进行处理。
2. Proposed Method
所提出的1-D-DAN结构图如下所示。网络主体由三个一维卷积层和一个全连接层组成,引入注意力模块进行特征融合,且每个注意力模块的输入是之前所有层的输出组合。
所提出的一维注意力机制如下图所示。由于光谱图的两个维度分别表示时间和频率,因此使用两个注意力机制并联和融合的形式(类似于BAM):
3. Experiments
实验使用Infineon的Sense2GoL多普勒雷达,工作频率为$24.05-24.25GHz$。雷达工作范围为$1-5$米,共采集七种人体活动:跑步、走路、拄拐杖走路、爬行、拳击、移动拳击和坐着。共采集$14923$个样本,比例为$2075:2367:2067:1972:1967:2429:2049$。采样频率为$2KHz$,采样时间为$3$秒。模型的输入大小为$300 \times 153$。
实验证明该网络具有最高的准确率和最小的计算复杂度: