SCGRNN:用于雷达人体活动识别的分段卷积门控循环神经网络.
- paper:Segmented convolutional gated recurrent neural networks for human activity recognition in ultra-wideband radar
- Elsevier:link
基于电磁波的人体运动分析研究范式可以分为两类。第一类旨在使用特殊设计的天线阵列对人体进行成像。如T型天线阵列,其水平和垂直部分可以同时提供人体散射点的空间和高度信息。由于观测环境中的每个体像素都可以通过球坐标表示,因此可以将其投影到二维平面上,采用与视觉系统相同的处理方式。
第二类使用有限数量的天线(如一个发射天线和一个接收天线),由于不是二维天线阵列,因此无法分离空间和高度信息。这类方法只能检测目标的相对径向位置,不能采用视觉的处理方法。但是这类方法比第一类方法的传感器简单,导致雷达脉冲发射的时间间隔更短,进而使雷达具有更高的速度分辨率。因此这类方法不依赖于检测人体部位的关键点,而是使用人体部位的运动信息。
本文采用第二类研究方法,使用雷达信号的微多普勒特征。从运动目标返回的电磁波会产生频移,即多普勒效应。由于人体行为是一种复杂的运动,包括振动、旋转或加速等不同的微运动,人体的每个部分会产生不同的多普勒效应。经过频率调制后叠加产生微多普勒效应。
雷达的微多普勒特征代表了不同人体部位的时变速度,通过雷达采样并以序列形式表示,这些特征本质上是时间序列数据的一种变体。考虑到微多普勒效应背后的顺序特征,有必要利用局部特征的时间相关性,而不仅仅是检测整体几何形状。过去的深度学习方法对微多普勒光谱图的处理方式与图像相同,而忽略了其背后的时间规律性。作者结合卷积神经网络和循环神经网络从微多普勒特征中提取局部特征和时间信息。
作者提出了一种分段卷积门控循环神经网络(Segmented convolutional gated recurrent neural network,SCGRNN),使用超宽带雷达的微多普勒光谱图进行人体活动识别。该模型首先通过卷积操作提取光谱图的分段特征,再用GRU沿时间轴对特征图进行编码,从而实现检测任意长度光谱图中的人体活动。实验表明该方法在时间分辨率、噪声鲁棒性和泛化性能方面优于现有的模型。
SCGRNN的流程如下图所示。原始雷达回波信号首先被转换为微多普勒光谱图,该操作包括杂波抑制、人体位置检测和应用短时傅里叶变换进行微多普勒光谱图计算。之后用卷积层和池化层进行处理,以提取局部特征。然后通过两层GRU编沿时间轴编码特征。将输出送入具有Softmax函数的全连接层,在每个时间步长对微多普勒特征进行分类。
实验结果表明所提方法优于现有模型。