【TFIE-Gait：一种基于时频信息增强的步态识别模型】

基金项目：

本研究得到了国家自然科学基金(项目编号：61772342和62203304)的资助。

导读：

在步态识别任务中，空间和时序信息对区分不同步态模式至关重要。然而，现有方法在开放环境数据集(如Grew)中主要依赖空间信息，未充分利用时序信息，且开放环境数据集中的噪声(如遮挡和运动暂停)会破坏步态序列时序信息，干扰时序特征提取，降低模型性能。为此，本文提出TFIE-Gait模型，引入时频信息增强模块(TFIE)和去噪采样模块(DAS)。TFIE模块结合时域和频域信息，通过多尺度卷积和自注意力机制提取关节时序特征及关节间依赖关系，并利用傅里叶变换在频域提取判别性特征。DAS模块利用频域去噪前后的序列数据差异联合分析，识别和去除异常数据帧，并利用交叉相关算法拼接子序列，恢复步态序列的周期性时序信息。实验表明，TFIE-Gait在开放环境数据集上显著优于基线模型。

关注我们，获取更多论文资讯！

作者信息：

蔡  俊：上海理工大学光电信息与计算机工程学院，上海

正文

步态识别是一种基于人类行走模式进行身份验证的生物特征识别技术。随着人工智能和计算机视觉的快速发展，步态识别因其远距离、无接触和难以伪装的优势，在安全监控、刑事侦查等领域展现出巨大潜力。

​本文提出了一种基于时频域信息增强的步态识别模型——TFIE-Gait。该模型包含三个核心模块：空间信息模块、时频域信息增强模块(Time-Frequency Information Enhancement Module, TFIE)和去噪采样模块(Denoising and Sampling Module, DAS)。TFIE模块通过多尺度卷积和自注意力机制提取时域特征，并通过傅里叶变换提取频域特征。DAS模块利用频域去噪和交叉相关算法去除异常数据帧，恢复步态序列的周期性时序信息。

​TFIE-Gait的架构如图3所示。模型使用轮廓和骨架作为输入，其中轮廓作为空间信息模块的输入，骨架作为时频信息增强模块的输入。在数据输入至对应模块之前，需先经DAS模块处理。DAS模块利用噪声在频域中表现为高频的特点，在频域中对骨架序列进行去噪处理，然后将其恢复到时域并与原数据进行对比分析，以确定异常数据帧在序列中的索引集合。根据这个索引集合，原始的步态骨架序列被分割成多个骨架子序列集合。对于模块的输入，空间信息模块采用直接合并子序列并采样的策略而TFIE模块则基于序列间的交叉相关性来合并子序列并进行采样。

本文基于卷积神经网络(CNN)和自注意力机制构建了局部全局时序模块(LGT Block)来建模时序特征，如图4所示。LGT Block由一个CNN层、一个自注意力层和一个批量归一化层(Batch Normalization, BN)组成。其中，CNN层用于提取单个关节点的时序特征，通过控制CNN层的卷积核长度，可以对关节点在时间维度上的不同序列长度进行时序信息的建模。CNN层能够构建关节的多尺度时序信息，但由于关节点之间的时序信息也存在依赖关系，因此使用自注意力层来捕获关节之间时序信息的依赖关系。此外，加入了BN层对神经网络中间层的输出进行标准化处理，以确保每一层的输入具有相似的分布，从而提高模型的收敛效率。本文通过堆叠LGT Block构建了时域模块，用于提取步态序列的时序特征。

本文提出使用基于自注意力机制的方法来构建关节点以及关节点之间的时序特征依赖关系，如图5。

为了获取整体的时序特征，在自注意力层增加一个类似于Vit中Classification Token的特殊标记叫做Global-Temporal Token (GTT)，来捕获步态骨架序列的全局时序信息。并且，基于分层的思想，在时域模块中的每个自注意力层都加入GTT以捕获不同层次的全局时序特征。将不同层次的GTT输出和最后的自注意力层连接起来，作为最终的具有判别性的时序特征，如图6。

为了评估所提出的模型的性能，本文在流行的开放环境步态识别数据集上进行了广泛的验证实验。

​表1展示了本文提出的方法与基线方法在两个户外数据集上的性能对比。所涉及的基线方法包括GaitSet、GaitPart、GaitGL、GaitBase、DeepGaitV2-2D以及SwimGait-2D。本文以DeepGaitV2-2D和SwimGait-2D作为空间信息提取器，结合TFIE模块与DAS模块进行实验。在两个数据集(Grew和Gait3D)上，本文提出的方法相较于基线方法均取得了一定程度的性能提升。

表2展示了TFIE模块与DAS模块在应用于几种经典基线方法时的效果。

针对本文提出的 TFIE 模块，进一步进行了消融实验，结果如表3所示。其中，第一行为基线模型的 结果，以 SwimGait 作为基线模型。第四行为在基线模型的基础上加入 DAS 模块对序列进行去噪后的结 果，前文已证明该操作能够有效消除步态序列中的噪声，并在一定程度上恢复序列的周期性时序特征。 第二行与第三行分别为在基线模型的基础上加入频域分支与时域分支的结果，可以将其视为第一组实验。 第五行与第六行分别为在第四行去噪采样的基础上加入频域分支与时域分支的结果，可以将其视为第二 组实验。

结论

本文提出了一个时频信息增强模块(TFIE模块)，该模块从时域和频域两个角度提取步态序列特征。频域角度侧重于利用卷积神经网络从步态序列的频域幅度谱中提取判别性特征；而时域角度则着重于对单个关节点的时序特征以及关节点之间的时序依赖关系进行建模。除此之外，本文还提出了基于频域去噪的方法和基于交叉相关性的采样方法。前者利用噪声在频域中表现为高频的特性，在频域进行去噪并还原到时域，随后通过分析多个关节点数据变化来定位和去除异常数据；后者利用子序列之间的交叉相关性对去噪后的子序列进行合并，从而在一定程度上恢复步态序列的周期性时序特征。实验结果表明，TFIE-Gait相较于基线模型表现良好，提出的TFIE模块和DAS模块能够有效提升模型性能。在未来的工作中，我们将进一步从频域角度研究步态特征，以期更有效地提取步态的时序特征，增强模型特征的判别能力，并提升模型的准确率。

原文链接：https://doi.org/10.12677/mos.2025.144336