多视角相机下的技术应用：手势识别与容错数字滤波器设计

### 多视角相机下的技术应用：手势识别与容错数字滤波器设计 #### 多视角相机下的手势识别 手势识别在近年来有着广泛的应用，如机器人技术、电子商务、人机交互、电子竞技以及帮助听力障碍人士等。其中，帮助听力障碍人士是日常生活中最实用且有趣的应用。如今，相机易于安装且无处不在，但在多相机图像采集下，手势识别面临着极具挑战性的问题。 ##### 手势识别现状与挑战 手势是人类交流的典型基本工具，短时间内让人学习和理解所有基于手势的手语非常困难，因此许多智能系统被提出用于自动识别和理解这些手势。过去十年，手势识别受到了众多视觉科学家的关注，它是智能家居、非接触式设备和多媒体系统的核心过程。 文献中提出了各种基于图像分析的方法。例如，Dinh等人使用隐马尔可夫模型分析手势序列图像，并在单手和双手手势数据库上进行评估；Tavakoli等人基于肌电（EMG）可穿戴设备和支持向量机（SVM）分类器识别手势；Chaudhary等人引入基于光不变性的方法进行手势识别；Chansri等人提出基于HOG描述符和神经网络的泰语手语识别方法。 然而，由于相机可安装在任何室内外位置，现代手势识别因不同采集角度的多视角而面临挑战。不同相机位置拍摄的同一手势会呈现出不同视图，甚至产生错觉。虽然已有研究探讨了多视角下手势问题，如融合不同相机提取的特征，但公开的多视角手势数据集较少。最近，Hoang发布了用于越南手语识别的HGM - 4数据集，该数据集由四个不同相机采集。 ##### 提出的方法 - **局部二值模式（LBP）**：LBP通过计算3×3像素正方形邻域内每个像素周围的局部邻域结构来表示图像纹理。每个像素\((x_c, y_c)\)的\(LBP_{P,R}(x_c, y_c)\)代码通过将中心像素的灰度值\(g_c\)与其\(P\)个邻居的灰度值\(\{g_i\}_{i = 0}^{P - 1}\)进行比较来计算，公式如下： \[LBP_{P,R}(x_c, y_c) = \sum_{i = 0}^{P - 1} \varphi(g_i - g_c) \times 2^i\] 其中，\(\varphi\)是阈值函数，计算方式为： \[\varphi(g_i - g_c) = \begin{cases} 1, & \text{if } (g_i - g_c) \geq 0 \\ 0, & \text{otherwise} \end{cases} \] - **“LBP均匀模式”**：一些LBP模式在纹理图像中出现的频率更高。作者提出了“LBP均匀模式”\(LBP_{P,R}^{u2}\)，它是原始LBP的一个子集。通过分析循环位变换时从0到1或反之的位转换次数来衡量模式的均匀性，若转换次数最多为2，则该LBP被称为均匀模式。例如，11111111（0次转换）、00011110和11100111是均匀模式，而00110010不是。从图像块中提取的最终特征比从全局图像中提取的特征更好、更具代表性。为了从多块中提取特征，将每个原始图像进行分块，然后融合每个颜色分量块提取的特征，创建最终特征向量。 ##### HGM - 4数据集 HGM - 4是多相机下手势识别的基准数据集，四个相机安装在不同位置，用于捕捉26种不同手势，这些手势由五个人执行。每个相机位置每种手势有8张图像，具体数据如下表所示： | 相机位置 | 手势及每种手势图像数量 | 执行人数 | 总数 | | ---- | ---- | ---- | ---- | | 下方 | 26 × 8 | 5 | 1040 | | 前方 | 26 × 8 | 5 | 1040 | | 左侧 | 26 × 8 | 5 | 1040 | | 右侧 | 26 × 8 | 5 | 1040 | ##### 实验结果 采用交叉验证方法，通过留出技术在初始数据集上创建训练和测试子集，考虑不同的划分比例：50:50、70:30、80:20和90:10。使用七种策略将整个图像划分为多块，下表展示了使用从彩色图像中提取的LBP均匀特征的分类结果： | 分解比例（训练:测试） | 1×1 | 2×2 | 3×3