42、手语视频中的手势识别：基于手部位置跟踪和形状的内侧表示

手语视频中的手势识别：基于手部位置跟踪和形状的内侧表示

在过去的二十年里，手语识别系统一直是一个备受关注的研究领域，它涉及到手势控制系统、人机交互界面、3D 对象分析以及许多其他模式识别和计算机视觉技术等多个领域。然而，目前尚未找到一种通用且高效的方法来识别静态和动态手语。

1. 问题陈述

• 定义相关概念
  • 手势 ：手势 G 被定义为身体部位（特别是手或头部）的运动，以表达想法或意义，表现为一系列图像 (I1, …, I|G|)，其中 Ij 属于 Rm×n，j = 1, |G|，是包含手势 G 的视频帧。
  • 二值图像上的斑点 ：二值图像 I 上的斑点 S 是一个多边形图形，近似于该图像的连通分量。多边形图形的边界是具有最小周长的分隔多边形。
  • 斑点的内侧表示 ：二值图像上斑点 S 的内侧表示 M(S) 定义为其形态骨架 Sk = (V, E) 的对 (Sk, R)，其中 V 和 E 分别是其顶点和边的集合。径向函数 R : V → R，将每个顶点与以该顶点为中心的最大内切圆的半径相关联。
  • 关键对象 ：关键对象定义为感兴趣的区域，即面部 F、左手 L 和右手 R。
  • 对象的轨迹 ：视频序列 G = (I1, …, I|G|) 中对象 ω ∈ {F, L, R} 的轨迹 T ω(G) 定义为一系列六元组 (x, y, r, vx, v