3D手势识别与电子织物交互设备研究

### 3D手势识别与电子织物交互设备研究 在科技不断发展的今天，人机交互技术也在不断创新。3D手势识别技术和电子织物交互设备便是其中颇具潜力的两个方向。下面将详细介绍这两项技术的相关内容。 #### 3D手势识别系统 3D手势识别系统利用两个鱼眼相机来识别用户在大范围内的3D手部指向操作。与普通相机相比，鱼眼相机具有更宽的视野，这使得用户可以在更广泛的范围内操作该系统。具体来说，系统会在用户手臂伸展指向显示屏的位置显示一个光标。 - **系统配置**：两个鱼眼相机被放置在显示屏的两侧，这种布局利用了鱼眼相机宽视角的特点，使得相机之间的基线长度可以更长，从而提高了深度方向的位置精度。 - **手部指向识别过程** 1. **图像转换**：鱼眼相机捕获的图像首先被转换为等距柱状投影格式的图像，使用RICOH THETA V相机，仅采用其前鱼眼相机捕获的180度全景图像部分。 2. **骨架提取**：使用OpenPose从左右鱼眼相机的等距柱状投影图像中分别提取用户的骨架。OpenPose是基于深度学习的多人姿态估计实现。 3. **坐标计算** - 首先将等距柱状投影图像中每个关节点的坐标 $(h, \varphi)$ 转换为平面坐标 $(x, y)$，公式如下： - \(x = \frac{f \sin h \cos \varphi}{\cos h}\) - \(y = \frac{f \sin h \sin \varphi}{\cos h}\) - 然后根据左右相机图像中对应关节点的平面坐标 $(x_l, y_l)$ 和 $(x_r, y_r)$ 计算每个关节的3D坐标 $(X, Y, Z)$，公式如下： - \(X = \frac{b (x_l + x_r)}{2 (x_l - x_r)}\) - \(Y = \frac{b (y_l + y_r)}{2 (x_l - x_r)}\) - \(Z = \frac{bf}{x_l - x_r}\) 4. **光标显示**：通过肘部和手腕的3D坐标确定一条直线，该直线与显示屏的交点即为光标显示的位置。光标坐标 $(x_c, y_c)$ 的计算公式如下： - \(x_c = X_1 + k (X_2 - X_1)\) - \(y_c = Y_1 + k (Y_2 - Y_1)\) - \(k = -\frac{Z_1}{Z_2 - Z_1}\) 5. **坐标转换**：最后将光标坐标从真实空间坐标系转换为显示屏坐标系。 #### 性能评估 为了评估该系统的指向精度，进行了相关实验。 - **实验过程** - 在43英寸显示屏上展示15个半径为5厘米的圆形物体，邀请6名参与者用右手通过手部指向来选择每个物体。 - 每10分钟更换一次参与者需要指向的物体，并以蓝色标记。 - 参与者分别在显示屏前80厘米处的中心、左右60厘米位置，以及140厘米处的中心位置进行操作。 - 设置两个相机之间的基线长度为120厘米，同时使用基线长度为30厘米的两个标准USB相机进行对比实验，由于标准相机视野较窄