术后康复助力：非接触式拇指指尖测量系统

### 术后康复助力：非接触式拇指指尖测量系统 #### 1. 引言 拇指是唯一具有高度关节活动自由度且能与其他四指相对的手指，受伤手术后的功能训练至关重要。目前，拇指关节活动范围的测量通常是直接用角度计贴合关节进行，这种方法数值测量粗略，难以直观了解拇指的活动程度。为解决这一问题，我们提出了一种非接触式测量拇指的系统，以及一个在拇指康复时可视化拇指指尖活动范围的应用程序。 #### 2. 相关研究 - 传统的关节活动范围测量方法多基于治疗师的经验，准确性依赖治疗师的技能，测量值可能存在差异。例如，髋关节屈曲和直腿抬高的关节活动范围测量中，不同检查者之间的测量误差最大可达 20°（最小 5°）和 30°（最小 5°）。 - 此前有研究使用 3 - D 扫描仪拍照并在电脑上用角度计测量关节活动范围，虽能减少检查者之间的测量误差，但测量时间较长。还有研究利用深度传感器获取整个手部的深度图像，通过深度神经网络模型估计拇指指尖坐标并尝试 3 - D 可视化，但对于治疗师来说，以点显示的估计坐标难以直观理解和处理。 #### 3. 使用深度传感器采集图像 我们采用英特尔 RealSense Depth Camera D435 作为深度传感器，它由英特尔公司开发和销售，具备深度传感器、RGB 传感器和红外投影仪，可获取 RGB 图像和深度图像。其采用主动红外立体方法获取深度信息，即从红外投影仪投射红外光，用相机捕捉图像，测量投射图案和捕捉图案之间的差异。深度图像以无符号 16 位整数形式捕获，每个像素包含 20 到 10000 毫米的深度信息。 为了与之前的研究在相同条件下采集图像，将手与传感器的距离设置为 60 厘米，左手放在桌子上，用两个 10 厘米高的盒子固定，使手出现在深度图像的中心。同时，在距离传感器 80 厘米处放置一本小册子，以减少采集时手部周围的噪声。 #### 4. 通过深度神经网络模型测量拇指指尖位置 ##### 4.1 手部区域提取 深度传感器拍摄的深度图像最初以 16 位记录深度信息，将其转换为 8 位进行可视化。由于深度图像包含手、桌子和背景物体，首先对深度图像进行掩码处理以提取手部区域。考虑到采集条件和拇指的活动范围，从深度值中减去 550，提取深度在 550 毫米到 705 毫米之间的区域，将深度为 550 毫米的区域设为 0，并将手部背景区域填充为 0。深度传感器拍摄的图像尺寸为 640×480 像素，而输入 ResNet 模型需要 227×227 像素，因此基于拍摄深度图像的中心提取手部区域。 ##### 4.2 分配教师信号 为了进行机器学习，需要指定拇指指尖的正确坐标（教师信号）。在深度图像中点击拇指指尖添加教师信号，为了便于理解指尖位置和点击，将 640×480 像素的深度图像放大到 1280×960 像素并以 24 位可视化。为了校正教师信号偏移时拇指指尖的 Z 坐标，使用以点击的 X、Y 坐标为中心的 5×5 像素范围内深度值的中位数作为真实深度值。 ##### 4.3 创建数据集 为了提高估计性能，学习过程中需要大量图像。因此，从单个深度图像中裁剪出多个深度图像来创建数据集。从一个深度图像开始，基于图像中心垂直和水平移动 4 像素，垂直和水平各移动 2 步，通过上述数据增强操作，从一个深度图像创建 25 个 227×227 像素的深度图像。之后，按时间顺序将数据集划分为验证数据和训练数据，1/3 用于验证，2/3 用于训练。 #### 5. 拇指指尖测量实验 ##### 5.1 数据集和预测模型 为了检验是否能对未知手形的拇指指尖坐标进行估计，我们与 10 名受试者合作进行实验。将 9 名受试者的数据用作训练数据，构建具有均方误差损失函数的 ResNet 预测模型，剩余 1 名受试者的数据用作测试数据评估模型的预测性能，并采用留一交叉验证的方式重复试验。同时，记录每个受试者的三种手指动作：拇指做大圈运动（大动作）、拇指做小圈运动（小动作）、拇指自由运动 10 秒（自由运动）。具体受试者信息如下表所示： | 受试者 | 性别 | 手掌长度（cm） | 拇指长度（cm） | | ---- | ---- | ---- | ---- | | A | 男 | 18 | 11 | | B | 男 | 17 | 11 | | C | 女 | 16 | 9 | | D | 男 | 20 | 10 | | E | 男 | 19 | 9 | | F | 男 | 18 | 9 | | G | 男 | 18 | 8.5 | | H | 女 | 18 | 8 | | I | 女 | 18 | 10 | | J | 女 | 18 | 8 | ##### 5.2 估计结果 当以一名受试者作为测试数据，其余受试者作为训练