49、实时嵌入式平台手语翻译器及复杂梯度函数描述符研究

实时嵌入式平台手语翻译器及复杂梯度函数描述符研究

1. 手语翻译系统现状

在手语翻译系统中，存在基于柔性传感器和基于视觉的两种主要类型。
- 基于柔性传感器的系统 ：柔性传感器会产生不同的电流值，这些值经过信号调理电路处理后，被传输到微控制器。微控制器根据获取的信号，向显示器和扬声器等输出设备发出相应指令。该系统实时性能良好，因为几乎不需要进行信号和图像处理。然而，它使用的柔性传感器存在缺点，如易碎，长时间使用后输出值会发生变化。
- 基于视觉的系统 ：不依赖柔性传感器，而是依靠相机输入。这类系统大多使用卷积神经网络对手势进行分类。不同研究采用了不同的卷积神经网络：
- Pardasani等人使用了类似于LeNet5的卷积神经网络对手势进行分类，但该分类器层数较少，性能未达预期。
- Masood等人使用VGG16作为手语分类器，VGG16架构准确，性能可观，但参数超过1亿，不适合在嵌入式平台上实时运行，且该研究主要关注分类器训练，未涉及感兴趣区域提取和分割等问题，在不同光照和背景条件下分类性能不佳。
- Shahriar等人的研究克服了Masood等人研究的不足，重点关注分割和感兴趣区域提取等预处理步骤。他们使用YCbCr颜色空间进行肤色分割，然后进行形态学操作以消除不一致性，最后获取手部掩码的边界框，裁剪包含手部的图像并输入卷积神经网络进行分类。该系统能在不同光照和背景条件下工作，但使用的AlexNet参数超过6000万，不适合实时性能。

目前，开发适用于嵌入式平台的系统受到的关注较少。虽然其他研究报告的准确性和性能可观，但从实际角度考虑，开发内存高效、能成功部署在嵌入式