智能手机手势识别与元宇宙技术框架探索

### 智能手机手势识别与元宇宙技术框架探索 #### 智能手机手势识别研究 1. **研究背景与目的** - 旨在扩展基于智能手机的手势识别框架，即增强现实移动设备手势（AMDG），改进整体智能手机支持，消除立体成像相机要求，并添加新的手势，如两指捏合和拇指定向手势。 2. **相关调查与测试** - **HARUS问卷**：用于评估应用程序的可用性，包含消极表述和积极表述的问题，如操作应用程序是否需大量肌肉或脑力、使用是否舒适、信息显示是否合适等。 | 消极表述项目 | 积极表述项目 | | --- | --- | | Q1. 我认为与应用程序交互需要大量身体肌肉力量 | Q2. 我觉得使用该应用程序时我的手臂、手和头部很舒适 | | Q3. 我发现操作应用程序时设备很难携带 | Q4. 我发现通过手势输入信息很容易 | | Q5. 我觉得使用应用程序后我的手臂/手/头部变得疲劳 | Q6. 我认为该应用程序易于控制 | | Q7. 我觉得我正在失去对设备的物理控制，可能会在某个时候掉落它 | Q8. 我认为该应用程序的操作简单不复杂 | | Q9. 我认为与应用程序交互需要大量脑力 | Q10. 我认为屏幕上显示的信息量合适 | | Q11. 我认为屏幕上显示的信息很难阅读 | Q12. 我觉得信息显示响应足够快 | | Q13. 我觉得屏幕上显示的信息令人困惑 | Q14. 我认为文字和符号很容易阅读 | | Q15. 我觉得显示屏闪烁太厉害 | Q16. 我认为屏幕上显示的信息是一致的 | - **偏好调查问题**：针对不同用例询问用户对特定AR应用配置的偏好，如特定AR应用、一般AR应用、教育AR应用、AR可视化、高效输入、短期使用和长期使用等场景。 | 使用场景 | 问题 | | --- | --- | | 此应用 | 对于这个特定的AR应用，你喜欢使用哪种配置？ | | 一般AR应用 | 你会推荐哪种配置用于其他一般AR应用？ | | 教育AR应用 | 你会使用哪种配置用于学习科学、历史或其他学科的教育应用？ | | AR可视化 | 对于AR世界的吸引人的图形可视化，你更喜欢哪种配置？ | | 高效输入 | 为了高效输入手势，你更喜欢使用哪种配置？ | | 短期使用 | 你会使用哪种配置进行短时间使用？ | | 长期使用 | 你会使用哪种配置进行长时间使用？ | 3. **测试结果** - **预测试结果**：多数参与者对AR和AR头戴设备不太熟悉，但对手势识别和手机AR稍熟悉，可能因《精灵宝可梦GO》的流行。这表明他们虽知晓用手与AR应用交互的可能性，但可能未亲身使用过，对特定手势的标准使用也不熟悉，执行手势可能有困难。 | 熟悉程度 | 最小值 | 最大值 | 平均值 | | --- | --- | --- | --- | | AR | 1 | 4 | 2 | | HGR（手势识别） | 2 | 5 | 3.125 | | AR头戴设备（如HoloLens） | 1 | 3 | 2 | | 基于手机的AR（如《精灵宝可梦GO》） | 1 | 5 | 2.75 | - **监督测试结果**：多数测试者能完成所有手势测试，但有一名测试者因英文指令困难未完成部分测试。 | 配置 | 未完成 | 完成（有重大困难） | 完成（几乎无困难） | | --- | --- | --- | --- | | 空中点击并拖动