14、多模态交互模式中的语义集成与会议浏览器评估

多模态交互模式中的语义集成与会议浏览器评估

在当今科技发展的浪潮中，多模态交互和会议浏览器评估成为了备受关注的领域。多模态交互能够让用户以更加自然和多样化的方式与系统进行交互，而会议浏览器评估则有助于提升会议相关信息检索和浏览的效率和质量。

多模态交互实验

实验设置

• 环境布置 ：受试者站在距离一个大型墙面屏幕2米远的地方，屏幕上显示着应用程序。用于跟踪的摄像机和录像机都位于右侧（所有受试者均为右利手）。
• 输入处理 ：受试者直接产生的输入，或者通过向导产生的输入，会由应用程序逻辑进行处理，以更新界面并推进任务。

应用场景与任务设计

• 任务设计原则 ：在不同认知负荷水平下引发多模态交互需要精心设计任务。新颖的模态在新颖的应用功能中才会更显著，而空间定位任务（如地图交互）更有可能产生组合的多模态交互。
• 任务场景 ：该研究场景实现了用交通状况信息更新地理地图，用户可以使用自然语音、手动手势或两者结合的方式。可用的手势包括：
  • 指向地图位置、项目和功能按钮；
  • 用于缩放功能的圈选手势；
  • 用于项目标记的预定义手形（如拳头、剪刀等）。
• 任务等效性 ：所有任务都设计为尽可能提供语义等效性，即所需的原子动作可以使用任何单一模态或其组合来完成。受