人机交互国际会议：探索多模态交互新领域

### 人机交互国际会议：探索多模态交互新领域 #### 1. 人机交互的重要性与会议背景 随着越来越多的人类活动从现实世界向数字世界转移，人机交互（HCI）在科学和工业领域的重要性日益凸显，对人们日常生活的影响也越来越大。新冠疫情更是加速了这一进程。HCI国际会议系列（HCII）每年举办一次，旨在推动关于计算系统设计和使用中人类相关方面的知识交流、研究和开发工作。 2021年第23届人机交互国际会议（HCII 2021）原计划于7月24 - 29日在美国华盛顿特区的华盛顿希尔顿酒店举行，但由于疫情，最终以虚拟会议的形式举办。此次会议涵盖了21个主题领域和相关附属会议。 #### 2. HCII 2021会议概况 - **投稿与收录情况**：来自81个国家的学术界、研究机构、行业和政府机构的5222人提交了论文。会议开始前出版的会议论文集收录了1276篇论文和241张海报，会议结束后出版的论文集作为“最新研究成果”又收录了174篇论文和146张海报。这些投稿全面涵盖了人机交互的各个领域，为学术界、研究人员、工程师、科学家、从业者和学生提供了该领域最新进展的前沿信息。 - **主题领域与附属会议** - **主题领域**：包括人机交互（HCI）和人类界面与信息管理（HIMI）。 - **附属会议**：有18个不同主题的会议，如工程心理学与认知工效学国际会议（EPCE）、通用访问人机交互国际会议（UAHCI）等。具体如下表所示： |会议缩写|会议全称| | ---- | ---- | |EPCE|18th International Conference on Engineering Psychology and Cognitive Ergonomics| |UAHCI|15th International Conference on Universal Access in Human-Computer Interaction| |VAMR|13th International Conference on Virtual, Augmented and Mixed Reality| |CCD|13th International Conference on Cross-Cultural Design| |SCSM|13th International Conference on Social Computing and Social Media| |AC|15th International Conference on Augmented Cognition| |DHM|12th International Conference on Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management| |DUXU|10th International Conference on Design, User Experience, and Usability| |DAPI|9th International Conference on Distributed, Ambient and Pervasive Interactions| |HCIBGO|8th International Conference on HCI in Business, Government and Organizations| |LCT|8th International Conference on Learning and Collaboration Technologies| |ITAP|7th International Conference on Human Aspects of IT for the Aged Population| |HCI - CPT|3rd International Conference on HCI for Cybersecurity, Privacy and Trust| |HCI - Games|3rd International Conference on HCI in Games| |MobiTAS|3rd International Conference on HCI in Mobility, Transport and Automotive Systems| |AIS|3rd International Conference on Adaptive Instructional Systems| |C&C|9th International Conference on Culture and Computing| |MOBILE|2nd International Conference on Design, Operation and Evaluation of Mobile Communications| |AI - HCI|2nd International Conference on Artificial Intelligence in HCI| #### 3. 会议论文集 会议论文集共有45卷，涵盖了人机交互的各个方面，包括理论、方法、工具、设计案例、不同领域的应用等。以下是部分论文集的示例： - LNCS 12762，《人机交互：理论、方法和工具（第一部分）》，由Masaaki Kurosu编辑。 - LNCS 12763，《人机交互：交互技术与新应用（第二部分）》，由Masaaki Kurosu编辑。 - LNCS 12764，《人机交互：设计与用户体验案例研究（第三部分）》，由Masaaki Kurosu编辑。 #### 4. 多模态交互中的嗅觉界面研究案例 以“Towards Effective Odor Diffusion with Fuzzy Logic in an Olfactory Interface for a Serious Game”为例，介绍多模态交互中嗅觉界面的研究。 - **研究背景**：现实世界是多感官的，我们的体验由视觉、听觉、触觉、嗅觉和味觉等多种感官刺激构建。然而，虚拟环境和人机界面通常主要关注视觉和听觉，忽略了其他感官。模拟嗅觉等其他感官对学习有益。 - **嗅觉界面设计**：研究人员构建了一个简单且经济高效的嗅觉界面，使用Arduino Uno微控制器板、小型风扇和现成的空气清新剂向严肃游戏用户输送气味。模糊逻辑系统根据用户与显示器的距离调节输送给用户的气味量。 - **实验验证**：为了验证该系统，研究人员开发了一款旨在教儿童基本数学（计数）技能的严肃游戏。玩家在游戏中收集菠萝并输入收集的数量，随着菠萝的收集，嗅觉界面会散发菠萝香味，以补充或增强学习者的感官体验，刺激他们的情感和认知。一名10岁的学习者参与了游戏并提供了关于嗅觉界面的反馈，展示了该系统的潜力。 mermaid流程图如下： ```mermaid graph TD; A[现实世界多感官体验] --> B[虚拟环境重视觉听觉]; B --> C[模拟其他感官的需求]; C --> D[构建嗅觉界面]; D --> E[开发严肃游戏]; E --> F[学习者参与实验]; F --> G[系统潜力验证]; ``` ### 人机交互国际会议：探索多模态交互新领域 #### 5. 多模态交互其他研究成果 除了嗅觉界面的研究，会议还展示了多模态交互领域的其他成果，以下为部分示例： |研究成果|简介| | ---- | ---- | |《A Vibrothermal Haptic Display for Socio - emotional Communication》|开发了用于社会情感交流的振动热触觉显示器，由Shubham Shriniwas Gharat、Yatiraj Shetty和Troy McDaniel完成。该显示器可通过振动和热感传递情感信息，增强人机交互中的情感体验。| |《Haptic Finger Glove for the VR Keyboard Input》|Yuya Hoshi、Chenghong Lu和Lei Jing设计了用于VR键盘输入的触觉手指手套，让用户在虚拟现实环境中能更自然地进行键盘输入操作。| |《Estimation of Empathy Skill Level and Personal Traits Using Gaze Behavior and Dialogue Act During Turn - Changing》|Ryo Ishii等人通过研究在对话轮替过程中的注视行为和对话动作，来估计同理心技能水平和个人特质，为理解人机交互中的社交因素提供了新视角。| #### 6. 扩展现实（XR）在人机交互中的应用 XR技术在建筑实践、培训等多个领域展现出巨大潜力，以下是相关研究案例： - **建筑实践中的XR应用**：Maryam Abhari等人提出了扩展现实（XR）在建筑实践中的应用框架，通过XR技术可以让建筑师和客户更直观地体验建筑设计方案，提前发现问题并进行优化。 - **工业培训中的XR应用** - Traian Lavric等人提出了一种适用于工业的增强现实（AR）培训方法，用于手动装配操作。该方法能为工人提供实时的操作指导，提高培训效率和操作准确性。 - Noriyuki Kushiro等人开发了基于VR技术的风险管理结构化知识培训工具，让学员在虚拟环境中模拟风险场景，提升应对风险的能力。 mermaid流程图如下： ```mermaid graph TD; A[XR技术] --> B[建筑实践应用]; A --> C[工业培训应用]; B --> D[直观体验设计方案]; B --> E[提前优化设计]; C --> F[AR手动装配培训]; C --> G[VR风险管理培训]; ``` #### 7. 人工智能与HCI的融合 人工智能在人机交互领域的应用日益广泛，涉及伦理、系统设计、场景管理等多个方面： - **伦理与设计视角** - Ramya Akula和Ivan Garibay探讨了用于社会公益的伦理AI，强调在AI开发中要考虑道德和社会影响。 - Pietro Battistoni等人提出在人工智能交互系统设计中，应采用以人类为中心但不限于人类的视角，拓宽设计思路。 - **实际应用案例** - Shreya Chopra开发了虚拟控制面板API，可让程序员和用户通过增强现实创建可定制、模块化的虚拟控制面板和系统，用于控制物联网设备。 - Jo Erskine Hannay等人致力于基于AI的网络靶场训练场景管理，提高网络安全培训的效果。 #### 8. 未来展望 人机交互国际会议展示了该领域的最新研究成果和发展趋势。从多模态交互到扩展现实应用，再到人工智能与HCI的融合，未来人机交互将朝着更加自然、智能、多感官的方向发展。随着技术的不断进步，我们有望看到更多创新的人机交互方式出现，为人们的生活和工作带来更多便利和新体验。例如，在教育领域，结合多模态交互和人工智能的教学系统可能会让学习变得更加生动有趣和高效；在医疗领域，扩展现实技术可能会为手术培训和康复治疗带来新的突破。 未来的研究可以进一步探索如何更好地整合多种感官，提高人机交互的质量和效果；如何在人工智能应用中更好地保障用户的隐私和安全；以及如何将人机交互技术更广泛地应用于各个行业，推动社会的发展和进步。 列表如下： - 未来人机交互发展方向： - 更加自然的交互方式 - 多感官融合的体验 - 与人工智能深度融合 - 潜在应用领域： - 教育 - 医疗 - 工业制造 - 娱乐