交互式环境的传感器架构探索

# 交互式环境的传感器架构探索 ## 1 引言 随着微电子技术遵循摩尔定律不断提升性能，电子传感器也取得了显著进展。未来，传感器有望成为一种常见商品，实现密集、多模态的传感将成为常态。从丰富的数据流中动态提取与众多应用相关的特征，也将变得更加普遍。本文将介绍一系列探索灵活传感结构的项目，涵盖高带宽无线多模态传感器集群、大规模分布式超低功耗“轻量级”传感器节点，以及作为数字“皮肤”的超密集传感器网络。同时，还会涉及大型交互式表面和交互式媒体的手势感应，以及寄生式能量收集项目。 ## 2 交互式表面 ### 2.1 早期实验 作者最早在交互式环境方面的实验源于为交互式媒体装置开发的大量有线系统。1994 年，作者开发了一把激活椅，利用发射模式电场感应，根据人体姿势和动态产生音乐响应。1996 年，在林肯中心首演的《大脑歌剧》中，作者开发了一系列交互式站点，包括由 300 多个联网多模态打击乐传感器组成的“节奏树”，以及一个集成了触觉、惯性和光学跟踪传感器的手持指挥棒控制器，它可以说是如今流行的任天堂 Wii 的前身。 ### 2.2 手势墙与大型交互式表面研究 《大脑歌剧》中的“手势墙”使用电容电极阵列来感应交互式墙壁上的自由手势，这引发了作者对公共环境中大型交互式表面的深入研究。随着墙式显示器成本的降低，它们将变得更加普及并最终实现交互功能。与普通视频亭提供的封闭个人空间不同，大型交互式显示器自然会鼓励协作活动。在公共场合，小型人群通常会聚集在这些活动墙周围，与显示器互动的人实际上成为表演者，与自发的观众互动。 ### 2.3 跟踪裸手位置的系统 20 世纪 90 年代末，作者的研究小组开发了两个系统来改造大型显示器，以跟踪裸手的位置： - **LaserWall**：使用安装在显示器一角的低成本扫描激光测距仪，在显示器表面上方创建一个敏感平面。由于测距仪的检测与调制激光同步锁定，该系统对环境光不敏感，能够以 30Hz 的扫描速率测量用户手在约 4 米范围内的二维位置。 - **Tap Tracker Window**：使用固定在一大块玻璃上的 4 个接触式麦克风阵列，通过简单的启发式方法确定非结构化敲击和点击的位置和性质。该系统作为数字音频应用，无需特殊硬件，在超过 4 平方米的活动区域内可实现约 3 厘米的分辨率。由于敲击产生的板波和体波在玻璃内传播，该系统只需要在玻璃内侧安装拾音器，外侧表面无需任何硬件，可完全用于交互。 ### 2.4 交互式地板空间 在开发《大脑歌剧》期间，作者还对交互式地板空间产生了兴趣。1997 年，作者创建了一个名为“魔法地毯”的交互式音乐环境，通过铺设在 6×10 英尺地毯下的密集压电电缆网格，测量用户脚部的位置和动态压力。为了使环境更具沉浸感，使用了一对多普勒雷达来测量上半身的运动，虽然提供的信息较为粗略，但对光照或杂波不敏感，且数据处理需求低。 ## 3 无线传感器集群 ### 3.1 传感器发展趋势与应用 近年来，传感器的尺寸和成本大幅下降，遵循摩尔定律的推论。如今，设计师可以将丰富的传感器组件嵌入到手表大小的设备中，实现多模态传感。作者首次探索这一原理是为交互式舞蹈设计的鞋子，该鞋子集成了 16 个传感器，能够测量各种惯性、旋转、位置和触觉自由度，可对舞者的任何动作做出响应。通过简单的规则库，能够轻松将舞者的脚部动作映射为音频响应。 ### 3.2 传感器堆栈架构 为了进一步探索密集无线传感的应用，作者的团队开发了一种可适应的堆叠架构，并与爱尔兰科克的 NMRC 实验室合作，将电子设备缩小到亚厘米级体积。传感器堆栈的每一层都专门用于特定类型的传感： - **惯性层**：在平面电路板上配备完整的 6 轴惯性测量单元（IMU），并包括用于高效唤醒的被动倾斜开关。 - **触觉板**：支持大量压电和压阻式压力及弯曲传感器。 - **环境板**：配备各种光电和热释电传感器、紧凑型麦克风和小型手机摄像头。 ### 3.3 电源管理与“昏昏欲睡唤醒”框架 尽管多传感器平台能够通过多种测量方式提供丰富的现象描述，但为了延长电池寿命，传感器不能持续供电，大部分时间需要处于睡眠或关闭状态。为此，作者的团队开发了一种名为“昏昏欲睡唤醒”的自动化框架。通过将分析暴露于待检测的特定现象的标记数据和一般背景数据，该框架可以演化出一系列节能的分层状态，每个状态只需要最少数量的激活传感器和计算特征，从而在遇到适当刺激时使系统完全唤醒，实现资源的合理利用和目标状态的低功耗检测。 ### 3.4 其他无线传感器节点 - **用于交互式舞蹈和运动捕捉的节点**：作者的团队最近部署了一种可穿戴传感器节点，有适用于交互式舞蹈合奏和运动医学高速运动捕捉的版本。这些紧凑的节点（大小如大型手表）具有完整的 6 轴惯性传感功能，舞蹈版本还配备电容传感器，可确定节点对之间的距离；运动版本则具有高低 G 加