用于音乐表演的嘈杂生物信号分析

### 用于音乐表演的嘈杂生物信号分析 #### 1. 引言 如今，生物信号传感器变得小巧、价格亲民且支持无线连接。人们期望在现场音乐表演中引入这类传感器（如心率、呼吸、加速度传感器），这对数据的可靠性和可变性提出了要求。然而，这些设备输出的原始信号难以满足这些要求。为克服这些传感器的不足，我们提供了两方面的解决方案。一是在线数据处理与分析系统，包含描述信号并增强一致性的在线生成模型；二是端到端系统，用于捕获无线信号数据供分析系统使用，并将分析结果以灵活方式集成到流行的数字音频工作站中，以适应现场表演。此外，我们还探讨了“分析监督员”的角色，这是表演团队中的一员，负责确保生物信号分析结果处于期望范围内，以有效为音乐增色。 我们面临两个技术挑战。一方面，传感器提供的测量数据嘈杂且不可靠，无法直接用于音乐表演。例如，用嘈杂的心电图（ECG）信号中的心跳标记直接触发音符是不可行的，因为缺失或虚假的心跳会打乱节奏。另一方面，生物数据在时间和幅度上具有高度可变性，将生物信号融入音乐创作可能需要对数据进行处理。为便于现场表演，我们需要在线解决方案来应对这两个挑战。 我们的贡献主要有两点。一是提出生物信号分析方法，将不规则生物信号的嘈杂测量结果转化为适合音乐使用的一致且不间断的输出；二是提供将分析结果集成到现场音乐表演中的实际实现方案。 我们构建的分析系统需满足以下要求： - 对音乐家具有可用性，输出范围应足够广泛以富有表现力，面对嘈杂生物信号时应具有鲁棒性，其工作机制应易于学习，有清晰的操作心智模型。 - 便于音乐创作，表演者能忠实传达作曲家的意图。在电子音乐中，人们常直接将生理信号用作音频发生器，即直接将信号转化为合成音频或触发样本，在这种框架下很难有目的地传达意图。我们区分了生物信号的直接声化和将其集成到音乐表演中的不同。若在高保真表达生物信号和高保真实现作曲家意图之间产生冲突，我们倾向于后者。 - 生物信号测量应为音乐表演做出贡献，而非主导表演。我们使信号分析的输出具有可调节性，并设想由团队中的“分析监督员”仔细监控并在必要时调整生理数据，以符合作品的期望表达。例如，由于表演时的兴奋，信号幅度可能高于预期，需要进行缩放以使其处于调制参数（如合成器截止频率）所需的范围内。 网上有一个展示我们方法的单人表演视频，视频展示了如何用生物信号测量控制合成器。 #### 2. 背景 自 20 世纪 40 年代爱丁堡大学发明脑电发声器以来，利用生理信号生成音频和音乐就成为了研究课题。脑电发声器能从测量的脑电图（EEG）信号中生成音频。此后，众多艺术家将脑电波应用于音乐创作。例如，克日什托夫·潘德列茨基（Krzysztof Penderecki）的《多态性》（Polymorphia，1963）使用了从患者聆听他的《广岛受难者挽歌》（Threnody for the Victims of Hiroshima，1961）录音时的 EEG 数据得出的音高记谱。 阿尔文·卢西尔（Alvin Lucier）的《为独奏者而作的音乐》（Music for Solo Performer，1965）被认为是首个使用实时生物信号的音乐表演，其中 EEG 通过共振触发打击乐器。理查德·泰特尔鲍姆（Richard Teitelbaum）的《协调与管风琴音乐》（In Tune and Organ Music，1967/1968）使用了 EEG、ECG 和呼吸测量。曼福德·L·伊顿（Manford L. Eaton）的生物音乐研究启发了埃尔基·库伦涅米（Erkki Kurenniemi）在 20 世纪 70 年代初基于皮肤电反应（GSR）和 EEG 构建乐器。1973 年，皮埃尔·亨利（Pierre Henry）表演了基于 EEG 的作品《皮质艺术 III》（Cortical Art III）。大卫·罗森布鲁姆（David Rosenboom）在《脑波音乐》（Brainwave M