对话场景中的多模态说话人识别

### 对话场景中的多模态说话人识别 #### 1. 数据采集 知识数据库是一个复杂的数据结构，包含了 30 个男女受试者的语音和视觉特征。每个说话人的语音被建模为高斯混合密度（GMM）。模型使用特定词性集合的前 18 个梅尔频率倒谱系数（MFCC）进行训练，这些词性由英语音素的非常短的单词发音组成（一个单词包含一个音素，如 put、pet、do 等）。这种特定的发音方式允许为每个说话人仅收集一小部分语音样本（每个音素两到三个示例），而不是整个对话。实验证明，对短单词的处理性能更好，特别是当系统实时工作且需要通过短观察序列识别活跃说话人时。 第 i 个说话人发出的第 j 个音素由音频信号的一维向量描述，其相对的 MFCC 由每个发音的 18 维矩阵 \(S_{i}^{j}\) 表示。给定音素数量 \(N_f\)（这里为 44）和采样的语音数量 \(R\)，\(S_i = [S_{i}^{1} S_{i}^{2} ... S_{i}^{j} ... S_{i}^{N_f}]\)（其中 \(i = 1, ..., R\) 且 \(j = 1, ..., N_f\)）表示说话人 i 的完整特征矩阵。 面部外观特征编码在两个系数矩阵中。两个矩阵的列都对观察值（即人物特征）进行编码。在第一个矩阵中，行对特征脸的 Karhunen - Loève 系数向量进行编码；在第二个矩阵中，行对每个区间的非参数二维面部颜色密度值进行编码。 采集过程持续执行以下任务： 1. 在帧流的视野范围内跟踪人员，根据语音分析确定的角度 \(\theta\) 调整焦点，将当前说话人纳入视野。 2. 根据当前视野内的人员数量和语音分析返回的当前说话人假设，提取基于外观的特征。 3. 收集视觉和语音描述符，以用于多人识别过程。 “视野”（FOV）指的是使用相机镜头可以观察到的场景的宽度和高度。由于音频设置仅允许水平方向的说话人定位，设相机焦距为 \(f\)，图像宽度为 \(w\)，当前估计的语音源为 \(\theta\)，则视野指的是区间 \(FOV = [\theta - \alpha, \theta + \alpha]\)，其中 \(\alpha = \tan^{-1}(w / 2f)\)。 以下是数据采集流程的 mermaid 流程图： ```mermaid graph TD; A[开始] --> B[跟踪人员]; B --> C[提取外观特征]; C --> D[收集描述符]; D --> E[结束]; ``` #### 2. 声学场景建模 此部分介绍了定位活跃说话人并估计对话期间记录的说话人特征相对于所创建模型的可能性的方法。结果是一个语音可能性的有序序列，该序列与下一节描述的视觉特征进行适当组合，以生成用于识别场景中说话人的数据集。 采用基于到达时间延迟和互相关测量的实时算法，每 200 毫秒计算一次声源与机器人在水平面上的角度 \(\theta\)。 每个说话人的语音 \(i\) 被建模为 GMM \(\lambda_i\)。由于每个语音特征集 \(i\) 对应一个混合模型，因此也用相应的语音模型 \(\lambda_i\) 表示说话人。GMM 常用于此类任务，因为它能够描述与语音事件（如元音、鼻音或摩擦音）相关的声学类别的大量样本分布。 为了获得模型，在 25 次实验后，提取高达 18 阶的 MFCC，以在复杂性和鲁棒性之间进行权衡。EM 算法的参数初始化和高斯分量的数量由均值漂移聚类技术提供，得到的分量数量 \(\chi\) 满足 \(7 \leq \chi \leq 15\)。 对于对话期间采集的每个发音 \(x_t\) 及其相关的 MFCC 矩阵 \(A_t\)（由 \(N_A\) 个 18 维系数组成），通过完整特征矩阵和 GMM 获得所有系数分量 \(x_{t}^{j}\)（\(j = 1, ..., N_A\)）的概率 \(p(x_{t}^{j} | S_i)\)。因此，期望为： \[E(\lambda_i|A_t, S_i) = \sum_{k = 1}^{N_{A_t}} p(\lambda_i|x_{t}^{k}, S_i) p(x_{t}^{k} | S_i)\] 为防止机器人转头跟随环境中的噪音或随机声音，训练了一个基于支持向量机（SVM）的线性分类器，用于区分语音和非语音帧。考虑接收信号的短期能量和过零率作为 SVM 分类的判别特征。短期能量是帧中样本快速傅里叶变换幅度的平方和，过零率是信号在同一帧内改变符号的次数。用于训练分类器的集合由知识库中每个说话人的 10 个不同语音帧和相同数量的包含静音或背景噪音的帧组成。 语音特征的采集和处理是实时进行的：语音检测和定位过程使用长度为 \(\Delta = 200ms\) 的帧，识别过程使用长度为 \(5\Delta = 1s\) 的帧。具体来说，给定麦克风在时间 \(t\) 采集的信号 \(u(t)\) 以及包含 \(u(t)\) 在时间区间 \((t - \Delta, t)\) 内值的帧 \(u_{\Delta}(t)\)，SVM 分类实现了一个滤波器，提供信号 \(\hat{u}_{\Delta}(t)\)，定义如下： \[\hat{u}_{\Delta}(t) = \begin{cases} u_{\Delta}(t - \Delta) & \text{如果 } u_{\Delta}(t) 不包含人类语音 \\ u_{\Delta}(t) & \text{否则} \end{cases}\] 这个过滤后的帧用于说话人定位和识别。机器人与其对话者之间的角度针对信号 \(\hat{u}_{\Delta}(t)\) 的每个部分进行计算。与采样语音中的某个身份相关联的对话片段由对应于 5 个连续帧 \(\hat{u}_{\Delta}(t)\) 的发音 \(x_t\) 表示。在此基础上，声学场景建模提供了 M 个最可能的说话人列表。列表的第一部分 \(\hat{S}\) 包含与模型 \(\lambda_i\) 相关联的标签，这些标签在给定时间 \(t\) 的发音及其 MFCC 矩阵 \(A_t\) 的情况下，使 \(E(\lambda_i|A_t, S_i)\) 最大化。其他值（在期望范围内）涉及视觉分析指示的人员（如果他们不在 \(\hat{S}\) 中）。 以下是声学场景建模的步骤列表： 1. 每 200 毫秒计算声源与机器人的角度 \(\theta\)。 2. 对每个说话人的语音建模为 GMM \(\lambda_i\)。 3. 提取 MFCC 并计算期望 \(E(\lambda_i|A_t, S_i)\)。 4. 训练 SVM 分类器区分语音和非语音帧。 5. 对语音信号进行过滤处理。 6. 生成最可能的说话人列表。 #### 3. 视觉面部描述符 视觉场景分析从多尺度面部检测器开始。视觉特征提取的核心是通过具有检测和跟踪状态的有限状态机集成检测和跟踪功能。一旦检测到面部，面部区域将被划分为感兴趣区域，在这些区域上扫描不同的检测器以定位眼睛和嘴巴。如果这些检测在多个不同帧上都成功，则计算过程进入跟踪状态，在该状态下，眼睛和嘴巴检测器将在由基于均值漂移的面部跟踪器根据前一帧计算出的预测面部区域上进行扫描。 预处理包括对面部图像进行均衡化、对齐和分割。对于对齐，依赖于眼睛和嘴巴的位置：假设所有面部都是正面检测的，对图像进行旋转和缩放，以补偿眼睛形成的角度 \(\gamma\)。设计算出的眼睛之间的距离为 \(d\)，\(\sigma = \bar{d} / d\) 是获得期望距离 \(\bar{d}\) 所需的缩放因子，\((x_c, y_c)\) 是眼睛和嘴巴的质心，\(a = \sigma \cos \gamma\) 且 \(b = \sigma \sin \gamma\)。将原始图像映射到变换后图像的变换 \(H\) 由 2×3 矩阵表示： \[H = \begin{bmatrix} a & b & (1 - a)x_c - by_c \\ -b & a & bx_c + (1 - a)y_c \end{bmatrix}\] 以 \((x_c, y_c)\) 为中心的固定大小感兴趣区域用于从变换后的图像中提取对齐的面部图像。为场景中每个检测到的面部定义了三种视觉描述符： 1. 基于嘴巴运动的受试者当前正在说话的概率。 2. 强度图像的压缩表示。 3. 非参数颜色分布。 为了评估嘴巴是否在清晰发音所需的像素变化量，定义了一个二进制掩码 \(M_B\)，通过对后续时间步的帧差异进行阈值处理得到。每个像素被视为表示检测到的变化的二进制随机变量 \(x\) 的独立同分布观察值。假设掩码内的二进制变量服从二项分布，使用由超参数 \(\alpha\) 和 \(\beta\) 表征的 Beta 先验分布来估计参数 \(\mu\)。\(\mu\) 参数考虑了所有像素集中发生变化的像素数量的影响，而两个二项比例 \(\alpha\) 和 \(\beta\) 根据似乎发生变化的有效样本数量来增强或减弱变化量。对于本实现，最佳值为 \(\alpha > 0.7\) 且 \(\beta < 0.2\)。设 \(N_B\) 为观察值的大小，\(\rho\) 为掩码设置为 1 的像素数量（即发生变化的像素）。观察值来自嘴巴显著移动（如清晰发音、微笑或打哈欠）的窗口的可能性定义为： \[\sum_{x \in M_b} p(x|\mu_B, N_B - \rho + \beta, \rho + \alpha)\mu\] 需要注意的是，\(\mu\) 从每个检测到的 \(M_B\) 中重新估计，因此 \(\mu\) 强调了最可能由嘴巴活动诱导的模型。在任何情况下，\(M_B\) 都是从具有最佳期望的那些中选择的，同时也根据所选的语音模型进行选择。 Karhunen - Loève（KL）系数提供了有效的压缩，适合对先前对齐的正面面部进行编码。通过将 D 维面部数据投影到由 \(D'\) 个主方向张成的 \(D'\) 维子空间来实现压缩。设 \(c_i\) 是表示第 i 个受试者视觉特征的 \(D'\) 维 KL 系数列向量，通过计算系数马氏距离 \(d_M(c_i, c_j) = (c_i^{\top} \Lambda^{-1} c_j)^{1/2}\) 来测量面部强度图像中 i 和 j 之间的相似度，其中 \(\Lambda\) 是对角矩阵，其特征值对应于每个 KL 系数。 颜色空间中的相似度基于面部颜色特征的非参数密度之间的 Bhattacharyya 距离。具体来说，给定由面部颜色特征的区间值向量 \(h_j\)（\(j = 1, ..., R\)）指定的两个直方图，Bhattacharyya 距离定义为 \(d_B(h_i, h_j) = (1 - (\tilde{h}_i^{\top} \Omega^{-1} \tilde{h}_j))^{1/2}\)，其中 \(\tilde{h}\) 是通过对 \(\tilde{h}\) 的每个元素计算平方根得到的向量，\(\Omega\) 是包含归一化系数的对角矩阵，使得 \(0 \leq d_B \leq 1\)。这些颜色描述符虽然对脸部光照条件的变化不鲁棒，但可以补偿由于分辨率低或头部方向变化导致的形状线索的退化。 以下是视觉面部描述符处理流程的 mermaid 流程图： ```mermaid graph TD; A[开始] --> B[多尺度面部检测]; B --> C[面部区域划分]; C --> D[眼睛和嘴巴检测]; D --> E{检测成功?}; E -- 是 --> F[进入跟踪状态]; E -- 否 --> D; F --> G[预处理]; G --> H[定义视觉描述符]; H --> I[结束]; ``` #### 4. 发现人员身份 此部分讨论了如何基于提取的多模态特征推断当前说话人的身份。在时间间隔 \(t : t + 1s\) 内收集数据，并为每个间隔计算描述符。每个时间间隔定义为一次试验；每次试验形成一个特殊的数据结构，因为描述符是从不同的样本空间生成的。 语音描述符根据 MFCC 代码计算概率，因此返回 A、B、C 等说话的可能性。如果数据库中存储了两个语音非常相似的人的 MFCC（例如 A 和 Z），即使 Z 不在房间里，每次 A 说话时，语音估计器也很有可能为 Z 返回高可能性。嘴唇描述符会指出场景中谁在动嘴唇，因此这个特征需要与语音和面部特征结合起来才能确定说话人。毕竟，人们也可能因为大笑或打哈欠而动嘴。最后，两个归一化距离可以指出在当前试验中谁可能在相机视野内，但不能指出谁在说话。 试验名义上包括知识库中列举的所有人员。选择的标签是具有最佳分类的描述符集合的并集。需要注意的是，如果 B 因为在标记为 \(Q_2\) 的区域上的距离特征分类良好而在集合中，这并不意味着它在语音或其他区域 \(Q_j\)（\(j \neq 2\)）上也会有良好的分类。这就是为什么我们取集合的并集而不是交集（交集可能为空集）。同时，距离是在整个数据集上进行归一化的，而不是相对于所选的数据集。 使用回归来根据一次试验找到正确的行。具体来说，使用半参数回归模型。该模型将估计参数 \(\beta = (\beta_1, \beta_2)\) 和一个函数 \(g\)，当应用于一次试验时，该函数将返回最有可能指示当前说话人的行。然而，为了估计这些参数，需要进行一个训练阶段。使用知识库中的语音和图像，并适当地添加误差以模拟环境影响，定义了一组 925 个模拟试验，其中 427 个用于训练，其余用于测试。 给定描述符 \(X_1, ..., X_4\)，用于推断对应说话人的行的半参数回归模型定义为： \[E(Y|U_T) = P(Y = 1 | U, T) + \epsilon = f(X_2\beta_1 + X_3\beta_2 + g(X_1, X_4))\] 其中 \(f\) 是标准逻辑分布 \(f(z) = (\exp(z) / (1 + \exp(z)))\)，\(U = (X_2, X_3)^{\top}\)，\(T = (X_1, X_4)^{\top}\)，\(\beta\) 和 \(g\) 是需要估计的参数和函数。注意，将归一化距离 \(U = (X_2, X_3)\) 分组在一侧，以便估计参数 \(\beta_1\) 和 \(\beta_2\)，而将两个概率 \(T = (X_1, X_4)\) 分组在另一侧。与其他回归模型不同，一般非参数回归模型（5）最适合捕捉描述符的线性和非线性特征的组合。 估计说话人身份的步骤如下： 1. 分析预测器性能，证明它们对 \(Y\) 的影响。使用 925 个模拟试验中的 427 个训练集估计 \(\beta\) 和未知函数 \(g\)，并使用其余 498 个试验对 \(g\) 和 \(\beta\) 进行验证，针对相机视野内所有可能的 \(Q_i\)（\(i = 1, ..., m\)，在本案例中 \(m = 2, 3, 4, 5\)）。 2. 根据当前观察值和当前试验维度（即 \(m^2 \times 5\)，其中 \(m\) 是相机视野内识别出的区域数量 \(Q_i\)，\(i = 1, ..., m\)），实时预测说话人身份，考虑整个数据集。 3. 在一段预热期后，识别过程收敛。可以使用每个识别出的说话人的特征期望来跟踪对话。 以下是发现人员身份的流程表格： |步骤|描述| |----|----| |1|收集多模态数据并计算描述符| |2|选择描述符集合的并集作为标签| |3|进行训练阶段，定义模拟试验| |4|建立半参数回归模型| |5|估计模型参数 \(\beta\) 和函数 \(g\)| |6|分析预测器性能并验证参数| |7|实时预测说话人身份| |8|收敛识别过程并跟踪对话| ### 对话场景中的多模态说话人识别 #### 5. 性能评估 为了评估多模态说话人识别系统的性能，使用了多种评估指标和方法。 ##### 5.1 评估指标 - **ROC 曲线**：通过绘制不同决策阈值下的真阳性率（TPR）和假阳性率（FPR）来评估系统的性能。真阳性率定义为 \(TPR = TP / (TP + FN)\)，假阳性率定义为 \(FPR = FP / (FP + TN)\)。在 ROC 曲线上，每个点代表一个灵敏度/特异性对，对应于一个特定的决策阈值 \(\hat{Y}\)。例如，如果决策阈值选择为 0.5，则 \(FPR < 0.1\)；如果为 0.9，则 \(FPR = 0.5\)。 - **回归模型评估**：使用半参数回归模型进行说话人身份推断时，通过分析预测器性能来证明它们对 \(Y\) 的影响。同时，使用训练集和测试集来评估模型参数 \(\beta\) 和函数 \(g\) 的估计效果。 ##### 5.2 评估方法 - **模拟试验**：定义了一组 925 个模拟试验，其中 427 个用于训练，其余用于测试。在模拟试验中，使用知识库中的语音和图像，并适当地添加误差以模拟环境影响。 - **实际场景测试**：在实际对话场景中进行测试，观察系统在不同环境条件下的性能表现。 以下是性能评估指标的表格： |评估指标|定义| |----|----| |真阳性率（TPR）|\(TPR = TP / (TP + FN)\)| |假阳性率（FPR）|\(FPR = FP / (FP + TN)\)| #### 6. 系统优势与挑战 ##### 6.1 系统优势 - **多模态融合**：结合了语音和视觉特征，提高了说话人识别的准确性和鲁棒性。例如，语音描述符可以提供说话人的语音特征信息，而视觉描述符可以提供面部特征和嘴巴运动信息，两者结合可以更准确地确定说话人身份。 - **实时处理**：语音特征的采集和处理是实时进行的，能够在短时间内给出说话人识别结果，适用于实时对话场景。 - **适应性强**：通过半参数回归模型和训练阶段的设置，系统能够适应不同的环境条件和说话人特征，具有较好的泛化能力。 ##### 6.2 系统挑战 - **环境干扰**：环境中的噪音、光照变化等因素可能会影响语音和视觉特征的提取和识别，降低系统的性能。例如，背景噪音可能会干扰语音检测和定位，光照变化可能会影响面部特征的提取。 - **特征匹配问题**：如果数据库中存储了语音或面部特征非常相似的人的信息，可能会导致识别错误。例如，当两个人的语音非常相似时，语音估计器可能会为非说话人返回高可能性。 - **计算复杂度**：多模态特征的提取和处理需要较高的计算资源，特别是在实时处理的情况下，可能会面临计算压力。 以下是系统优势和挑战的列表： - **优势**： - 多模态融合 - 实时处理 - 适应性强 - **挑战**： - 环境干扰 - 特征匹配问题 - 计算复杂度 #### 7. 未来发展方向 为了进一步提高多模态说话人识别系统的性能，可以从以下几个方面进行改进： ##### 7.1 特征提取优化 - **更高级的特征提取算法**：研究和应用更高级的语音和视觉特征提取算法，以提高特征的质量和区分度。例如，使用深度学习算法提取更具代表性的语音和视觉特征。 - **多模态特征融合方法**：探索更有效的多模态特征融合方法，以充分发挥语音和视觉特征的优势，提高识别准确性。 ##### 7.2 环境适应性增强 - **抗干扰技术**：研究和应用抗干扰技术，如噪音抑制、光照补偿等，以减少环境因素对系统性能的影响。 - **自适应模型**：开发自适应模型，使系统能够根据环境变化自动调整参数和策略，提高系统的鲁棒性。 ##### 7.3 计算效率提升 - **硬件优化**：采用更高效的硬件设备，如 GPU 加速计算，以提高系统的计算效率。 - **算法优化**：对特征提取和识别算法进行优化，减少计算复杂度，提高实时处理能力。 以下是未来发展方向的 mermaid 流程图： ```mermaid graph LR; A[特征提取优化] --> B[更高级的特征提取算法]; A --> C[多模态特征融合方法]; D[环境适应性增强] --> E[抗干扰技术]; D --> F[自适应模型]; G[计算效率提升] --> H[硬件优化]; G --> I[算法优化]; ``` #### 8. 总结 多模态说话人识别系统在对话场景中具有重要的应用价值。通过结合语音和视觉特征，系统能够更准确地识别说话人身份。在数据采集阶段，收集了语音和视觉特征，并进行了相应的处理和建模。声学场景建模和视觉面部描述符的提取为说话人识别提供了重要的信息。通过半参数回归模型和训练阶段，能够推断出当前说话人的身份。 然而，系统也面临着一些挑战，如环境干扰、特征匹配问题和计算复杂度等。为了克服这些挑战，未来可以从特征提取优化、环境适应性增强和计算效率提升等方面进行改进。通过不断的研究和发展，多模态说话人识别系统将在更多领域得到广泛应用。 以下是整个多模态说话人识别系统的流程总结表格： |阶段|主要任务| |----|----| |数据采集|收集语音和视觉特征，跟踪人员，提取外观特征，确定视野范围| |声学场景建模|定位活跃说话人，估计语音特征可能性，训练 SVM 分类器，过滤语音信号| |视觉面部描述符|检测和跟踪面部特征，预处理面部图像，定义视觉描述符| |发现人员身份|基于多模态特征推断说话人身份，使用半参数回归模型，进行训练和测试| |性能评估|使用 ROC 曲线和回归模型评估系统性能| |系统优势与挑战|分析系统的优势和面临的挑战| |未来发展方向|提出特征提取优化、环境适应性增强和计算效率提升等改进方向|