基于深度神经网络的咝音辅音分类研究

### 基于深度神经网络的咝音辅音分类研究 #### 1. 咝音辅音训练游戏 为了激励儿童进行咝音练习并使其重复练习，设计了一款针对5 - 9岁儿童的咝音训练游戏。该游戏的主要玩法是让儿童通过发出四种欧洲葡萄牙语（EP）咝音辅音来控制主角向目标移动，游戏会实时处理儿童的语音发音，主角会根据儿童是否正确发出咝音辅音而向目标移动，以此给予儿童关于发音的实时视觉反馈。 游戏为每种咝音辅音设计了不同的场景和主角： | 咝音辅音 | 场景主角 | 对应EP单词 | | ---- | ---- | ---- | | [z] | 大黄蜂 | zang˜ao | | [s] | 蛇 | serpente | | [Z] | 瓢虫 | joaninha | | [S] | 男孩 | chuva | #### 2. 数据收集与表示 - **数据收集**：在大里斯本地区的三所学校收集了145名4 - 11岁儿童的咝音发音，其中女孩83名，男孩62名。记录了四种EP咝音辅音的短版本（持续不到几秒）和长版本（持续几秒），总共超过1500个发音样本，并对这些样本进行手动标注，使用正确的发音来训练模型。 | 年龄 | 女孩 | 男孩 | 总数 | | ---- | ---- | ---- | ---- | | 4 | 0 | 1 | 1 | | 5 | 8 | 3 | 11 | | 6 | 8 | 8 | 16 | | 7 | 19 | 9 | 28 | | 8 | 21 | 20 | 41 | | 9 | 23 | 19 | 42 | | 10 | 3 | 2 | 5 | | 11 | 1 | 0 | 1 | | 总数 | 83 | 62 | 145 | | 咝音辅音 | 正确发音数量 | | ---- | ---- | | S | 276 | | Z | 257 | | s | 278 | | z | 264 | - **数据表示**： - **MFCC特征**：使用25ms窗口和10ms的偏移来提取MFCC特征，提取前13个MFCC系数，每个发音由一个13×t的矩阵表示，其中t取决于发音的持续时间，矩阵的每列向量包含一个25ms窗口的13个MFCC系数。 - **log Mel滤波器组特征**：使用前40个滤波器来表示数据，窗口和偏移大小分别保持为25ms和10ms。 #### 3. 咝音辅音分类模型 - **简单前馈AN