Interspeech 2018_ Tutorial E2E Speech Recognition.pdf

端到端语音识别（End-to-End ASR）是一种将输入的语音信号直接映射到最终的输出文本的语音识别系统。与传统的自动语音识别（ASR）流程不同，传统的ASR包括单独训练的声学模型、发音模型和语言模型，而端到端ASR则致力于创建一个单一的模型来执行语音识别的全过程，优化的目标是与最终评估指标（如字错误率）相关的标准。 在传统ASR流程中，声学模型（Acoustic Model）负责将输入的语音特征映射到音素序列，而发音模型（Pronunciation Model）则将音素序列转换为单词。这些模型通常需要专家知识来定制语言的特定音素集，并且耗时耗力。在语言模型（Language Model）训练中，文本数据通过图形生成和决策树聚类的流程，生成发音词典。 端到端ASR的目标是简化这一流程，使系统能够直接从音频信号映射到单词序列，无需中间的音素和语言模型。这种系统通常采用端到端的序列到序列（Sequence-to-Sequence）识别器和语言模型，可能包含一个解码器（ Decoder），用于将声学特征转换为文字输出。在训练过程中，模型经过优化，以达到与最终评估标准相关的目标，如降低字错误率。 论文中提到了Google Brain团队在端到端语音识别领域的贡献者们。这是一份由Rohit Prabhavalkar和Tara N. Sainath于2018年9月2日提交的文献资料。除了感谢Google Brain团队外，文章还感谢了多位研究人员和开发者的贡献，这包括了该领域内多位知名的专业人士，如William Chan、Jan Chorowski、Chung-Cheng Chiu、Zhifeng Chen等人。 端到端语音识别的动机在于简化模型训练和推理过程，减少对专家知识的需求，并且可能提高系统的整体性能。此外，它也使得在不同语言或新领域的语音识别模型开发变得更加容易，因为不再需要为每种语言准备专门的发音词典和音素集。 在典型语音系统中，端到端训练的ASR系统由声学模型、发音模型、语言模型和第二个通道的重打分（2nd-Pass Rescoring）组成。这种训练方法让模型在预测时直接以单词序列作为输入，进行优化，以达到最终的评估标准。这与传统的多阶段训练方法有着根本的不同，它展示了语音识别领域的一个重大进步。 端到端ASR系统的研究和应用正在迅速发展，它推动了语音识别技术向着更加直接、高效和准确的方向发展。通过端到端的方法，可以期望语音识别系统变得更加通用和灵活，适应各种不同的应用场景和需求。 -------