Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

我们使用两个公共数据集用于训练语音合成网络和声码器网络。 1、VCTK包含44小时得语音，来自于109个发言者，主要是英国方言。 我们把该样本降采样到24khz，修剪掉前后无声区，并且将其分成三个子集：训练集，验证集（包含和训练集相同得发言者），测试集（含有11个来自训练和验证集得发言者） 2、LibriSpeech由两个清洗过得训练集融合组成，包括1172名发言人的436小时演讲，采样于1...

阅读理解：Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis前言二级目录三级目录 前言 现在银行打来的电话，还有很多骚扰电话已经完全用自动语音服务来实现了，此处回顾一下语音服务的三大技术基础：TTS、ASR、SI/SV。伴随着DL技术的广泛应用，现在自动对话系统的体验越来越好，三项技术在DL引擎的驱动下，日新月异的发展，未来你通过电话想知道对方是不是人会很难的（现在银行打来的自动语音电话已经

0. 说明 VCTK 只有 40 个小时, 不够用. 所以需要读一下 LibriTTS

(1)文中出现[xxx]表示原文引用的文献序号 (2)大多数是使用Transform模型机器翻译的，本人感觉自己的经验读了一遍以后，进行了一些修改，如果有问题可以一起讨论We describe a neural network-based system for text-to-speech (TTS) synthesis that is able to generate speech audio in the voice of different speakers, including those unse

原文链接 目录从说话人验证到多说话人文本到语音合成的迁移学习概述SV2TTS旨在解决的任务 从说话人验证到多说话人文本到语音合成的迁移学习 概述 我们的实时语音克隆方法主要基于 SV2TTS 。它描述了一个零样本语音克隆框架，只需要 5 秒的参考语音。这篇论文只是谷歌撰写的 Tacotron 系列的众多出版物之一。有趣的是，SV2TTS 论文本身并没有带来太多创新，而是基于谷歌的三个主要早期工作：GE2E loss、Tacotron 和 WaveNet 。完整的框架是一个三阶段的流水线，其中的步骤对应于之前

《Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis》论文学习 文章目录《Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis》论文学习  摘要  1 介绍  2 多说话人语音合成模型    2.1 说话人编码器  &

开发了一种基于神经网络的系统，用于将文本转化为语音（TTS），并且可以以不同说话者的声音进行语音合成。这包括那些在训练时没有出现过的说话者。该系统由三个独立训练的部分组成：（1）：它被训练用于判定说话者是否一致，通过使用一组来自成千上万说话者的嘈杂语音但没有文本记录的数据，从目标说话者仅几秒的参考语音中生成一个固定维度的嵌入向量。（2）：这是基于Tacotron 2的系统，它将文本转换成mel频谱图，这个转换过程还受到说话者嵌入的影响。（3）：这一部分将mel频谱图转换成时域的波形样本，最终生成语音。

我们描述了一个基于神经网络的文本到语音(TTS)合成系统，它能够以不同说话者的声音生成语音，包括那些在训练期间看不见的声音。我们的系统由三个独立训练的组件组成： 说话人编码器网络(提取说话人特征)，使用独立的噪声语音数据集进行说话人验证任务的训练，从来自目标说话人几秒钟的参考语音中 生成固定维度的 嵌入向量(说话人语音特征)； 基于Tacotron 2的序列到序列合成网络，其基于说话者嵌入从文本生成mel谱图； 基于自回归waveNet的声码器网络，其将mel频谱图转换成时域波形。 　　我们证明了所提出的

代码地址：https://github.com/babysor/MockingBird 模型地址：链接：https://pan.baidu.com/s/1J2fjbpGiyRUrWi5g8pCjFg 提取码：2222 模型下载好，自己创建一下saved_models文件，然后将模型放进该文件夹中，最后再运行demo_toolbox.py就行了，非常简单。 本论文实现的主要任务就是学习某人的声音特性，并将这样的声音特性与文本内容进行结合，达到对于声音能够以假乱真的程度（通过下载模型dem..

0. 说明 跑通他:https://github.com/CorentinJ/Real-Time-Voice-Cloning git clonehttps://github.com/CorentinJ/Real-Time-Voice-Cloning.git cdReal-Time-Voice-Cloning/ 1. 环境 环境名字为: voiceclone_p36 conda create -n voiceclone_p36 python=3.6.5 conda activate ...