基于Pytorch框架实现的端到端语音合成系统_VITS模型_支持普通话和粤语多说话人_包含BZNSYP和粤语数据集_提供预训练...

简体中文 | [English]() # 基于Pytorch实现的语音合成系统      # 前言 本项目是基于Pytorch的语音合成项目，使用的是VITS，VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）是一种语音合成方法，这种时端到端的模型使用起来非常简单，不需要文本对齐等太复杂的流程，直接一键训练和生成，大大降低了学习门槛。 **欢迎大家扫码入知识星球或者QQ群讨论，知识星球里面提供项目的模型文件和博主其他相关项目的模型文件，也包括其他一些资源。** <div align="center"> <img src="https://yeyupiaoling.cn/zsxq.png" alt="知识星球" width="400"> <img src="https://yeyupiaoling.cn/qq.png" alt="QQ群" width="400"> </div> # 使用准备 - Anaconda 3 - Python 3.8 - Pytorch 1.13.1 - Windows 10 or Ubuntu 18.04 # 模型下载 | 数据集 | 语言（方言） | 说话人数量 | 说话人名称 | 下载地址 | |:--------------------------------------------------------:|:------:|:-----:|:-------------------:|:----------------------------------------------------------------:| | [BZNSYP](https://aistudio.baidu.com/datasetdetail/36741) | 普通话 | 1 | 标准女声 | [点击下载](https://pan.baidu.com/s/1l-Sz6017Ie6hsk5dcKyMCg?pwd=x1pw) | | 粤语数据集 | 粤语 | 10 | 男声1<br/>女生1<br/>··· | [点击下载](https://pan.baidu.com/s/1l-Sz6017Ie6hsk5dcKyMCg?pwd=x1pw) | ## 安装环境 - 首先安装的是Pytorch的GPU版本，如果已经安装过了，请跳过。 ```shell conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia ``` - 安装mvits库。 使用pip安装，命令如下： ```shell python -m pip install mvits -U -i https://pypi.tuna.tsinghua.edu.cn/simple ``` **建议源码安装**，源码安装能保证使用最新代码。 ```shell git clone https://github.com/yeyupiaoling/VITS-Pytorch.git cd VITS-Pytorch/ pip install . ``` ## 准备数据 项目支持直接生成[BZNSYP](https://aistudio.baidu.com/datasetdetail/36741)和[AiShell3](https://aistudio.baidu.com/datasetdetail/207703)数据列表，以BZNSYP为例，将BZNSYP下载到`dataset`目录下，并解压。然后执行`create_list.py`程序就会生成以下格式的数据表，格式为`<音频路径>|<说话人名称>|<标注数据>`，注意标注数据需要标注语言，例如普通话，就要用`[ZH]`将文本包裹起来，其他语言分别支持日本語:`[JA]`, English:[EN], 한국어:[KO]。自定义数据集按照这个格式生成就行。 项目提供两种文本处理方式，不同的文本处理方式，支持不同的语言，分别是`cjke_cleaners2`和`chinese_dialect_cleaners`，这个配置在`dataset_conf.text_cleaner`上修改。`cjke_cleaners2`支持语言`{"普通话": "[ZH]", "日本語": "[JA]", "English": "[EN]", "한국어": "[KO]"}`，`chinese_dialect_cleaners`支持语言`{"普通话": "[ZH]", "日本語": "[JA]", "English": "[EN]", "粤语": "[GD]", "上海话": "[SH]", "苏州话": "[SZ]", "无锡话": "[WX]", "常州话": "[CZ]", "杭州话": "[HZ]", ·····}`，更多的语言可以查看源码[LANGUAGE_MARKS](./mvits/__init__.py)。 ``` dataset/BZNSYP/Wave/000001.wav|标准女声|[ZH]卡尔普陪外孙玩滑梯。[ZH] dataset/BZNSYP/Wave/000002.wav|标准女声|[ZH]假语村言别再拥抱我。[ZH] dataset/BZNSYP/Wave/000003.wav|标准女声|[ZH]宝马配挂跛骡鞍，貂蝉怨枕董翁榻。[ZH] ``` 有了数据列表之后，需要生成音素数据列表，只要执行`preprocess_data.py --train_data_list=dataset/bznsyp.txt`，即可生成音素数据列表。到这一步数据就全部准备好了。 ``` dataset/BZNSYP/Wave/000001.wav|0|kʰa↓↑əɹ`↓↑pʰu↓↑ pʰeɪ↑ waɪ↓swən→ wan↑ xwa↑tʰi→. dataset/BZNSYP/Wave/000002.wav|0|tʃ⁼ja↓↑ɥ↓↑ tsʰwən→jɛn↑p⁼iɛ↑ ts⁼aɪ↓ jʊŋ→p⁼ɑʊ↓ wo↓↑. dataset/BZNSYP/Wave/000003.wav|0|p⁼ɑʊ↓↑ma↓↑ pʰeɪ↓k⁼wa↓ p⁼wo↓↑ lwo↑an→, t⁼iɑʊ→ts`ʰan↑ ɥæn↓ ts`⁼ən↓↑ t⁼ʊŋ↓↑ʊŋ→ tʰa↓. ``` ## 训练 现在就可以开始训练模型了，配置文件里面的参数一般不需要修改，说话人数量和说话人名称都会在执行`preprocess_data.py`修改过。可能需要修改的只有`train.batch_size`，如果是显存不够的话，可以减小这个参数。 ```shell # 单卡训练 CUDA_VISIBLE_DEVICES=0 python train.py # 多卡训练 CUDA_VISIBLE_DEVICES=0,1 torchrun --standalone --nnodes=1 --nproc_per_node=2 train.py ``` 训练输出日志： ``` [2023-08-28 21:04:42.274452 INFO ] utils:print_arguments:123 - ----------- 额外配置参数 ----------- [2023-08-28 21:04:42.274540 INFO ] utils:print_arguments:125 - config: configs/config.yml [2023-08-28 21:04:42.274580 INFO ] utils:print_arguments:125 - epochs: 10000 [2023-08-28 21:04:42.274658 INFO ] utils:print_arguments:125 - model_dir: models [2023-08-28 21:04:42.274702 INFO ] utils:print_arguments:125 - pretrained_model: None [2023-08-28 21:04:42.274746 INFO ] utils:print_arguments:125 - resume_model: None [2023-08-28 21:04:42.274788 INFO ] utils:print_arguments:126 - ------------------------------------------------ [2023-08-28 21:04:42.727728 INFO ] utils:print_arguments:128 - ----------- 配置文件参数 ----------- [2023-08-28 21:04:42.727836 INFO ] utils:print_arguments:131 - dataset_conf: [2023-08-28 21:04:42.727909 INFO ] utils:print_arguments:138 - add_blank: True [2023-08-28 21:04:42.727975 INFO ] utils:print_arguments:138 - batch_size: 16 [2023-08-28 21:04:42.728037 INFO ] utils:print_arguments:138 - cleaned_text: True [2023-08-28 21:04:42.728097 INFO ] utils:print_arguments:138 - eval_sum: 2 [2023-08-28 21:04:42.728157 INFO ] utils:print_arguments:138 - filter_length: 1024 [2023-08-28 21:04:42.728204 INFO ] utils:print_arguments:138 - hop_length: 256 [2023-08-28 21:04:42.728235 INFO ] utils:print_arguments:138 - max_wav_value: 32768.0 [2023-08-28 21:04:42.728266 INFO ] utils:print_arguments:138 - mel_fmax: None [2023-08-28 21:04:42.728298 INFO ] utils:print_arguments:138 - mel_fmin: 0.0 [2023-08-28 21:04:42.728328 INFO ] utils:print_arguments:138 - n_mel_channels: 80 [2023-08-28 21:04:42.728359 INFO ] utils:print_arguments:138 - num_workers: 4 [2023-08-28 21:04:42.728388 INFO ] utils:print_arguments:138 - sampling_rate: 22050 [2023-08-28 21:04:42.728418 INFO ] utils:print_arguments:138 - speakers_file: dataset/speakers.json [2023-08-28 21:04:42.728448 INFO ] utils:print_arguments:138 - text_cleaner: cjke_cleaners2 [2023-08-28 21:04:42.728483 INFO ] utils:print_arguments:138 - training_file: dataset/train.txt [2023-08-28 21:04:42.728539 INFO ] utils:print_arguments:138 - validation_file: dataset/val.txt [2023-08-28 21:04:42.728585 INFO ] utils:print_arguments:138 - win_length: 1024 [2023-08-28 21:04:42.728615 INFO ] utils:print_arguments:131 - model: [2023-08-28 21:04:42.728648 INFO ] utils:print_arguments:138 - filter_channels: 768 [2023-08-28 21:04:42.728685 INFO ] utils:print_arguments:138 - gin_channels: 256 [2023-08-28 21:04:42.728717 INFO ] utils:print_arguments:138 - hidden_channels: 192 [2023-08-28 21:04:42.728