Audio-预训练模型-2019：vq-wav2vec

已于 2024-02-17 00:06:07 修改
阅读量616 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： # Audio/预训练模型 文章标签： 人工智能 机器学习
于 2022-10-28 18:07:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/127576544
vq-wav2vec是基于wav2vec的自我监督学习方法，它通过量化模块将连续的语音特征转化为离散表示。文章探讨了Gumbel softmax和K-Means两种量化策略，码本在此过程中扮演关键角色，类似NLP中的词典。此技术在语音预训练中不同于NLP，因为其输入是连续的音频而非离散的tokens，对于自动语音识别（ASR）的自监督学习具有重要意义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations - NASA/ADS

本文基于wav2vec，将连续特征z通过提出的量化模块，变成离散特征z‘，实现特征空间从无限的连续到有限的离散的转换过程。

文中提出了两种量化方法，Gumbel softmax和K-Means，如下图。 其中，左右两个部分中的 e1 … ev，就是码本（记录特征集，可以理解为 BERT 中的词表），Gumbel通过逻辑值最大化（回传时使用Gumbel softmax来保证可导）找对应码本条，K-Means通过计算与码本距离来找最小距离的码本条。
 

在这里插入图片描述

codeword：VQ（Vector Quantiz

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Wav2vec 2.0
weixin_63482830的博客
03-15 345
这种连续与离散特征的结合是wav2vec 2.0模型成功的关键因素之一，使其能够在极少量标注数据的情况下仍然取得出色的语音识别性能。：在wav2vec 2.0中，离散特征作为对比学习任务中的目标，模型需要预测被掩码时间步的正确离散表示.：连续特征是由特征提取器(CNN编码器)直接输出的浮点数向量表示，保留了原始音频的丰富信息。：通过量化模块将连续特征映射到有限的码本条目集合中，形成离散的表示。：连续特征保留更多细节信息，而离散特征提供更抽象、更稳定的表示。连续的语音特征与离散的语音特征的区别。
Audio-预训练模型-2020：Wav2vec 2.0
u013250861的博客
10-28 1810
的思路，通过mask 在latent space 上的语音输入，训练一个contrastive task将真正的量化的latent变量表示与其他负例分辨出来（同时训练了量化过程的latent representation), 由此得到的representation， 基于少量的有标签数据fine-tuning就取得了不错的效果。相较于vq2vec无需接bert，将原先两个分开训练的模型合并成一个，是一个更好的工程实现。
wav2vec2
03-27
工作正在进行中 在常用语音德语上对wav2vec2进行微调。 一般注意事项和注意事项 我做了一些改动完善支持大型数据集（的de语言是资源密集型的）： 预处理和微调被分为单独的脚本prepare_dataset.py和run_finetuning.py 。 这里的重点是运行一次预处理，然后再进行较短的培训启动时间。 参数类将移至argument_classes.py 。 前处理 prepare_dataset.py处理所有预处理。 它将仅包含路径和标签的数据集保存为磁盘，作为拼花格式的箭头表 它加载，重新采样，处理并将音频文件保存到原始张量中，而不是HF数据集中。 它产生一个目录./resampled其中包含float32张量表示形式，以及重新采样和处理后的音频。 它将处理器保存到磁盘上，以便在训练脚本中重复使用（在脚本中不确定） 运行时间：约4小时32周上的螺纹（经由配置pr
语音识别VQ-WAV2VEC+BERT
zephyr_wang的博客
11-13 1046
语音识别VQ-WAV2VEC+BERT
wav2vec 2.0：一种自监督学习语音表示的框架
最新发布
05-28 1157
本文提出wav2vec 2.0框架，首次通过语音音频自监督学习实现超越半监督方法的语音识别性能。该模型在潜在空间中对语音进行掩码处理，通过对比任务联合学习离散语音单元和上下文化表示。实验表明：使用全量标注数据时，Librispeech测试集词错率低至1.8/3.3；仅用1小时标注数据即超越之前最佳半监督方法；在10分钟标注数据+53,000小时无标注数据条件下仍能达到4.8/8.2词错率。该方法创新性地端到端联合学习量化表示和上下文依赖，为低资源语言语音识别提供了可行方案，显著降低了语音识别对标注数据的依赖
wav2vec--
qq_42563807的博客
02-07 6537
Wav2vec: Unsupervised Pre-training for Speech Recognition 该模型非完整的ASR，而是一个将wav通过标记的、未标记的数据，通过无监督的方式进行训练，得到可以送入ASR中的向量；以提升ASR的准确率； 当前用于语音识别的最新模型需要大量标记好的音频数据才能获得良好的性能。最近，在标注数据缺少的情况下，神经网络的预训练已经成为一种有效的技术。关键思想是先在有大量标记或未标记数据中进行general的训练，再在数据量受限的目标数据上fine-tune来提高
WAV2VEC：语音识别非监督预训练模型
zephyr_wang的博客
11-12 1252
WAV2VEC：语音识别非监督预训练模型
Audio-预训练模型（一）：概述
u013250861的博客
10-28 1861
专注于语音识别任务，一步步将预训练模型从特征提取器发展到带有离散化模块的端到端的自监督训练模型，一步步地挑战更为困难的语音识别数据集，使用更少的有标注数据或者完全使用无标注的数据，取得更好的结果。模型，通过加入句子混杂增强和句子之间的对比学习有效提升模型在speaker相关任务上的结果。模型，通过让中间层也去预测target使ASR结果明显提升（与data2vec比肩的结果），针对Speaker相关的任务提出了。"，把预训练模型做的更大更强，用1百万小时的youtube语音数据训练了8B参数的。
Audio-预训练模型-2019：wav2vec【利用自监督方式训练得到每一帧音频文件的表示（相对于机理特征的优势：可以融入上下文信息）；替换MFCC等通过机理得到的特征】
u013250861的博客
10-28 1660
当前用于语音识别的最新模型需要大量标记好的音频数据才能获得良好的性能（Amodei et al., 2016 [1]）。最近，在标注数据缺少的情况下，神经网络的预训练已经成为一种有效的技术。关键思想是先在有大量标记或未标记数据中进行general的训练，再在数据量受限的目标数据上fine-tune来提高下游任务的性能。对于需要大量工作来获取标记数据的任务（例如语音识别），这种预训练的方法尤其有效。在本文中，作者提出了wav2vec模型，通过多层的卷积神经网络来提取音频的无监督语音特征。
自然语言处理之语音识别：Wav2Vec：Wav2Vec的损失函数与优化策略
zhubeibei168的博客
10-23 333
在预训练模型的优化和微调过程中，选择合适的学习率调度、利用混合精度训练、实施数据增强、层冻结、添加任务特定层以及批量归一化等策略，可以显著提升模型在特定任务上的性能。通过本教程的案例分析和技巧介绍，希望读者能够更好地理解和应用这些优化策略，以提高自然语言处理和语音识别任务的模型性能。Wav2Vec是一种由Facebook AI提出的自监督学习方法，用于语音识别和语音处理任务。它通过预测音频信号的未来样本，学习音频的表征。
wav2vec2-finetune:wav2vec2-large-xlsr-旁遮普语
04-02
wav2vec2-finetune 尼泊尔文： ： 旁遮普语： ：
wav2vec2_docker:为Sagemaker预训练wav2vec docker
03-25
Wav2Vec2.0预培训Docker 为Sagemaker预训练wav2vec docker。 编写此docker的前提是它将由aws sagemaker运行。 所需资源 需要使用您自己的语言的未标记数据（无转录的音频）。 大量未标记的音频（例如500小时）将大大减少所需的标记数据量，并提高模型性能。 Youtube / Podcast是收集您自己语言的数据的好地方。 准备其中装有音频数据的s3存储桶。 安装说明 您可以检查pretrain.ipynb 。 Wandb设定 在Dockerfile的第72行中设置Dockerfile 。 和集wandb项目名称wandb_project在wav2vec2_base_librispeech.yaml 将Docker上传到您的ECS 在上传docker之前，您必须设置aws cli。 请在此处检查： : 安装aws cli后，请运行
xlsr_finetune:便利功能可微调XLSR-Wav2vec2语音转录模型
03-26
XLSR Finetune 一系列方便的功能使XLSR-Wav2Vec2语音识别模型的微调变得更加容易 该项目中的许多代码都摘自Patrick Von Platen在brillian的Hugging Face 安装 pip install xlsr_finetune 如何使用 快来了...
WAV2VEC:针对语音识别的无监督预训练
DataBaker的博客
08-23 3132
WAV2VEC: UNSUPERVISED PRE-TRAINING FOR SPEECH RECOGNITION 概要 本文使用大量的无标签数据集去预训练wav2vec模型，从而提升声学模型效果。本文训练的模型在性能上超越了Deep Speech 2，在nov92测试集上，WER达到了2.43%。 1 简介 预训练在深度学习算法中是一个很常用的方法，主要作用是能提升模型性能，即使是在当前带标签数据集的很少的情况下。主要方法是通过大量的无标签数据或者有标签的其他数据集对模型进行训练，可以使模型学习到通用的特
wav2vec2.0: A Framework for Self-Supervised Learning of Speech Representations
pitaojun的博客
08-23 9790
1.wav2vec2.0: A Framework for Self-Supervised Learning of Speech Representations (1) 论文思路 基于vq2vec的思路，通过mask 在latent space 上的语音输入，训练一个contrastive task将真正的量化的latent变量表示与其他负例分辨出来（同时训练了量化过程的latent representation), 由此得到的representation， 基于少量的有标签数据fine-tuning就取得
⌈ 传知代码 ⌋ 语音预训练模型wav2vec
Dream_Y.ocean的博客
05-31 1291
论文：wav2vec: Unsupervised Pre-training for Speech RecognitionWav2Vec（Waveform-to-Vector）是一种在语音处理领域中具有重要意义的技术。它的由来可以追溯到Facebook AI Research（FAIR）在2019年提出的一篇论文，旨在解决语音识别中的数据标记问题。传统的语音识别系统通常需要大量标记好的语音数据进行训练，但这一过程非常耗时且昂贵。
开源语音转文本Speech-to-Text大模型实战之Wav2Vec篇
码上飞扬的博客
06-29 2844
近年来，语音转文本（Speech-to-Text, STT）技术取得了长足的进步，广泛应用于各种领域，如语音助手、自动字幕生成、智能客服等。本文将详细介绍如何利用开源语音转文本大模型进行实战，从模型选择、环境搭建、模型训练到实际应用，带您一步步实现语音转文本功能。本文介绍了如何使用开源语音转文本大模型Wav2Vec 2.0进行实战，从环境搭建、数据准备到模型推理，最后实现了一个简单的语音转文本应用。希望通过本文的介绍，能够帮助您更好地理解和应用语音转文本技术。
Wav2Vec & HuBert &WavLM 自监督语音大模型
热门推荐
林宋的搬砖流水账
01-16 1万+
自监督预训练语言模型，wav2vec, wav2vec2.0，HUBert
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值