从零实现离线多语言识别（SenseVoice模型）

具身小站

已于 2025-05-31 14:29:54 修改

阅读量839

点赞数 11

CC 4.0 BY-SA版权

分类专栏：人工智能技术识别算法人工智能文章标签：多语言语音转文字语音识别 sensevoice 模型

于 2025-05-29 10:03:18 首次发布

本文链接：https://blog.csdn.net/suoxd123/article/details/148252402

人工智能技术同时被 3 个专栏收录

104 篇文章

订阅专栏

人工智能

54 篇文章

订阅专栏

识别算法

17 篇文章

订阅专栏

1. 模型介绍

SenseVoice 是具有多语言音频理解模型，支持语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）、逆文本正则化等能力。采用工业级数十万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于中文、粤语、英语、日语、韩语音频识别，并输出带有情感和事件的富文本转写结果。
在这里插入图片描述

多语言识别：采用超过40万小时数据训练，支持超过50种语言，识别效果上优于Whisper模型。
支持自动语种检测（LID）：SenseVoice 在语音识别过程中可自动判断语种（如中文、粤语、英文等），无需手动指定参数。
技术原理：模型训练时融合了多语言数据（超50种语言），通过共享编码器提取语言无关特征，在解码阶段动态选择对应语言路径。
局限性：若需针对特定方言（如四川话、东北话）进一步优化，仍需微调模型或添加方言数据。
富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。
高效推理： SenseVoice-Small模型采用非自回归端到端框架，推理延迟极低，10s音频推理仅耗时70ms，15倍优于Whisper-Large。

2. 代码

from funasr import AutoModel

model = AutoModel(
    model="./SenseVoiceSmall",
    disable_update=True,
    device="cpu"  # 或 "cuda" 如果有GPU
)    
res = model.generate(input="yue.mp3")
print("识别结果：", res[0]["text"])
res = model.generate(input="zh.mp3")
print("识别结果：", res[0]["text"])
res = model.generate(input="en.mp3")
print("识别结果：", res[0]["text"])