一、腾讯云:3.语音识别-2：实时语音识别

原创 已于 2025-05-28 16:39:01 修改 · 283 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#腾讯云 #语音识别 #Unity #数字人

于 2025-05-28 13:41:24 首次发布

一、介绍

1.简介

本接口服务采用 websocket 协议，对实时音频流进行识别，同步返回识别结果，达到“边说边出文字”的效果。

在使用该接口前，需要 开通语音识别服务，并进入 API 密钥管理页面 新建密钥，生成 AppID、SecretID 和 SecretKey，用于 API 调用时生成签名，签名将用来进行接口鉴权。

2.说明

  • WebSocket用的是BestHTTP插件，可以在本站搜索下载使用；
  • 发送_webSocket.Send($"{{\"type\": \"end\"}}");通知结束识别时，OnWebSocketError()方法会收到一条报错信息，意思是意外关闭了连接，没有找到原因，但是不影响使用，所以我把打印错误的代码注释掉了。

二、代码

public class TencentCloudRealtimeASRManager : ASRManager
{
	#region 腾讯云TTS参数	
	string _secretId;//填写你自己的SecretId
	string _secretKey;//填写你自己的SecretKey
	string _appId;//填写你自己的AppId
	string _url = "wss://asr.cloud.tencent.com/asr/v2/";
	const string ACTION = "TextToVoice";//调取接口名
	const string VERSION = "2019-08-23";//操作的 API 的版本	
	#endregion

	string _paramStr;//参数	
	string _timestamp;//时间戳
	string _expired;//签名的有效期
	WebSocket _webSocket;

	// 配置参数
	[Header("腾讯云配置")]
	public int sampleRate = 16000; // 16k 或 8k
	public int sendIntervalMs = 40;
	public float silenceThreshold = 0.04f; // 静音检测阈值
	public int silenceDurationMs = 2000; // 持续静音时间

	// 计算音频参数
	private int samplesPerFrame;
	private int pcmBytesPerFrame;
	
	// 音频流参数
	private AudioClip recordingClip;
	private int bufferSize;
	private int lastReadPosition;
	private float[] audioBuffer;

	private ConcurrentQueue<byte[]> sendQueue ;

	bool _isOnRecognition = false;
	Task _connectWebSocketTask;
	Task _sendDataTask;
	Task _audioProcessingTask;
	Task _checkIsHaveRecordingTask;
	string hotword_list= "一大|10,二大|10";
	public void Start()
	{	
		samplesPerFrame = sampleRate * sendIntervalMs / 1000;
		pcmBytesPerFrame = samplesPerFrame * 2; // 16bit = 2字节
		bufferSize = sampleRate * 2; // 2秒缓冲
	}

	/// <summary>
	/// 生成签名
	/// </summary>
	/// <returns></returns>
	string GenerateSignature()
	{
		_timestamp=((int)DateTime.UtcNow.Subtract(new DateTime(1970, 1, 1)).TotalSeconds).ToString();
		_expired = (int.Parse(_timestamp) + 86400).ToString(); // 有效期1天
		//1.对除 signature 之外的所有参数按字典序进行排序，拼接请求 URL （不包含协议部分：wss://）作为签名原文
		_paramStr =$"asr.cloud.tencent.com/asr/v2/{_appId}?engine_model_type=16k_zh&expired={_expired}&hotword_list={hotword_list}&needvad=1&nonce=1673408372&secretid={_secretId}&timestamp={_timestamp}&vad_silence_time=2000&voice_format=1&voice_id=c64385ee-3e5c-4fc5-bbfd-7c71addb35b0";

		//2.对签名原文进行HmacSha1加密，然后进行Base64 编码，得到 Signature 签名
		using (HMACSHA1 hmac = new HMACSHA1(Encoding.UTF8.GetBytes(_secretKey)))
		{
			byte[] hash = hmac.ComputeHash(Encoding.UTF8.GetBytes(_paramStr));
			string signature =Convert.ToBase64String(hash);
			//3.对Signature 值进行urlencode（必须进行 URL 编码，否则将导致鉴权失败偶现 ）
			signature= Uri.EscapeDataString(signature);
			return signature;
		}
	}

	private void Start()
	{
		/*_secretId = MainManager.GetManager<GameManager>().SecretId;
		_secretKey = MainManager.GetManager<GameManager>().SecretKey;
		_appId = MainManager.GetManager<GameManager>().AppId;
		samplesPerFrame = sampleRate * sendIntervalMs / 1000;
		pcmBytesPerFrame = samplesPerFrame * 2; // 16bit = 2字节
		bufferSize = sampleRate * 2; // 2秒缓冲
		StartASR();*/
	}

	public override void StartASR()
	{
		_connectWebSocketTask = new Task(ConnectTTSWebSocket());
	}
	/// <summary>
	/// 连接WebSocket
	/// </summary>
	/// <returns></returns>
	IEnumerator ConnectTTSWebSocket()
	{
		_isOnRecognition = false;		
		string signature = GenerateSignature();
		//得到请求的完整地址
		//_paramStr+= "&vad_silence_time=2000";
		string url = $"wss://{_paramStr}&signature={signature}";
		_webSocket = new WebSocket(new Uri(url));		
		// 注册事件处理器
		_webSocket.OnOpen += OnWebSocketOpen;		
		_webSocket.OnMessage += OnWebSocketText;
		_webSocket.OnError += OnWebSocketError;		
		// 开始连接
		_webSocket.Open();
	
		// 等待连接建立
		yield return new WaitUntil(() => _webSocket.IsOpen);
		Debug.Log("WebSocket 连接成功");
	}

	/// <summary>
	/// 与WebSocket服务器建立连接
	/// </summary>
	/// <param name="ws"></param>
	private void OnWebSocketOpen(WebSocket ws)
	{
		Debug.Log("连接已建立");
	}
	/// <summary>
	/// 当从服务器接收到新的文本消息时调用
	/// </summary>
	/// <param name="ws"></param>
	/// <param name="message"></param>
	private void OnWebSocketText(WebSocket ws, string message)
	{
		//Debug.Log($"收到文本消息: {message}");
		JObject obj = JObject.Parse(message);
		if (!_isOnRecognition)//握手阶段
		{			
			if (obj["code"].ToString() == "0" && obj["message"].ToString() == "success")
			{
				//握手成功，开始进入识别阶段
				_isOnRecognition = true;
				Debug.Log("开始识别");
                _sendDataTask = new Task(SendDataCoroutine());				
				StartRecording();
			}
		}
		else//识别阶段
		{
			if (obj["code"].ToString() == "0" && obj["message"].ToString() == "success")
			{
				JToken result = obj["result"];
				if (result != null)
				{
					string sliceType = result["slice_type"].ToString();
					string question = result["voice_text_str"].ToString();
					//接受完毕
					if (sliceType == "2")
					{  
						Debug.Log("识别到的语音为：" + question);
						StopRecording();
						if (question == "")//识别到的问题为空
						{
							
						}
						else
						{
							
						}
					}
					else//中途接收
					{
						//表示开始识别到语音
						if (sliceType == "0")
						{
							if (_checkIsHaveRecordingTask != null)
							{
								_checkIsHaveRecordingTask.Stop();
								_checkIsHaveRecordingTask = null;
							}
						}					
					}
				}
				else
				{
					JToken final = obj["final"];
					if (final !=null&& final.ToString()=="1")
					{
						Debug.Log("识别结束");
						_webSocket.Close();						
					}
				}
				
			}
		}
	}

	/// <summary>
	/// 遇到错误时调用。参数将是错误的描述
	/// </summary>
	/// <param name="ws"></param>
	/// <param name="error"></param>
	private void OnWebSocketError(WebSocket ws, string error)
	{
		//Debug.LogError($"WebSocket错误: {error}");
	}

	void OnDestroy()
	{
		if (_webSocket != null && _webSocket.IsOpen)
		{
			_webSocket.Close();
		}	
		if (_webSocket != null)
		{
			_webSocket.Close();
			_webSocket = null;
		}
		Microphone.End(null);
	}	
	/// <summary>
	/// 发送音频数据给WebSocket服务器
	/// </summary>
	/// <returns></returns>
	IEnumerator SendDataCoroutine()
	{
		var wait = new WaitForSeconds(sendIntervalMs / 1000f);
		while (_webSocket.State == WebSocketStates.Open)
		{
			if (Microphone.IsRecording(null))
			{
				if (sendQueue.TryDequeue(out byte[] data))
				{
					try
					{
						_webSocket.Send(data); 

					}
					catch (Exception e)
					{
						Debug.LogError($"数据发送失败: {e.Message}");
					}
				}
			}
		
			
			yield return wait;			
		}				
	}

	void StartRecording()
	{		
		if (Microphone.IsRecording(null)) return;		
		// 初始化麦克风
		recordingClip = Microphone.Start(null, true, 15, sampleRate);
		MainManager.GetManager<GameManager>().StartRecordEvent();
		lastReadPosition = 0;
		audioBuffer = new float[bufferSize];
		sendQueue = new ConcurrentQueue<byte[]>();
		// 启动数据处理协程
		_audioProcessingTask = new Task(AudioProcessingCoroutine());
		_checkIsHaveRecordingTask = new Task(CheckIsHaveRecording());
	}

	/// <summary>
	/// 10秒内没有录音，就结束掉
	/// </summary>
	/// <returns></returns>
	IEnumerator CheckIsHaveRecording()
	{
		yield return new WaitForSeconds(10);
		
	}

	/// <summary>
	/// 处理音频数据
	/// </summary>
	/// <returns></returns>
	IEnumerator AudioProcessingCoroutine()
	{
		int silenceCounter = 0;
		bool isSpeaking = false;

		while (Microphone.IsRecording(null))
		{
			// 获取当前录音位置
			int currentPosition = Microphone.GetPosition(null);
			if (currentPosition < lastReadPosition)
			{
				// 处理环形缓冲区回绕
				HandleBufferWrap(currentPosition);
			}
			else
			{
				// 读取有效数据
				int samplesToRead = currentPosition - lastReadPosition;
				if (samplesToRead >= samplesPerFrame)
				{
					ProcessAudioChunk(samplesToRead, ref silenceCounter, ref isSpeaking);
				}
			}
			yield return null;
		}
	}

	void HandleBufferWrap(int currentPosition)
	{		
		int samplesAvailable = recordingClip.samples - lastReadPosition;
		float[] tempBuffer = new float[samplesAvailable];
		recordingClip.GetData(tempBuffer, lastReadPosition); // 读取剩余数据

		// 将剩余数据复制到缓冲区头部
		Array.Copy(tempBuffer, 0, audioBuffer, 0, samplesAvailable);
		lastReadPosition = 0;
	}



	void ProcessAudioChunk(int samplesToRead, ref int silenceCounter, ref bool isSpeaking)
	{
		// 读取音频数据
		float[] chunk = new float[samplesPerFrame];
		recordingClip.GetData(chunk, lastReadPosition);
		lastReadPosition += samplesPerFrame;

		// 转换为PCM
		byte[] pcm = ConvertToPCM(chunk);

		// 静音检测
		//bool isSilent = IsSilence(chunk);
		//if (isSilent)
		//{
		//	silenceCounter += sendIntervalMs;
		//	//Debug.Log(isSpeaking.ToString()+"+" + silenceCounter);
		//	if (isSpeaking && silenceCounter >= silenceDurationMs)
		//	{
		//		StopRecording(); Debug.LogError("结束");
		//		return;
		//	}
		//}
		//else
		//{
		//	silenceCounter = 0;
		//	isSpeaking = true;
		//}
		// 加入发送队列
		sendQueue.Enqueue(pcm);
		//是否静音
		bool isSilent = IsSilence(chunk);
		if (isSilent)
		{
			silenceCounter += sendIntervalMs;
			//Debug.Log(isSpeaking.ToString()+"+" + silenceCounter);
			if (isSpeaking && silenceCounter >= 1000)
			{
				MainManager.GetManager<GameManager>().CheckIsOnRecording(true);
				return;
			}
		}
		else
		{
			silenceCounter = 0;
			isSpeaking = true;
			MainManager.GetManager<GameManager>().CheckIsOnRecording(false);
		}

		
	}

	byte[] ConvertToPCM(float[] samples)
	{
		byte[] pcm = new byte[pcmBytesPerFrame];
		for (int i = 0; i < samples.Length; i++)
		{
			short value = (short)(samples[i] * short.MaxValue);
			Buffer.BlockCopy(BitConverter.GetBytes(value), 0, pcm, i * 2, 2);
		}
		return pcm;
	}

	bool IsSilence(float[] samples)
	{
		float sum = 0;
		foreach (float sample in samples)
		{
			sum += Mathf.Abs(sample);
		}
		float avg = sum / samples.Length;
		//Debug.Log($"Average Volume: {avg}, Threshold: {silenceThreshold}");
		return avg < silenceThreshold;
	}

	 void  StopRecording()
	 {
		if (Microphone.IsRecording(null))
		{
			Microphone.End(null);					
			SendEndMessage();
		}		
	}

	

	void SendEndMessage()
	{
		try
		{			
			var obj = new { type = "end" };
			string json = JsonConvert.SerializeObject(obj); // 自动生成合法 JSON
			var endText = JsonUtility.ToJson(new EndText());
			_webSocket.Send(endText);
		}
		catch (Exception e)
		{
			Debug.LogError($"结束消息发送失败: {e.Message}");
		}
	}

	public override void Reset()
	{
		if (Microphone.IsRecording(null))
		{
			Microphone.End(null);			
		}
		if (_webSocket != null)
		{
			_webSocket.Close();
			_webSocket = null;
		}
		if (_connectWebSocketTask != null)
		{
			_connectWebSocketTask.Stop();
			_connectWebSocketTask = null;
		}
		if (_sendDataTask != null)
		{
			_sendDataTask.Stop();
			_sendDataTask = null;
		}
		if (_audioProcessingTask != null)
		{
			_audioProcessingTask.Stop();
			_audioProcessingTask = null;
		}
		if (_checkIsHaveRecordingTask != null)
		{
			_checkIsHaveRecordingTask.Stop();
            _checkIsHaveRecordingTask = null;
		}		
	}
}
[Serializable]
public class EndText
{
	public string type;

	public EndText()
	{
		type = "end";
	}
}

使用腾讯云SDK进行语音识别
WmqApps的博客
09-21 713
然后，通过安装腾讯云SDK和编写相应的代码，我们可以使用腾讯云的语音识别功能。然后，通过安装腾讯云SDK和编写相应的代码，我们可以使用腾讯云的语音识别功能。腾讯云提供了一套强大的语音识别服务，开发者可以使用腾讯云SDK来快速集成语音识别功能到自己的应用中。腾讯云提供了一套强大的语音识别服务，开发者可以使用腾讯云SDK来快速集成语音识别功能到自己的应用中。通过以上步骤，我们就可以使用腾讯云SDK进行语音识别了。在本文中，我们将介绍如何使用腾讯云SDK进行语音识别，并提供一个简单的示例代码来演示这一过程。
腾讯云---语音识别--一句话识别
weixin_44343477的博客
06-10 1059
一、导包 <!--腾讯云 语音识别--> <dependency> <groupId>com.tencentcloudapi</groupId> <artifactId>tencentcloud-sdk-java</artifactId> <!-- go to https://search.maven.org/search?q=tencen
基于腾讯云智能语音的实时语音识别微信小程序的开发
03-29
微信小程序的基础库升级到了 1.6.0 之后，提供了许多新的 API，其中新增了 录音管理 的 API，不同于以前只有 wx.startRecord 和 wx.stopRecord 两个简单的录音功能，新的 wx.getRecorderManager 接口提供了包括扩展时长、采样率、录音通道、码率、格式等在内的许多配置项。基于此，我们能更加轻松的控制录音，新提供的 onFrameRecorded 的事件，甚至可以实现流式语音识别。 本文就介绍一下使用 Wafer Node.js SDK 提供的腾讯云智能语音识别接口来实现录音转文字的功能。请您先从 Github 下载 语音识别 Demo ，本文
实时实时语音识别（websocket）接入-腾讯云
qq_42949186的博客
06-01 2962
engine_model_type=16k_zh_dialect&expired=1685527216&needvad=1&nonce=37769&secretid=AKIDkHZbOtm7qKYu1ktrY0D9k6E6hfPdFIkx×tamp=1685440816&voice_format=8&voice_id=1256841545_1685440816950_byc53&signature=Qv1YDDYCP7skMsASStxFuAVMa0w=voice_format【语音编码方式】1：pcm。
FunASR学习——VAD及ASR模型（一）
最新发布
jfriver_cloud的博客
06-18 1152
作者作为音频处理初学者，分享了在边缘设备上部署轻量化语音识别方案的经验。针对设备性能限制，选择阿里开源的FunASR工具包，重点探讨了其VAD（语音活动检测）模型的应用。文章详细解析了在线VAD模型的调用流程：初始化状态机处理语音状态跳变；通过sounddevice库实现音频采集；深入解析模型对音频数据的特征提取和实时推理逻辑。作者创新性地设计有限状态机来精准截取有效语音片段，并配合ASR模型实现语音转文字功能。该方案在低算力设备上成功实现了实时语音处理，展现了开源具在边缘计算中的实用价值。
WebSocket 与语音识别：实现实时语音转文字，且展示音浪效果
m0_47396689的博客
08-23 2893
WebSocket 与语音识别：实现实时录音转文字，且展示音浪效果。
腾讯云在线语音识别
q6q6q的专栏
10-27 2673
广告关闭2017年12月，云+社区对外发布，从最开始的技术博客到现在拥有多个社区产品。未来，我们一起乘风破浪，创造无限可能。语音识别服务具备识别准确率高、接入便捷、性能稳定等特点。 腾讯云语音识别服务开放实时语音识别、一句话识别和录音文件识别三种服务形式，满足不同类型开发者需求... 语音识别 简介 腾讯云语音识别 为企业提供极具性价比的语音识别服务 被微信王者荣耀 腾讯视频等大量内部业务使用 外...
语音支持英语_语音识别英语_英语语音评分 - 云+社区 - 腾讯云
q6q6q的专栏
10-27 867
广告关闭2017年12月，云+社区对外发布，从最开始的技术博客到现在拥有多个社区产品。未来，我们一起乘风破浪，创造无限可能。实时语音识别支持词时间戳功能 新功能发布 实时语音识别支持 格式 新功能发布录音文件识别支持 人及以上多说话人分离 新功能发布 语音识别产品支持日语新功能发布 语音识别产品支持上海话方言 新功能发布 客户端接入实时语音识别技术指引上线 新功能发布 语音识别电话场景支持英语模型...
微信小程序 实现实时语音识别 腾讯云
热门推荐
^_^
03-24 1万+
小程序 实现 语音识别 转文字
腾讯云语音识别（ASR）助力智慧园区落地
不惑
12-10 2070
腾讯云语言识别技术在企业智能化转型中扮演着重要角色。随着人工智能技术的不断发展，越来越多的企业开始寻求通过智能化手段提升生产效率、优化客户体验和降低运营成本。在这个过程中，腾讯云语言识别技术为企业提供了一种高效、便捷的解决方案。首先，腾讯云语言识别技术能够帮助企业实现业务流程的自动化。在传统的业务场景中，员工往往需要通过手动输入文字来记录信息，这个过程既耗时又容易出错。而通过引入腾讯云语言识别技术，企业可以将员工的语音实时转化为文字，从而大大提高工作效率，降低人力成本。
Python库 | tencentcloud_sdk_python-3.0.300-py2.py3-none-any.whl
02-20
Tencentcloud SDK Python是腾讯云推出的一款针对Python开发者的官方SDK，它允许开发者轻松地集成腾讯云的各项服务，如云存储、云计算、人工智能等。本文将详细介绍这款库的使用及特点。 首先，`tencentcloud_sdk_...
腾讯云鉴权+语音识别接口请求Demo
05-31
腾讯云鉴权示范，已经语音识别接口调用实例。Python代码实现。
精品软件工具--通过腾讯云语音识别工具与Electron + Vitejs + Vue3 + Pinia.js 等完成.zip
02-17
首先，腾讯云语音识别工具是腾讯云提供的AI服务，它能够将音频流或音频文件转换为文字，具有高准确率和实时性。在这款软件工具中，语音识别功能可能用于实现用户通过语音交互，提高操作的便捷性和用户体验。开发者...
百度、腾讯云实时语音识别api对接
qq_51279669的博客
05-30 739
百度：讯飞：有道翻译：腾讯云：根据以上价格对比，腾讯云和百度的价格相比较便宜，所以两个平台实时语音翻译的demo都分享一下。
java腾讯云语音识别---录音识别
qq_45398535的博客
04-20 1332
创建AsrClient的实例，用于调用语音识别服务。设置签名方法，这里使用的是腾讯云的TC3签名方法。VoiceFormat：语音文件的格式，这里是m4a。SourceType：语音数据的来源类型，这里1可能代表语音文件。Url：语音文件的URL，这里为空。这部分是请求参数，用于配置识别的具体参数： ProjectId：项目ID，通常由腾讯云分配。HttpProfile 用于配置腾讯云API的终端节点。
一、腾讯云:3.语音识别-1：一句话语音识别
wzg248250191的博客
05-28 339
本接口用于对60秒之内的短音频文件进行识别。支持本地语音文件上传和语音URL上传两种请求方式，音频时长不能超过60s，音频文件大小不能超过3MB。推荐使用来存储音频、生成URL并提交请求，此种方式会走内网下载音频，极大降低整体请求时延；，获取COS预签名url）• 音频格式支持wav、pcm、ogg-opus、speex、silk、mp3、m4a、aac、 amr。• 请求方法为 HTTP POST , Content-Type为"application/json;
【AIGC】腾讯云语音识别（ASR）服务在Spring Boot项目中的集成与实践
十一逐星的博客
11-06 1871
在现代软件开发中，语音识别技术的应用越来越广泛，从智能助手到自动客服系统，语音识别技术都在发挥着重要作用。腾讯云提供了强大的语音识别服务（ASR），支持多种语言和方言的识别，并且提供了灵活的API接口供开发者调用。本文将介绍如何在Java的Spring Boot项目中集成腾讯云的ASR服务，并实现一个简单的接口来调用该服务。
使用腾讯云语音识别（一句话识别）示例
Chained1001的博客
06-16 5758
整体的思路大致为：前端页面上传音频文件，后端接收文件上传至腾讯云COS，上传成功后得到该音频的存储地址即Url，随后将Url传给调取腾讯云一句话识别（Url识别的方式）的方法，最终得出语音识别结果。.........
讯飞与腾讯云：Android 语音识别服务对比选择
帅次的博客
10-12 6096
讯飞与腾讯云在Android语音识别领域均表现出色，各具特色。讯飞提供全面的语音识别功能，支持多种语言和离线识别，拥有高知名度和市场占有率，适合高度定制化需求。腾讯云则基于深度学习技术，提供高准确性的语音识别，支持多种语种和方言，且作为领先的云服务提供商，拥有丰富的语音识别和语音合成产品，适合快速接入并希望利用其他云服务的开发者。两者均提供详细的开发文档和API接口，但开发者在选择时应根据自身需求、成本因素和用户评价进行综合考虑，以确保选择最具性价比的方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值