WebRtc Native M96 远端视频接收之RtpVideoStreamReceiver2-RTP包接收流程分析(2)

最新推荐文章于 2024-12-14 17:45:01 发布
最新推荐文章于 2024-12-14 17:45:01 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： WebRTC Native M96 Cookbook 文章标签： 音视频 webrtc windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangshubo1989/article/details/123341139
本文深入分析了WebRTC M96版本中RtpVideoStreamReceiver2如何处理远端视频RTP包的过程，包括RTP包的接收路径、数据到达RtpVideoStreamReceiver2的流程、RTP包的解析、PacketBuffer::Packet封装以及关键帧请求机制。内容涵盖Call模块的DeliverPacket、RTP包解析、PacketBuffer管理和丢包处理。

rtp包是如何到达Call模块的

从网络接收包，到达WebRtcVideoChannel::OnPacketReceived

UDPPort::HandleIncomingPacket
UDPPort::OnReadPacket
Connection::OnReadPacket
P2PTransportChannel::OnReadPacket
DtlsTransport::OnReadPacket
RtpTransport::OnReadPacket
SrtpTransport::OnRtpPacketReceived
RtpTransport::DemuxPacket
RtpDemuxer::OnRtpPacket
BaseChannel::OnRtpPacket
WebRtcVideoChannel::OnPacketReceived

在WebRtcVideoChannel::OnPacketReceived中，从network_thread线程转到worker_thread，也就是到了Call::DeliverPacket中

  worker_thread_->PostTask(
      ToQueuedTask(task_safety_, [this, packet, packet_time_us] {
        RTC_DCHECK_RUN_ON(&thread_checker_);
        const webrtc::PacketReceiver::DeliveryStatus delivery_result =
            call_->Re
了解本专栏 订阅专栏 解锁全文 超级会员免费看
WebRTC Native M96编码规范向导(C++ C Python Java Oc Gn)
一蓑烟雨任平生 也无风雨也无晴
06-24 1万+
https://webrtc.googlesource.com/src.git/+/17071682f7fa70589e194b5882b43c611d055c74/style-guide.mdWebRTC遵循Chromium和Google C++ type的编码规范，如果两者有冲突，那么请参照Chromium的编码规范。 《Chromium C++ style guide》 《Google C++ Style Guide》WebRTC使用C++11：.h和.cc要成对的出现，并且使用同样的名字，在相同的文
WebRTC Native M96 基础Base模块介绍之网络相关的封装
一蓑烟雨任平生 也无风雨也无晴
06-23 5278
与版本无关的 IP 地址类，包装了 in_addr 和 in6_addr 的联合。对IP地址的封装IPAddress和InterfaceAddress，IPAddress重载了==、!=、、地址支持string()、sensitive_string()和uint32_t(AF_INET)()类型输出，还支持IPV4转IPV6类型()。InterfaceAddress是IPAddress的子类()，增加了IPv6属性() 使用： 还提供一些方法，比如字符串转IP： rtc_base SocketAddr...
WebRTC M96 Release Notes(SDP废除Plan B，支持Opus Red冗余编码)
一蓑烟雨任平生 也无风雨也无晴
02-13 2925
https://groups.google.com/g/discuss-webrtc/c/Bp8OzBzipSc 切换到M96分支 git checkout branch-heads/4664 PSAs Plan B和Unified Plan Plan B是Chrome/Chromium独有的实现，Safari和Firefox一直支持Unified Plan，Chrome在M72已经支持Unified Plan。从某种程度上说如果后续再开发WebRTC可以不考虑Plan B的支持了，因为Unified
WebRTC源码研究（59）IOS 远端视频渲染
kyl282889543的博客
06-26 386
文章目录WebRTC源码研究（59）IOS 远端视频渲染 WebRTC源码研究（59）IOS 远端视频渲染
WebRTC Native M96版本开篇之旅--一篇读懂代码下载、编译(ninja gn depot_tools)
一蓑烟雨任平生 也无风雨也无晴
02-13 2061
欢迎来到苦逼的WebRTC下载、编译世界。 depot_tools depot_tools是个工具包（depot是仓库的意思），里面包含gclient、gcl、gn和ninja等工具，这些根据都是使用python写的。其主要的功能是对git的增强，让代码管理和编译更加简单，要学这个的前提是要会使用git。 获取DEPOT TOOLS LINUX / MAC系统： git clone https://chromium.googlesource.com/chromium/tools/depot_tools.g
WebRtc Native M96 远端视频接收之PacketBuffer-组帧原理分析(4)
一蓑烟雨任平生 也无风雨也无晴
03-08 3615
组帧 视频一帧数据往往被拆分为多个packet进行发送，组帧是将接收到的packets重组为视频帧。组帧的关键在于找到视频帧的起始与终止packet。对于h264编码的视频帧，rtp传输时没有明确的起始标志，webrtc在处理时以判断连续序列号的时间戳是否相同为依据，若不相同则认为找到了视频帧的起始packet。视频帧的结束标识为rtp包的header中的Mark标志位。对于vp8、vp9则可以从rtp包中解析到明确的帧开始与结束标识符。组帧结束后，拿到完整的视频帧数据，之后对该视频帧数据进行参考帧信息设置
WebRtc Native M96 远端视频接收之RtpFrameReferenceFinder-设置参考帧(5)
一蓑烟雨任平生 也无风雨也无晴
03-09 1724
PacketBuffer：做报文缓存，根据帧开始、结束等标志，结合帧内seq的连续性，组成seq连续的一帧。此时需要确保其参考的帧也是组出来了，它才能送过去解码。H264目前是根据start bit以及Rtp Mark标志判断一帧开始和结束，在丢包等场景还需要结合timestamp来区分不同帧。(https://dabaojian.blog.csdn.net/article/details/123364413) RtpFrameReferenceFinder：帧参考关系寻找。packet buffer输出.
WebRtc Native M96 远端视频接收之NackRequester、NackSender-NACK丢包重传原理(3)
一蓑烟雨任平生 也无风雨也无晴
03-08 729
WebRTC NACK is Negative Acknowledgement. One of the mechanisms for delivery errors correction in WebRTC rtp包是如何到达NackRequester模块的 注意，在M96版本中，类名是NackRequester Call::DeliverPacket Call::DeliverRtp RtpStreamReceiverController::OnRtpPacket RtpDemuxer::OnRtpPa
WebRTC Native M96 视频发送编码(OpenH264)流程以及接收视频包解码(FFmpeg)播放流程
一蓑烟雨任平生 也无风雨也无晴
02-18 3426
H264 和 OpenH264 H.264，又称为MPEG-4第10部分，高级视频编码（英语：MPEG-4 Part 10, Advanced Video Coding，缩写为MPEG-4 AVC）是一种面向块，基于运动补偿的视频编码标准 。到2014年，它已经成为高精度视频录制、压缩和发布的最常用格式之一。第一版标准的最终草案于2003年5月完成。 H.264/AVC项目的目的是为了创建一个更佳的视频压缩标准，在更低的比特率的情况下依然能够提供良好视频质量的标准（如，一半或者更少于MPEG-2,H.263
资讯｜WebRTC M96 更新
netease_im的博客
01-06 280
WebRTC M96 即将推出稳定版，包含 2 个新特性以及超过 11 个bug修复、功能增强和稳定性/性能方面的改进。
iOS下WebRTC音视频通话（三）-音视频通话-附件资源
03-02
iOS下WebRTC音视频通话（三）-音视频通话-附件资源
WebRTC Native M96音频基础知识介绍--使用Opus
一蓑烟雨任平生 也无风雨也无晴
04-26 4030
声波 声音是振动产生的声波，通过介质（气体、固体、液体）传播并能被人或动物听觉器官所感知的波动现象。 声音的特性可由三个要素来描述，即响度、音调和音色 音频（音调） 音调就是音频。物理学中用每秒内振动的次数–频率来描述物体振动的快慢。物体振动的快（即频率高）则音调高，物体振动的慢（及频率低）则音调低。 声音的频率一般会以赫兹表示，记为Hz，指每秒钟周期性震动的次数 音量（响度） 响度就是声音的大小强弱。取决于物体振动的幅度 分贝是用来表示声音强度的单位，记为dB。 数字音频 数字音频是指使用脉冲编码调制、.
iOS WebRTC 展示本地和远端视频拉伸问题
u011248221的博客
11-03 1903
WebRTC 官网 WebRTC 中文网 StackOverflow/WebRTC RTC 开发者社区 目录1、本地展示 AVCaptureVideoPreviewLayer，远端 RTCEAGLVideoView2、RTCCameraPreviewView 设置本地视频展示3、RTCEAGLVideoView 展示本地视频4、RTCMTLVideoView 展示本地或者远端视频为什么我不更新到新版本 使用版本 GoogleWebRTC 版本 1.0，目前 CocoaPods 最新版本 1.1.31999。
ios视频通话三方_iOS端实现WebRTC跨平台音视频通话
weixin_39923137的博客
12-21 259
注意：因为谷歌限制，想要调用最新的WebRTC库播放视频，需要实现https，本地测试解决办法如下：1、修改服务端文件：\webrtc_server_node\public\dist\js\conn.js，最后一行如下：rtc.connect("ws:" + window.location.href.substring(window.location.protocol.length).split(...
摘录 ：iOS下音视频通信的实现-基于WebRTC
weixin_30709929的博客
03-09 169
原文出自：http://www.cocoachina.com/ios/20170306/18837.html ，为了方便记忆，转载，如原作者不同意转载，邮件通知，立即删除 前言： WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，简而言之它是一个支持网页浏览器进行实时语音对话或视频对话的技术。 它为我们提供了视频会议的核心技术，...
GCC-webrtc
宝安小雨
12-14 750
webrtc M96版本的GCCsudo tc qdisc del dev eth1 root //关闭限速gcc对网络抖动和丢包很敏感，一旦出现这两种情况，就会出现估计值的剧烈下降。基于延迟的带宽估计，码率一直增长，直到RTT表示过载，此时的码率接近带宽。基于丢包的带宽估计，丢包率小于2%，继续增加码率，2-10%保持不变，10%以上降低码率。基于丢包的估计值，不能超过基于延迟的带宽估计值，基于延迟的带宽估计值不能超过吞吐量的估计值X1.5+10kbps。
webrtc 代码学习（十）Video rtcp 获取数据
Miracle_包子
11-11 766
Video rtcp 获取数据 作者：LanPZzzz 本章我们简单讲述下Video rtcp 获取数据 文章目录接收数据，从::recvfrom， video rctp packet 接收数据，从::recvfrom， video rctp packet void AsyncUDPSocket::OnReadEvent（rtc_base\asyncudpsocket.cc 107 行） -&gt...
Android IOS WebRTC 音视频开发总结（三一）-- 自定义传输实现一对多
weixin_33712881的博客
07-04 349
本文主要介绍基于Webrtc的多人视频会议的简单实现，文章来自博客园RTC.Blacker，支持原创，转载请说明出处。   前面提到基于开源框架的视频会议都存在诸多问题，所以我们通过重写WEBRTC传输模块来实现一个简单的视频会议，效果如下图： 说明： 1、画面1、2、3都是其他手机传过来的图像，局域网内有点点卡顿，同时软解3路数据你懂的。 2、声音比较清晰，服务端没有做混音处理。 ...
【webrtc】packetbuffer：rtp包组帧
突围
11-07 653
rtp video 收包 组帧
【网络通信 -- WebRTC】WebRTC 源码分析 -- GCC 带宽估计 -- 接收端带宽估计
最新发布
04-18
好的，我现在需要分析WebRTC GCC接收端带宽估计的源码实现细节。首先，我需要回忆一下用户提供的引用内容，看看有没有相关的信息。根据引用[3]，接收端带宽估计主要处理丢包和延迟，并通过RTCP反馈给发送端。同时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一苇渡江694

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值