R3LIVE:A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation 运行记录

本文介绍了港大火星实验室开源的R3live的安装及运行过程。R3live是一款强大的实时RGB彩色LiDAR惯性视觉状态估计和映射包。文章详细记录了ROS、Livox驱动等依赖项的安装步骤,并提供了运行实例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

港大火星实验室在2022年元旦开源了R3live,个人效果非常不错。年前找个时间运行了一下,嗯,确实可以。好,言归正传,记录一下运行的过程。

下面就是github上面开源的链接地址了。

GitHub - hku-mars/r3live: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping packageA Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package - GitHub - hku-mars/r3live: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping packagehttps://github.com/hku-mars/r3live首先安装一下ROS、Livox驱动、 CGAL和OpenCV库依赖:

ROS

Following this ROS Installation to install ROS and its additional pacakge:

sudo apt-get install ros-XXX-cv-bridge ros-XXX-tf ros-XXX-message-filters ros-XXX-image-transport ros-XXX-image-transport*

NOTICE: remember to replace "XXX" on above command as your ROS distributions, for example, if your use ROS-kinetic, the command should be:

sudo apt-get install ros-kinetic-cv-bridge ros-kinetic-tf ros-kinetic-message-filters ros-kinetic-image-transport*

livox_ros_driver

Follow this livox_ros_driver Installation.

 CGAL and pcl_viewer (optional)

sudo apt-get install libcgal-dev pcl-tools

OpenCV >= 3.3

You can use the following command to check your OpenCV version, if your openCV version lower than OpenCV-3.3, we recommend you to update your you openCV version if you meet errors in complying our codes. Otherwise, skip this step .

pkg-config --modversion opencv

现在可以clone一下代码:

mkdir -p ~/catkin_R3live/src

cd ~/catkin_R3live/src
git clone https://github.com/hku-mars/r3live.git
cd ../
然后编译,catkin_make一下,(因为我已经编译过了,所以built显示比较简单),如图:


source devel/setup.bash

 下载需要的数据集,(code提取码: wwxw)

百度网盘 请输入提取码

然后,运行一下launch文件:

roslaunch r3live r3live_bag.launch

结果如下:

这时,播放一下bag文件,我下载的是港大校园的bag,运行后显示如下:

 

运行过程中,按“s”保存一下建好的图片,会生成r3live_output文件夹,里面有rgb_pt.pcd文件,用cc软件打开,显示如下:

通过mesh渲染一下,代码已经写好了,直接运行:

roslaunch r3live r3live_reconstruct_mesh.launch

 在r3live_output文件夹中,打开终端,运行:

meshlab textured_mesh.ply

就可以看到最后渲染后的效果了:

 

好了,这次分享结束,下次有好玩的继续分享,欢迎交流讨论。

### Centaur 的端到端自动驾驶技术及其测试时训练方法 #### 技术概述 Centaur 的端到端(end-to-end)自动驾驶技术是一种基于深度学习的框架,旨在通过单一神经网络模型实现从传感器输入到车辆控制输出的映射。这种方法减少了传统模块化架构中的复杂性和潜在误差传播问题[^1]。 在实际应用中,这种技术依赖于大量真实世界数据集来捕捉驾驶环境的各种变化因素,例如天气条件、道路状况和其他交通参与者的行为模式等。为了提高系统的鲁棒性,在设计阶段特别注重增强其应对未知场景的能力[^2]。 #### 测试时间训练 (Test-Time Training, TTT) 对于 Centaur 所采用的测试时间训练策略而言,这是一种动态调整机制,允许模型即使是在部署之后仍然能够持续改进性能表现而无需重新收集大规模标注样本集合或者返回实验室进行全面再训练过程[^3]。 具体来说,当遇到未曾见过的新情况时,系统会利用当前时刻获取的信息在线微调内部参数设置从而更好地适应即时需求;与此同时保持原有知识不被遗忘以便维持整体稳定性与可靠性水平不变甚至有所提升[^4]。 以下是该算法的一个简化版本伪代码表示: ```python def test_time_training(model, input_data): prediction = model.predict(input_data) # 初始预测 loss_function = define_loss() # 定义损失函数 optimizer = configure_optimizer() # 配置优化器 with GradientTape() as tape: updated_prediction = model(input_data, training=True) loss_value = loss_function(updated_prediction) gradients = tape.gradient(loss_value, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) return updated_prediction ``` 此段程序展示了如何在一个典型的前向传递过程中加入梯度计算环节,并据此更新权重值以达到自适应目的[^5]。 #### 提升鲁棒性的措施 除了上述提到的技术手段外,还有其他几种途径可以进一步加强系统的抗干扰能力: - 数据增广(Data Augmentation): 对原始图像施加随机变换操作如旋转、缩放和平移等模拟更多可能发生的实际情况; - 不确定估计(Uncertainty Estimation): 让网络不仅给出最终决策还附加相应的可信程度评估指标帮助判断何时应该采取保守行动而非贸然行事; - 多模态融合(Multi-modal Fusion): 结合来自不同类型的感知设备所提供的互补信息共同决定下一步动作方向[^6]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值