【ORB_SLAM2源码解读】Intel RealSense Depth Camera D455跑通 orb_slam2_ros

（难 真难 看了无数教程踩了无数坑 最后终于跑通了 以此记录以下 水平有限 如有错误 还请各位批评指正） 目录 一.安装ROS 二.ORB-SLAM2的安装和配置 2.1安装Pangoline 2.2检查OPenCV版本 2.3安装Eigen3 2.4安装编译ORB_SLAM2核心库 三.SDK安装与测试 四.通过D455来运行ORB-SLAM2 一.安装ROS 直接参考这篇帖子 Ubuntu18.04安装Ros(最新最详细亲测)_向日葵骑士Faraday的博客-CSDN博客_u

83项优秀的开源SLAM工作： 极市开发者平台-计算机视觉算法开发落地平台realsense D455 实现elastic fusion: 【SLAM】ElasticFusion：使用RealSense进行3D稠密重建 - 知乎D455 VINS fusion: RealSense D455的标定并运行VINS-FUSION_Z_Jin16的博客-CSDN博客_d455 标定bundle fusion: BundleFusion使用Intel RealSense D435i深度相机实现_shenggedeq

用板子配置完orbslam3之后，发现orbslam3运行数据集效果是相当稳定的，但是跑实物似乎还是会存在bug（大概十帧左右就会重新绘制轨迹，丢失原来的里程），目前暂时不知道是主板的问题还是系统环境的问题。市面上部分商家，包括部分论文还是基于orbslam2配置和开发，因此还是很有必要在板子上配置一下orbslam2的。我这里ROS(noetic)、Eigen3、Pangolin0.5、Opencv4.2.0、DBow2和g2o库都已经提前配置好了。

直接忽略，不要管，并不会影响后续包的安装，我把依赖项降级了，降级了两层依赖之后无法开机了，只能重新刷机，浪费了很多时间。网址：https://github.com/IntelRealSense/librealsense/

文章目录安装 Intel RealSense SDK D435i安装 Intel RealSense ROS Wrapper D435iRGBD测试实验结果rviz查看点云和图像stereo测试mono测试实验结果ROS Examples RealSense D435i摄像头实时跑ORB_SLAM2单目、双目、RGBD 安装 Intel RealSense SDK D435i Intel RealSense SDK D435i 官方安装卸载教程 安装 Intel RealSense ROS Wrapper

文章目录运行命令参数启动相机查看发布的话题rqt_tf_treerqt_graph启动rtabmap_ros增加base_footprint 底盘坐标系深度图转换为雷达数据保存地图RTAB-Map 点云滤波、点云分割与地面检测参考链接 安装步骤 move_base_msgsConfig.cmake move_base_msgs-config.cmake ddynamic_reconfigureConfig.cmake ddynamic_reconfigure-config.cmake sudo apt-

本机环境：window10+vmware+ubuntu16.04+ROS kinetic+Intel Realsense D435i 基本步骤就四步：   1.配置好Realsense的SDK以及ros_realsense   2.配置ORB_SLAM2所需环境及编译ORB_SLAM2   3.调整相机参数(相机标定)   4.修改源文件，运行程序 1.配置Realsense的SDK以及ros_realsense 详细过程参考：ubuntu16.04 kinetic外接Intel Realsense D43

我们在之前的文章中完成安装了ORB2所有所需要的文件和库，但是ORB毕竟是一个封装好的软件， 在追随网上各位笔者的文章中发布得到TCW的输出矩阵，但是ORB的输出矩阵似乎和ROS中的矩阵似乎并不一致，于是经过苦苦寻找，得到了，以下的转换方法和心得，转换的方式各有所爱，这里提供一种可行且验证通过的方案，主要解决相机和真实不匹配的情况。把建图系统分为了三个节点，如下所示。第一个节点作为驱动节点，采集摄像头传感器的数据。第二个节点利用ORB_SLAM主要做姿态估计，提供Tcw。

D455 配置：RGB：彩色相机，FOV（h，v）（ 90*65 ）红外点阵发射：位于上图中RGB右边，发射特定模式的红外光，通常是一种点阵图案，这有助于红外摄像头捕捉和计算物体的深度信息Right 和 Left：双目红外相机，FOV（h，v）（ 87 *58 ），可接受普通光源和红外光源，基线9.5cm可输出；IMU：BMI0552 安装以下是基于Ubuntu20.04系统安装的一般步骤前置：您需要在您的计算机上安装ROS。假设您使用的是ROS Noetic版本，您可以按照。

原因：orb_slam2学习过程中，会遇到许多关于相机pose和图片的转化问题，想要理解他们的原理，需要缕清各种坐标系之间的关系。 介绍：slam中涉及到四个常用坐标系，包括 像素坐标系（u,v）、图像坐标系（x,y）、相机坐标系（Xc,Yc,Zc）和世界坐标系（Xw,Yw,Zw） 1.像素坐标系与图像坐标系 像素坐标系以图像左上角为原点建立以像素为单位的直接坐标系u-v。（在OpenCV中u对应x，v对应y） ...

总结        这是我第一个真正意义上跑通的SLAM系统，总的来说还是有许多工程上的所获，但是这次实践还存在很多的问题，留待之后有时间和精力再来解决。问题总结：1. 整个过程还有许多地方没有弄清楚，比如在存取图片的头文件位置问题等等2. 将图片存储然后读取的过程实在是一种迫不得已的方法，直接把realsense的数据流转变为Mat类型传给ORB_SLAM才是真正的解决办法3.RGBD相机的标定...

我寻思，D455内参难道不是出厂时已经都标定好了吗？直接使用标定好的数据不就行了？

这种坐标系常用于描述机器人自身的姿态（即机器人坐标系或机体坐标系），以及机器人在全局坐标系（例如地图或世界坐标系）中的位置和姿态。注意这个方向可能与某些其他领域（例如，某些部分的机器人学）的习惯不同，因此当你在实施系统时，明确坐标方向的约定很重要。这种颜色和轴的对应关系是约定俗成的，你在大部分的三维可视化工具（包括ROS的RViz和其他的3D建模软件等）中都可以看到这种颜色方案。在这个坐标系中，旋转通常遵循右手规则，即如果你的右手的四指按照旋转方向卷曲，那么你的拇指指向的方向就是旋转轴的方向。

Intel RealSense D435、D455等D4系列：Intel D4系列深度相机是由英特尔（Intel）公司推出的一款深度感知摄像头，专为实现计算机视觉和深度学习应用而设计。这款相机使用了英特尔的深度感知技术，结合了摄像头和红外（IR）传感器，可以提供高质量的深度图像和 RGB 彩色图像，为开发者提供了丰富的数据源，用于各种应用，包括虚拟现实（VR）、增强现实（AR）、手势识别、人脸识别、姿势识别、3D 扫描等。

1.D455升级固件至5.12.8.200, 2.彻底卸载librealsense老版本。删除: /usr/lcoal/include/librealsense /usr/local/lib/librealsense*.so /usr/local/bin/rs-* and realsense-viewer 3.librealsense SDK更新至2.40.0 cmake .. \ -DCMAKE_INSTALL_PREFIX=/usr/local \ -DFORCE...