【深度学习】YOLO_World-SAM-GraspNet机械臂抓取仿真

原创 已于 2025-05-26 14:04:41 修改 · 4.3k 阅读 · 97 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#YOLO #深度学习 #机械臂 #GraspNet #人工智能 #Python

于 2025-05-21 12:30:00 首次发布

 项目演示

GraspNet+YOLO

目录

GraspNet计算抓取姿态

YOLO-World目标检测

SAM图像分割

抓取仿真流程

项目实现(以下步骤均在虚拟环境下执行)

1 环境配置

2 编译并安装

3 下载GraspNet-baseline的权重(训练好的)

4 运行manipulator_grasp项目

5 运行YOLO_World-SAM-GraspNet项目

GraspNet计算抓取姿态

GraspNet能够基于点云数据生成抓取点及其对应的夹抓姿态，并输出置信度最高的结果，确保抓取的可靠性。

YOLO-World目标检测

YOLO-World是一种高效的目标检测模型，能够通过用户提供的文本提示识别任意目标类别。与传统的目标检测模型依赖于预定义的类别不同，YOLO-World 可以通过简单的文本提示，如 “检测飞机” 或 “查找街道上的汽车”，来实现对新物体的检测。

YOLO-World目标检测

SAM图像分割

SAM（Segment Anything Model）能够生成高质量的掩码图。是由MetaAI最新发布的一个图像分割领域的预训练模型。SAM的提出突破了分割界限，极大地促进了计算机视觉基础模型的发展。

SAM图像分割

抓取仿真流程

UR5机械臂通过深度相机获取场景的RGB图像和深度图。使用YOLO-World模型对图像中的待抓取物体进行目标检测，定位物体的边界框。然后利用SAM对检测到的物体进行图像分割，生成高精度的掩码图。深度相机提取物体的三维点云数据，基于点云数据，通过GraspNet模型计算抓取点及其对应的夹抓姿态，并选择置信度最高的结果。最后UR5机械臂根据计算出的夹抓姿态执行抓取动作，完成整个抓取任务。

项目实现(以下步骤均在虚拟环境下执行)

1 环境配置

创建虚拟环境

conda env remove -n mujoco_graspnet
conda create -n mujoco_graspnet python=3.9
conda activate mujoco_graspnet

进入虚拟环境后下载开源manipulator_grasp项目

git clone https://gitee.com/chaomingsanhua/manipulator_grasp.git
cd manipulator_grasp

下载graspnet-baseline项目

GraspNet-Baseline 是一个开源的抓取算法基准模型，它是 GraspNet-1Billion 大规模抓取数据集的基线模型。

git clone https://github.com/graspnet/graspnet-baseline.git
cd graspnet-baseline

修改requirements.txt

sudo gedit requirements.txt

这里要指定numpy的安装版本为1.23.4。删除torch，我们后面自行安装

保存后执行安装指令

pip install -r requirements.txt

安装torch等所需的环境包

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
pip install spatialmath-python==1.1.14
pip install roboticstoolbox-python==1.1.1
pip install modern-robotics==1.1.1
pip install mujoco==3.3.1

2 编译并安装

2.1 编译并安装PointNet++自定义算子

  • PointNet++是处理3D点云的经典神经网络，需要自定义CUDA算子实现高效采样和特征聚合
  • VoteNet是基于PointNet++的3D目标检测框架
cd pointnet2
python setup.py install
cd ../

安装时发现报错：The detected CUDA version mismatches the version that was used to compile PyTorch.具体解决参考这篇文章：

报错解决：The detected CUDA version mismatches the version that was used to compile PyTorch._the detected cuda version (10.1) mismatches the ve-CSDN博客文章浏览阅读239次，点赞3次，收藏2次。Anaconda虚拟环境中，PyTorch版本与系统CUDA版本不匹配时，推荐在Conda虚拟环境中安装CUDA。确认问题已解决，这种方法避免了因Ubuntu版本限制而无法安装低版本CUDA的问题。_the detected cuda version (10.1) mismatches the version that was used to com https://blog.csdn.net/agentssl/article/details/147960670?spm=1001.2014.3001.5502若出现报错“cuda_runtime_api.h: No such file or directory.”参考这篇文章：报错解决：cuda_runtime_api.h: No such file or directory-CSDN博客文章浏览阅读242次，点赞9次，收藏5次。在conda虚拟环境中使用gcc编译依赖CUDA时报错fatal error: cuda_runtime_api.h: No such file or directory：使用conda安装的cuda是的，而精简版的cuda没有办法编译，会缺少头文件。缺少的头文件指的就是这部分提到的。而NVIDIA原版的CUDA Toolkit是完整版的CUDA，可以进行编译，且不缺少头文件。：将系统CUDA库的路径加入系统环境变量，使用系统CUDA的cuda_runtime_api.h（此解决方法同样适合。 https://blog.csdn.net/agentssl/article/details/147989459?spm=1001.2014.3001.5502

编译并安装基于PyTorch CUDA实现的k-最近邻（k-NN）算子：

  • k-NN算子：用于快速计算数据点之间最近邻关系的算法模块
  • CUDA加速：利用NVIDIA显卡进行并行计算加速
  • PyTorch扩展：为深度学习框架添加自定义C++/CUDA操作
cd knn
python setup.py install
cd ../

安装graspnetAPI工具包

git clone https://github.com/graspnet/graspnetAPI.git
cd graspnetAPI

修改setup.py，将sklearn替换为scikit-learn

sudo gedit setup.py

 

修改后开始安装

pip install .
cd ../

3 下载GraspNet-baseline的权重(训练好的)

在manipulator_grasp文件夹新建logs/log_rs文件夹，将下载好的权重checkpoint-rs.tar放进log_rs，如图

4 运行manipulator_grasp项目

进入manipulator_grasp文件夹，运行主函数

python main.py

出现报错

Traceback (most recent call last): File "/home/song/hjx/manipulator_grasp/main.py", line 19, in <module> from graspnet_dataset import GraspNetDataset File "/home/song/hjx/manipulator_grasp/graspnet-baseline/dataset/graspnet_dataset.py", line 12,https://download.pytorch.org/whl/torch_stable.html ModuleNotFoundError: No module named 'torch._six'

修改graspnet-baseline/dataset/graspnet_dataset.py 即可。

# 原代码（旧版PyTorch）
from torch._six import container_abcs
# 修改为（适配PyTorch 2.x）
import collections.abc as container_abcs

修改后再次运行

关闭Open3D窗口，机械臂开始执行抓取，如下图所示

5 运行YOLO_World-SAM-GraspNet项目

安装额外的环境包

pip install ultralytics==8.3.98
pip install git+https://github.com/openai/CLIP.git

下载开源代码

这里感谢大佬分享https://pan.baidu.com/s/1NNeS5C_9irYVFHOGCWR0ZQ 提取码: rri4

运动代码过程中发现苹果抓取效果不是特别好，初步认为是因为位置摆放太远

修改苹果位置：

通过VScode打开项目，修改红框位置即可

进入YOLO_World-SAM-GraspNet文件夹运行：

python main_yoloWorld_sam.py

 在命令终端输入待抓取物体，第一次运行命令会下载模型，如图所示

随后会生成目标检测结果、SAM掩码图以及预测抓取姿态

项目成功运行！

制作不易，对您有帮助的话就点赞收藏支持下，感谢感谢~

参考文章

（二）Graspnet在mujoco的仿真复现（操作记录）_mujoco机器人仿真复现-CSDN博客

【深度学习】YOLO-World: Real-Time Open-Vocabulary Object Detection，目标检测
q742971636的博客
04-08 3409
YOLO-World是一种实时开放词汇目标检测系统，它通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO（You Only Look Once）系列检测器的开放词汇检测能力。具体来说，该研究提出了一个新的可重新参数化的视-语路径聚合网络（RepVL-PAN）和区域-文本对比损失函数，以促进视觉和语言信息之间的交互。YOLO-World在零样本方式下检测广泛对象类别方面表现出色，并且效率很高。
【深度学习】yolo-World，数据标注，zeroshot，目标检测
q742971636的博客
04-23 1302
【代码】【深度学习】yolo-World，数据标注，zeroshot，目标检测。
工业机器人视觉-YOLOv11机械臂抓取定位与姿态估计优化方案.pdf
02-16
该文档【工业机器人视觉-YOLOv11机械臂抓取定位与姿态估计优化方案】共计 37 页，文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。还在为目标检测的低效和高成本发愁吗？它凭借独特的单阶段检测算法，只需对图像进行一次扫描，就能迅速精准地识别出多个目标，速度远超传统方法。不仅如此，YOLO在精度上也毫不逊色，无论是小目标还是复杂场景下的目标，都能被它敏锐捕捉。在安防监控、自动驾驶、工业检测等众多领域，YOLO都已大显身手。选择YOLO，就是选择高效、精准的目标检测解决方案，开启智能新时代！
pybullet+graspnet实现多相机点云融合与物体抓取
wtd2000的博客
03-05 2742
第二个函数get_and_process_date()比较重要，是重点修改的函数，其中color和depth需要换成自己的文件，其中color是三通道（虽然是png，但没有a通道），workspace_mask用来裁剪工作范围。这里的meta.mat其实就是投影矩阵，你在获取color和depth的时候相机怎么配置的，要使用同样的配置到这个地方。可以看见的是，基本上和原项目的效果差不多，但是仿真环境里面它把我的桌子也当成夹持物体了，这显然是不合理的。这样你就获取了输入的数据。后面的东西都不需要改了。
揭秘GraspNet：让机器人学会“抓”住世界
最新发布
jiaquan3011的博客
06-29 1025
本文将介绍一个在机器人抓取领域具有里程碑意义的项目——GraspNet。它不仅提供了一个大规模的数据集，还提出了创新的算法和解决方案，极大地推动了通用物体抓取技术的发展。
6-DOF GraspNet: Variational Grasp Generation for Object Manipulation
cocapop的博客
03-10 2677
抓取姿势的成功取决于抓取相对于对象的相对姿 势。在这里，我们 专注于生成单个对象的抓取姿势，由于机械手的到达 和由于场景中的其他对象而产生的额外约束超出了本 工作的范围，可以通过轨迹优化技术来处理。相比之下，抓点检 测方法(GPD)[31,15]对候选抓点进行更密集的采样:对 观测到的点云中的一个点进行随机采样，并构建一个 与估计的表面法线和主曲率的局部方向对齐的达布框 架。这些方法中 的许多都依赖于物体的完整3D模型的可用性，这在现实 场景中是一个严重的限制，例如，机器人只能用嘈杂的 深度相机观察场景。
（四）YOLO_World-SAM-GraspNet的mujoco抓取仿真（操作记录）
ou1531037815的博客
05-10 1545
这里直接克隆之前项目的环境。
ur10_robotiq_graspnet复现
Already8888的博客
03-23 1149
1.把生成的抓取姿态转到末端坐标系（wrist_3_link/tool0_controller），生成最终夹爪的目标位姿，定轴，先绕y90度，再绕x90度，（一开始漏了这一步坐标转换，一直在看相机坐标系之间的转换。3.网络输出是基于相机坐标系的，需要手眼标定可以获取相机坐标系相对机械臂末端坐标系的,其实是相机坐标系相对于夹爪坐标系，夹爪坐标系就定在腕部。T2，手眼标定，眼在手上，看camera_color_optical_frame，和wrist3姿态一样，位置偏移看相机安装位置。
pybullet+graspnet实现多相机点云融合与物体抓取（二）
wtd2000的博客
03-12 2112
# 计算视角矩阵需要有三个必要的参数：相机眼位置，相机目标位置和相机上向量组成。值得注意的是，相机的视角矩阵很可能与相机的位姿齐次矩阵不同。rot = R.from_quat(qq).as_matrix()#qq是相机姿态四元数R1 = rotgg1 = gg[0]#gg是demo函数返回的抓取列表，经过gg.sort_by_score()后，取分数最高的抓取ori = np.array(gg1.rotation_matrix)#gg的旋转矩阵。
（二）Graspnet在mujoco的仿真复现（操作记录）
ou1531037815的博客
04-15 2565
mujoco graspnet 仿真项目的复现记录
如何使用YOLOv5进行物体检测，并通过GraspNet进行6D位姿估计，从而实现机械臂的抓取规划
weixin_40514381的博客
09-12 6856
上述代码展示了如何使用YOLOv5进行物体检测，并通过GraspNet进行6D位姿估计，从而实现机械臂的抓取规划。每种方法和库都有其特定的优缺点，6D位姿估计确保机械臂能够精确地定位物体，不同的应用场景和物体特性需要调整算法和代码。
YOLO前篇---Real-Time Grasp Detection Using Convolutional Neural Networks
xiaoou的博客
11-25 2898
论文地址：https://arxiv.org/abs/1412.3128 1. 摘要 比目前最好的方法提高了14%的精度，在GPU上能达到13FPS 2. 基于神经网络的抓取检测 A 结构 使用AlexNet网络架构，5个卷积层+3个全连接层，卷积层有正则化和最大池化层 网络结构示意图如下 B 直接回归抓取 最后一个全连接层输出6个神经元，前4个与位置和高度相关，另外2个用来表示方向 ...
GraspNet：一种用于低功耗器件抓取实时检测的高效卷积神经网络
天道酬勤
12-27 6921
GraspNet: An Efficient Convolutional Neural Network for Real-time Grasp Detection for Low-powered Devices 会议：(IJCAI-2018年) 文章链接 摘要：         最近关于抓取检测的研究主要集中在通过深度CNN模型来提高准确度，但这是以牺牲大量内存和计算资源为代价的。在本文中，我们提出了一种高效的CNN结构，该结构
handlenet-baseline：“ GraspNet-1Billion：通用对象抓取的大规模基准”的基准模型（CVPR 2020）
02-05
GraspNet基准 “ GraspNet-1Billion：通用对象捕获的大规模基准”的基准模型（CVPR 2020）。 [ ] [] [ ] [ ] 我们的基准模型检测到的前50个抓地力。 要求 Python 3 PyTorch 1.6 Open3d的0.8 TensorBoard 2.3 NumPy 科学 枕头 tqdm 安装 获取代码。 git clone https://github.com/graspnet/graspnet-baseline.git cd graspnet-baseline 通过Pip安装软件包。 pip install -r requi
yolo_world_pytorch实时开放词汇目标检测模型
qq_27815483的博客
11-11 1686
YOLO-World是一种实时开放词汇目标检测系统，它通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO（You Only Look Once）系列检测器的开放词汇检测能力。该模型没有使用在线词汇表，而是提供了一个提示-检测范式，其中用户根据需要生成一系列提示，提示将被编码到离线词汇表中。然后可以将其重新参数化为模型权重，用于部署和进一步加速。
Yolo-World在自定义数据集上进行闭集词汇训练过程（一）——使用源码训练模型
ITdaka的博客
05-29 8632
基于自定义数据集如何训练yolo-world模型
复现graspnet并使用自己的数据实现（pycharm）
热门推荐
zhuanzhuxuexi的博客
08-02 1万+
使用realsensel515实感相机，使用数据线连接电脑realsensel515相机参数factor_depth 4000 深度转换值intrinsic_matrix 相机内部参数1351.720979.2601352.93556.038001。
GraspNet-1Billion
weixin_50920579的博客
02-01 2389
然后，类似于抓取标注的生成过程，在给定不同的µ的情况下，我们可以通过力闭合度量得到每个抓取姿势的二进制标签。这些图像是从190个杂乱的场景中收集的，每个场景都贡献了两个不同摄像头拍摄的512张RGB-D图像，总共带来了97,280张图像。测试集中30个用于见过的物体，30个用于没见过但相似的物体，30个用于新物体。组合M个（3+c）和M个（2+v）--生成圆柱形的抓取区域，每个区域里ni个抓取点（ni*（3+c））3.此外，为了提高抓取姿态的抗扰性，提出了抓取亲和场的新表示法，使网络具有较强的抗扰动能力。
基于GraspNet熟悉点云抓取代码的处理逻辑
weixin_50557558的博客
06-04 2491
基于GraspNet熟悉点云抓取代码的处理逻辑
YOLO-world sam2
03-31
### YOLO 结合 SAM 的实现与教程 YOLO 和 SAM 是两种不同的计算机视觉技术，分别专注于目标检测和语义/实例分割。将两者结合起来可以显著提升模型性能并扩展其应用范围。以下是关于如何结合这两种技术的相关信息。 #### 技术背景 YOLO（You Only Look Once）是一种高效的目标检测框架，能够快速识别图像中的对象及其边界框位置[^3]。而 SAM（Segment Anything Model），尤其是最新版本 SAM2，则提供了一种强大的工具来完成复杂的像素级分割任务[^1]。通过集成这两个模型，可以在保持高效率的同时获得更精确的结果。 #### 实现方式概述 一种常见的做法是在使用 YOLO 进行初步的对象定位之后，再利用 SAM 对这些区域执行进一步的精细分割操作。具体来说： - 首先运行 YOLO 来获取感兴趣区域(ROI)，即每个预测出来的矩形框坐标； - 接着把这些 ROI 输入给预训练好的 SAM 或者自定义调整后的 SAM 变体作为提示(prompt)数据源之一； - 最终由 SAM 输出对应于原始输入图像上各个物体轮廓更加细致准确得多边形式表示法——掩码(mask)[^4]。 此过程可以通过编写脚本自动化处理大批量文件夹内的所有图片样本，并保存转换后的标注格式供下游机器学习算法继续训练之需所用。 #### 示例代码片段 下面展示了一个简单的 Python 脚本来演示上述流程的一个简化版例子: ```python from ultralytics import YOLO import torch from segment_anything import sam_model_registry, SamAutomaticMaskGenerator def load_yolo(): model = YOLO('yolov8n.pt') # 加载官方提供的轻量化版本权重文件 return model def init_sam(device='cuda'): checkpoint_path = "./sam_vit_h_4b8939.pth" model_type = "vit_h" sam = sam_model_registry[model_type](checkpoint=checkpoint_path).to(device=device) mask_generator = SamAutomaticMaskGenerator(sam) return mask_generator if __name__ == "__main__": yolo = load_yolo() sam_mask_gen = init_sam() img_path = 'test.jpg' results = yolo(img_path) boxes = results[0].boxes.xyxy.cpu().numpy() masks = [] for box in boxes: x_min, y_min, x_max, y_max = map(int,box.tolist()) cropped_img = cv2.imread(img_path)[y_min:y_max,x_min:x_max] generated_masks = sam_mask_gen.generate(cropped_img) masks.append(generated_masks) ``` 注意这段伪代码仅作概念验证用途，在实际部署前可能还需要考虑更多细节因素比如错误捕获机制等等[^5]。 #### 性能考量 当把两个独立开发出来各自擅长不同方面的深度神经网络组合起来的时候，不可避免会遇到一些挑战，例如计算资源消耗增加以及潜在的时间延迟等问题。因此建议开发者们根据自己的项目需求权衡利弊后再决定是否采用这种方法论[^6]。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

八宝粥行动

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值