【SuperGlue】SuperGlue


一、superglue简介

SuperGlue:Learning Feature Matching with Graph Neural Networks

一种基于图卷积神经网络的特征匹配算法

SuperGlue 是 Magic Leap 的 CVPR 2020 研究项目。SuperGlue 网络是一个图形神经网络,它与优化匹配层相结合,经过训练可对两组稀疏图像特征进行匹配。

本文提出一种基于图神经网络的特征点匹配方法,把图像中的特征点看作图的节点,通过注意力机制聚合特征信息,得到用于匹配的特征向量。然后把匹配问题看作一个可微的最优运输问题(differentiable optimal transport problem),利用Sinkhorn Algorithm算法进行求解。

https://blog.csdn.net/qq_36104364/article/details/119911626

在这里插入图片描述

1.代码链接

关于superglue论文复现,参考了GitHub上面的代码:https://github.com/yingxin-jia/SuperGlue-pytorch
在这里插入图片描述

官方代码:https://github.com/magicleap/SuperGluePretrainedNetwork
在这里插入图片描述

2.论文链接

https://arxiv.org/abs/1911.11763


遇到的的问题

问题一

self.sift = cv2.xfeatures2d.SIFT_create(nfeatures=self.nfeatures)
AttributeError: module ‘cv2’ has no attribute ‘xfeatures2d’

解决方法:

将  cv2.xfeatures2d.SIFT_create()  替换成  cv2.SIFT_create()

### 关于 SuperGLUE 的澄清 SuperGLUE 并不是一个用于计算机视觉中的特征匹配算法或库,而是一个自然语言处理 (NLP) 领域的基准数据集集合[^2]。它的主要目标是对语言理解能力进行严格评估,并推动通用语言理解系统的进步。 具体来说,SuperGLUE 是 GLUE 基准的一个升级版本,包含了更加复杂的任务和更具挑战性的数据集。这些任务涵盖了多种语言理解场景,例如语义相似度判断、情感分析、问答等。通过这些任务,研究者可以全面评估模型的语言理解和推理能力。 如果提到的是 **SuperGlue** 而不是 **SuperGLUE**,那么这可能是指一种完全不同的技术——即由 DeTone 等人在 2020 年提出的名为 SuperGlue 的计算机视觉方法。这是一种专门针对图像特征匹配的任务设计的神经网络框架。它可以学习如何将一组局部描述符(local descriptors)与另一组对应关系关联起来,从而完成诸如三维重建、姿态估计等任务。此方法的具体细节可以在论文《Superglue: Learning Feature Matching With Graph Neural Networks》中找到[^3]。 因此需要注意区分大小写以及上下文环境,“S”大写的 SuperGLUE 属于 NLP 领域;而全小写字母 superglue 或首字母大写的 SuperGlue 则属于 CV (Computer Vision)领域。 ```python import torch from superglue.models import SuperGlue # 加载预训练模型 config = {'weights': 'outdoor'} superglue = SuperGlue(config) # 输入两个点云图的特征向量 data = { 'keypoints0': keypoints_list[0], 'keypoints1': keypoints_list[1], 'descriptors0': desc_list[0], 'descriptors1': desc_list[1], 'scores0': score_list[0], 'scores1': score_list[1], 'image0': image_tensor[0], 'image1': image_tensor[1] } with torch.no_grad(): matches = superglue(data) print(matches['matches0']) ``` 上述代码片段展示了如何使用 SuperGlue 库来进行两幅图片之间的关键点匹配操作。 --- ####
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值