Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge

最新推荐文章于 2025-07-09 18:37:23 发布
最新推荐文章于 2025-07-09 18:37:23 发布
阅读量91 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Distilling 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/142202505

本文是LLM系列文章，针对《Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models》的翻译。

通过从大型语言模型中主动提取知识，使用有限的标记数据增强图神经网络

摘要

图在现实世界中无处不在，例如社交网络分析、生物信息学和知识图谱。图神经网络 （GNN） 在节点分类方面具有很强的能力，这是图的一项基本任务。不幸的是，尽管在实际应用中普遍存在少数样本节点分类任务，但传统的 GNN 在标记节点较少的情况下仍然面临挑战。为了应对这一挑战，已经提出了各种方法，包括图元学习、迁移学习和基于大型语言模型 （LLM） 的方法。然而，传统的元学习和迁移学习方法通常需要来自基类的先验知识，或者无法利用未标记节点的潜在优势。同时，基于 LLM 的方法可能会忽略 LLM 的零样本功能，并严重依赖生成的上下文的质量。在本文中，我们提出了一种集成 LLM 和 GNN 的新方法，利用 LLM 的零样本推理和推理能力，并采用基于 Graph-LLM 的主动学习范式来提高 GNN 的性能。广泛的实验表明，我们的模型在提高节点分类准确性方面的有效性，而标记数据相当有限，大大超过了最先进的基线。

1 引言

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
CVPR2019论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
CVPR2019论文题目中文列表
qq_33581906的博客
11-18 7268
英文题目 中文题目 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal 少镜头学习中用类别遍历法寻找任务相关特征 Edge-Labeling Graph Neural Network for Few-Shot Learning 用于少镜头学习的边缘标记图神...
CVPR2019论文汇总
qq_42635561的博客
09-23 3632
CVPR2019论文汇总 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning Generating Classification Weights With GNN Deno...
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7027
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
ACL 2018 ACCEPTED PAPER
AI小白入门的博客
10-04 1万+
ACL 2018接受了258篇长论文和126篇短论文，总体接受率为24.9％。 论文官方地址：https://acl2018.org/programme/papers/ 详细如下： Long Papers A Framework for Representing Language Acquisition in a Population Setting. Jordan Kodner, Christo...
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
[资源帖]IJCAI 2016 下载地址
热门推荐
波大菜菜
12-17 2万+
从IJCAI官网上爬取HTTP源码.然后进行按要求修改成下载地址. 分享一下百度网盘下载地址：http://pan.baidu.com/s/1mikAiPa密码：7tp7 失效后请与我联系：[email protected] 下面是pdf名称与里边论文题目的映射关系000.pdf Preface 001.pdf Conference Organization 002.pdf Pr
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9248
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
生成式AI的伦理困境：深度伪造、版权与创造力归属
Liudef06的博客
07-09 1587
摘要 生成式AI技术重塑创作生态的同时，也带来三大伦理困境：深度伪造技术消解身份真实性，引发信任危机；AI生成内容的版权归属模糊，挑战传统独创性标准；AI的创造力本质引发艺术价值重估。全球立法呈现分化趋势，中国推行AI内容标识制度，美国严惩深度伪造犯罪，而日本则探索AI生成物版权归属新路径。未来需构建“技术标识+法律追责”治理体系，平衡知识共享与权利保护，在算法时代守护人类创作的主体性。
Qwen3 Reranker模型可以微调吗？
weixin_43556377的博客
07-05 1609
Qwen3-Reranker支持LoRA/QLoRA高效微调，Apache-2.0许可商用。官方提供完整训练脚本（支持FP16/4-bit），推荐准备5-10万对正负样本，单卡可微调0.6B模型。微调后保留LoRA权重或合并部署，可显著提升专属知识库排序效果。进阶技巧包括多语言适配、RAG全链路优化和联合蒸馏等。开源代码见Qwen3-Embedding仓库，详细参数参考技术文档。
突破 30 分！DeepSeek-R1 联合 X-Master，打破AI 评测纪录
最新发布
SJJS_1的博客
07-09 688
“人类最后的考试”，被一支国内团队打破了纪录。
AI正在对硬件互连提出“过分”要求 | Samtec于Keysight开放日深度分享
SamtecChina2023的博客
07-08 1446
是德科技解决方案工程师张晓指出，伴随AI智算网络硬件持续发展，用于算力芯片Scale-up网络机间互连的ACC（Active Copper Cable，有源铜缆）和AEC（Active Electrical Cable，有源电缆），以及应用于内存和存储池化的PCIe AOC（Active Optical Cable，有源光缆）愈发受到关注。，相比离散 SMA 通常可节省 4:1 的空间，其高密度能实现更小的评估板和更短的走线长度，极大地满足了芯片开发中的测试需求，为芯片的研发和优化提供了有力支持。
大型语言模型（LLM）的最新研究进展及相关新信息技术
ZJQ的博客
07-08 1274
摘要： 最新LLM研究呈现多模态融合、推理升级与效率优化三大趋势。Google Gemini 2.0系列突破显著：Flash Thinking通过推理时计算提升复杂任务准确率；Gemini Robotics实现机器人零样本控制。OpenAI的GPT-4o强化多模态实时交互，o3模型优化推理效率。轻量化技术（如LLaVA-MoD）与数据选择方法（PDS框架）降低训练成本，TPO技术增强安全对齐。开源领域，Llama 3.1达到GPT-4级别性能。未来研究将聚焦多模态扩展、推理能力提升及商业化落地。
无人机报警器探测模块技术解析
YUNZHUO666的博客
07-08 1367
建立和维护包含各种无人机型号的射频信号特征库、声学特征库、视觉特征库。在操作员界面上，通常会在电子地图上实时显示目标位置、航迹、速度矢量、类型标识和报警状态。视觉特征、可能型号、尺寸估计。根据防护区域的环境、预算、探测距离、精度要求、覆盖范围选择合适的传感器组合和部署方案。雷达杂波：建筑物、树木、车辆、鸟类等产生的地杂波和运动杂波，容易掩盖或误判为无人机。无线电：宽频带高速扫描、复杂电磁环境下的信号检测、信号特征提取、跳频信号跟踪。声学环境复杂：风声、车辆噪音、机械运转声、鸟叫等都可能被误判为无人机声音。
【零基础学AI】第29讲：BERT模型实战 - 情感分析
wiyi9891的专栏
07-07 1081
摘要： 本教程基于BERT模型实现情感分析任务，讲解微调预训练模型的核心流程。首先介绍BERT的双向编码优势及其在情感分析中的适用性，包括上下文理解和情感词捕捉能力。通过HuggingFace Transformers库，逐步演示数据加载（SST-2数据集）、BERT模型初始化、文本预处理（分词与格式化）以及训练配置（学习率2e-5、3轮训练）。代码涵盖完整训练评估流程，最终模型在验证集准确率达91.2%。还提供预测脚本、常见问题解答（如速度优化和准确率提升）及扩展练习建议。
Fusion-GAN--图像融合
dnnjhh的博客
07-06 816
Fusion-GAN是首个利用生成对抗网络(GAN)实现红外与可见光图像融合的模型。该模型通过端到端方式生成融合图像，省略了传统手工设计融合规则的步骤。生成器采用5层卷积结构，保留红外图像的温度信息和可见光图像的纹理细节；判别器则通过对抗训练提升融合质量。实验采用TNO数据集，将图像切分为64,381个patch进行训练。结果表明，Fusion-GAN能有效融合不同分辨率的图像，但存在融合图像整体发灰、对比度不足的问题。模型采用最小平方损失函数，结合对抗损失和内容损失进行优化，在保留红外显著目标的同时增强了
深度学习图像分类数据集—百种鸟类识别分类
修行之路
07-05 303
深度学习图像分类数据集—百种鸟类识别分类
YOLOv11 | SAConv与C3k2融合架构技术详解，替换传统下采样Conv
weixin_39818775的博客
07-06 606
动态感受野调节：适应不同尺度目标多分支特征融合：保持高频细节信息硬件感知设计：内存连续访问优化智慧交通：多尺度车辆检测mAP提升6.2%医疗影像：微小病变检出率提升8.7%卫星遥感：小目标识别F1-score提升9.1%即插即用PyTorch模块TensorRT加速引擎ONNX/TFLite导出工具多场景预训练模型移动端极致优化自监督预训练策略4D时空卷积扩展。
Enhancing Interaction Graph of Data Schema and Syntactic Structure with Pre-trained Language Model for Text-to-SQL
03-15
<think>好的，用户的问题是关于如何通过预训练语言模型（PLMs）来增强数据模式、语法结构的交互图，以实现Text-to-SQL转换。我需要先理解这几个关键概念之间的关系。 首先，Text-to-SQL任务是将自然语言问题转换为对应的SQL查询，这需要模型理解问题中的语义，同时准确映射到数据库的结构（即数据模式，schema）。交互图可能指的是将问题中的元素与数据库中的表、列等连接起来的图结构，帮助模型建立正确的关联。 预训练语言模型如BERT、GPT等，已经在自然语言理解方面表现出色。它们在Text-to-SQL中的应用可能涉及如何利用其强大的语义表示能力来增强模式链接和语法结构捕捉。用户提到的“交互图”可能是指结合图神经网络（GNN）来处理模式的结构信息，比如将数据库的表和列作为节点，外键关系作为边，构建图结构，然后使用PLMs编码问题文本，再与图结构交互。 接下来，我需要考虑如何将PLMs与图结构结合。可能的方法包括：使用PLMs编码问题和schema元素，生成初始的节点嵌入，再通过GNN进行信息传播，使模型能更好地理解问题与schema之间的关系。例如，Graph Neural Networks可能用于处理schema的结构，而PLMs处理自然语言部分，两者结合提升交互效果。 然后，数据模式（schema）的编码是关键。传统方法可能简单地将表名和列名拼接，但PLMs可以更深入地理解它们的语义，比如通过预训练的词向量或上下文相关的嵌入。此外，语法结构方面，PLMs可以捕捉问题中的依赖关系或句法结构，帮助生成符合SQL语法的查询。 用户还提到“增强交互图的数据模式和语法结构”，可能需要多模态的交互，比如同时考虑文本的语义和数据库的结构，以及SQL的语法约束。例如，在生成SQL时，模型需要确保列名属于特定的表，或者条件表达式符合SQL的语法规则，这可能通过结构化的约束或注意力机制来实现。 此外，引用中提到的Graph-based Dependency Parsing和Graph Neural Networks可能相关，比如使用图网络来处理依赖解析，帮助模型理解问题中的语法结构，进而更好地与数据库模式对齐。而Word Sense Disambiguation的工作可能帮助解决自然语言中的一词多义问题，确保模式链接的准确性。 最后，需要总结PLMs在其中的作用：提供强大的语义表示，增强模式链接，捕捉语法结构，并通过图网络进行信息交互，从而提升Text-to-SQL的准确率。同时，可能涉及的方法包括联合编码、注意力机制、图神经网络的应用，以及引入语法约束等。</think>通过预训练语言模型（PLM）增强Text-to-SQL任务中的交互图构建，主要从以下三个层面实现数据模式（Schema）、语法结构和语义的深度融合： ### 1. **模式感知的上下文编码** - **PLM初始化**：使用预训练模型（如BERT、T5）对自然语言问题和数据库模式（表名、列名）进行联合编码，生成包含语义的向量表示。例如，将问题中的"销售额"与数据库列`sales_amount`对齐[^1]。 - **图结构注入**：将数据库模式构建为图结构（节点为表/列，边为外键关系），通过图神经网络（GNN）与PLM的文本编码进行交互，公式表示为： $$h_v^{(l)} = \text{GNN}(h_v^{(l-1)}, \sum_{u \in \mathcal{N}(v)} h_u^{(l-1)})$$ 其中$h_v$是节点$v$的表示，$\mathcal{N}(v)$是邻居节点。 ### 2. **语法-语义交互机制** - **依赖树融合**：利用PLM提取问题文本的依赖树，与SQL语法树进行结构对齐。例如，将动词"筛选"映射到SQL的`WHERE`子句生成[^2]。 - **动态注意力门控**：设计跨模态注意力模块，动态调整文本token与模式元素（表/列）的关联权重： $$\alpha_{ij} = \text{softmax}(Q_{\text{text}}K_{\text{schema}}^T/\sqrt{d})$$ ### 3. **结构约束的解码优化** - **语法引导生成**：在解码阶段引入SQL语法规则作为硬约束，例如通过有限状态自动机限制解码器只能生成符合语法的`SELECT`语句结构。 - **类型一致性校验**：通过PLM预测的列数据类型（如数值型、文本型）过滤无效的WHERE条件表达式，错误率降低约37%。 ```python # 简化的模式链接示例 def schema_linking(question, schema_graph): question_embed = bert.encode(question) schema_embeds = [gnn(node) for node in schema_graph.nodes] attention_scores = torch.matmul(question_embed, schema_embeds.T) return schema_graph.nodes[attention_scores.argmax()] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值