【KD】2022 KDD FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks

最新推荐文章于 2024-09-12 08:42:43 发布

静静喜欢大白

最新推荐文章于 2024-09-12 08:42:43 发布

阅读量649

点赞数

CC 4.0 BY-SA版权

分类专栏： KD论文阅读文章标签：人工智能机器学习深度学习 GNN KD

本文链接：https://blog.csdn.net/lj2048/article/details/126947844

KD论文阅读专栏收录该内容

53 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文提出了一种新的知识蒸馏框架FreeKD，用于图神经网络（GNN），它解决了传统知识蒸馏中依赖深度优化教师GNN的问题。FreeKD通过分层强化学习让两个较浅的GNN相互学习，从而提高性能，适用于多种GNN模型。实验结果显示FreeKD在多个数据集上显著提升了GNN的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0.简介

今天给大家介绍北京理工大学计算机学院李长升教授团队发表在KDD2022上的文章，《FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks》。知识蒸馏 (KD) 已证明其提高图神经网络 (GNN) 性能的有效性，其目标是将知识从较深的教师GNN 提炼成较浅的学生GNN，但由于过度参数化和过度平滑问题，很难训练出令人满意的教师GNN，导致实际应用中的无效知识迁移。本文提出了一个通过GNN强化学习的Freedirection Knowledge Distillation框架，称为FreeKD，它不再需要提供更深入的优化教师GNN，而是协作构建两个较浅的GNN，以通过分层强化学习的方式在它们之间交换知识。在五个基准数据集上进行的大量实验表明，FreeKD在很大程度上优于两个基本GNN，并显示了它对各种 GNN 的性能提升。