超级会员免费看
本文探讨了如何使用大型语言模型（LLM）增强知识图谱（KG）的嵌入和补全。研究显示，LLM通过编码实体和关系的文本描述，能有效丰富KG表示，改善传统方法在表示看不见的实体和长尾关系方面的不足。文中详细介绍了LLM在KG嵌入和补全的不同方法，如LLM作为文本编码器、联合编码、生成器等，并对比了编码器（PaE）和生成器（PaG）的优缺点。研究强调了在选择和应用LLM于KGC时，需要平衡模型复杂性和计算效率。
5.1 LLM-augmented KG Embedding
知识图嵌入(KGE)旨在将每个实体和关系映射到一个低维向量(嵌入)空间中。这些嵌入包含KGs的语义和结构信息，可用于各种任务，如问答[182]、推理[38]和推荐[183]。传统的知识图嵌入方法主要依靠知识图的结构信息来优化嵌入上定义的评分函数(如TransE[25]和DisMult[184])。然而，由于结构连通性有限，这些方法在表示看不见的实体和长尾关系方面往往存在不足[185]，[186]。为了解决这个问题，如图16所示，最近的研究采用llm通过编码实体和关系的文本描述来丰富KGs的表示[40]，[97]。
5.1.1 LLMs as Text Encoders
Pretrain-KGE[97]是一种具有代表性的方法，其框架如图16所示。给定来自KGs的三元组(h, r, t)，它首先使用LLM编码器将实体h, t和关系r的文本描述编码为表示：
其中eh、er和et分别表示实体h、t和关系r的初始嵌入。在实验中，Pretrain-KGE使用BERT作为LLM编码器。然后，将初始嵌入输入到K
订阅专栏 解锁全文
扫一扫
1186
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
