Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings

一、文章主要内容

本文聚焦大型语言模型（LLMs）知识探测的效率问题，提出了名为PEEK（Proxy Embeddings to Estimate Knowledge）的框架，旨在通过预训练嵌入模型作为代理，高效估算LLMs的知识储备，避免传统探测方法中大量计算成本高的模型前向传播操作。

1. 研究背景

LLMs在生成式预训练中获取了多领域知识，但由于随机性和训练数据的复杂性，其知识储备难以预测。传统知识探测方法（如设计特定提示、分析隐藏表示、估算不确定性）需频繁调用LLMs进行前向传播，对计算资源消耗大，尤其不适用于超大型或黑箱LLMs。同时，预训练嵌入模型（文本嵌入、图嵌入）在文本和知识图谱表示学习中表现出色，且与LLMs存在预训练数据重叠和架构相似性，具备作为LLMs知识探测代理的潜力。

2. 核心方法（PEEK框架）

• 知识探测函数：设计4种方式判断LLMs是否掌握某一事实，包括二元生成（Yes/No问答）、二元对数生成（提取正确token的对数概率）、二元激活预测（基于LLMs隐藏层激活训练线性头分类）、事实生