自动早期排行榜生成与下一查询主题预测

### 自动早期排行榜生成与下一查询主题预测 在学术研究和信息检索领域，有两个重要的方面值得深入探讨，一是自动早期排行榜的生成，二是预测用户下一查询的主题以实现即时信息检索。 #### 自动早期排行榜生成 在深度学习领域，有一个非常受欢迎的 GitHub 仓库（https://github.com/sbrugman/deep - learning - papers），它包含了关于恶意软件检测/安全、代码生成、自然语言处理任务（如摘要、分类、情感分析等）以及计算机视觉任务（如风格迁移、图像分割和自动驾驶汽车等）的最新技术（SOTA）论文。该仓库有超过 2600 个星标，被分叉 330 次，记录了 27 个不同的热门主题。 然而，两个流行的学术搜索系统——Google Scholar（GS）和 Semantic Scholar（SS），在返回的顶级结果中很少能找到由专业专家精心挑选的 SOTA 论文。尽管这两个系统并非专门为查找 SOTA 论文而优化，但这无疑是一个重要的搜索功能缺失。随着领域的饱和和稳定，对“最新 SOTA 论文”的引用可能会超过对旧论文的引用，但快速识别 SOTA 论文对研究人员，尤其是新手和从业者来说至关重要。 我们还确定了一些手动策划的排行榜，用于比较特定任务上的竞争论文。选取的四个流行排行榜分别是： 1. The Stanford Question Answering Dataset（SQuAD） 2. Pixel - Level Semantic Labeling Task（Cityscapes） 3. VOC Challenge（PASCAL） 4. MIT Saliency（MIT - 300） 每个排行榜都包含多篇竞争论文，并根据多个指标进行比较。例如，SQuAD 排行榜包含 117 篇竞争论文，根据“Exact Match”和“F1 score”两个指标进行比较。这些任务主要涵盖自然语言处理（如问答）和图像处理（如语义标记、图像分割和显著性预测）等主题。 在对 SOTA 论文进行排名时，使用了 Recall@10、Recall@20、NDCG@10 和 NDCG@20 作为评估指标，对 27 个主题进行平均计算。由于我们的主要目标是找到有竞争力的先前研究，因此在网络搜索中，召回率更为重要，而在顶级结果的精度（NDCG）方面也会给予一定关注。 以下是 Google Scholar（GS）和 Semantic Scholar（SS）在不同主题下对 SOTA 论文的召回情况： | 主题 | #SOTA | GS Top - 10 | GS Top - 20 | SS Top - 10 | SS Top - 20 | | --- | --- | --- | --- | --- | --- | | Code Generation | 7 | 0 | 0 | 0 | 0 | | Malware Detection | 3 | 0 | 0 | 0 | 0 | | Summarization | 3 | 0 | 0 | 0 | 0 | | Taskbots | 2 | 0 | 0 | 0 | 0 | | Text Classification | 15 | 0 | 1 | 0 | 0 | | Question Answering | 1 | 0 | 0 | 0 | 0 | | Sentiment Analysis | 2 | 0 | 0 | 0 | 0 | | Machine Translation | 6 | 1 | 1 | 0 | 1 | | Chatbots | 2 | 0 | 0 | 0 | 0 | | Reasoning | 1 | 0 | 0 | 0 | 0 | | Gaming | 14 | 0 | 0 | 0 | 0 | | Style Transfer | 6 | 1 | 3 | 2 | 2 | | Object Tracking | 1 | 0 | 0 | 0 | 0 | | Visual Q&A | 1 | 1 | 1 | 1 |