信息检索与数据挖掘 | （五）文档评分、词项权重计算及向量空间模型

除词项频率tf外，我们还想利用词项在整个文档集中的频率进行权重和评分计算。

今天学习的是第６章，关于词项权重方面的，重要性还是很大的。在电商搜索应用中，用到这的地方很多。比如我们搜索商品时，商品的属性很多，如“标题”，“描述”。我们要匹配的关键字只要满足这些属性之一就返回，这时候我们一般对不同属性不会一视同仁，比如“标题”中匹配的重要性就要比“描述”内容更大，更应该排在前面返回。 假设我们现在做一个在线电商的项目，商品有两个属性字段，分别是“标题(title)”...

1. 总述 本章主要介绍一下几个问题： 给定关键词，如何评定包含这些关键词的文档中哪些更重要，即如何给文档进行相关性排序 tf-idf算法是什么？ 怎样给文档中的词项进行打分？ 支配了IR界几十年的空间向量模型是什么？他存在什么缺点？ 2. 参数索引及域索引 本节以一个简单的例子介绍如何给文档进行排序。 元数据（metadata）：一个文档固定有的字段，并且该字段取值范围是有限的，如文档的创建时间，创建者，文档类型等。 文本域（zone）: 一个文档的某些字段，并且该字段的取值范围是无限的，如文档标题，

文档评分 第一种方法: Jaccard系数 计算两个集合重合度的常用方法 令 A 和 B 为两个集合 Jaccard系数的计算方法: JACCARD (A, A) = 1 JACCARD (A, B) = 0 如果 A ∩ B = 0 A 和 B 不一定要同样大小 Jaccard 系数会给出一个0到1之间的值 不足 不考虑词项频率 ，即词项在文档中的出现次数 罕见词比高频词的信息量更大，Jaccard系数没有考虑这个信息 没有仔细考虑文档的长度因素 词项频率 词项t的词项频率 tft,d 是指t 在d中出

在使用词嵌入向量进行文本分类时，我们可以先将文本中的单词转换为对应的向量，然后使用逻辑回归对这些向量进行建模，从而进行文本分类。具体地，我们可以将一个文本中所有单词的词嵌入向量求平均，得到一个文本的向量表示，然后使用逻辑回归对这个向量进行分类。需要注意的是，要使用词嵌入向量和逻辑回归进行文本分类，我们需要先准备好一个预训练的词嵌入模型，或者使用现有的词嵌入模型进行训练。因此，可以将上述模型看作是一个简单的基于词嵌入向量和逻辑回归的文本分类模型，它的训练和推理过程与标准的逻辑回归模型类似。

相似检索方法是一种用于从大量数据中找到与查询数据相似的数据项的技术。这种方法通常用于信息检索、推荐系统、图像处理、自然语言处理等领域。相似检索主要方法可以总体分为以下几类：这些方法各自有其适用的场景和特点，选择合适的相似检索方法取决于应用的需求、数据类型和性能要求。通常，研究和实践中会根据具体情况采用不同的方法或它们的组合来解决相似检索问题。

深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用

简介在某些平台评论中会经常出现一些有毒评论（即一些粗鲁，不尊重或者可能让某人离开讨论的评论），这使得许多人不愿意再表达自己并放弃在平台中评论。因此，为了促进用户对话，提出...

【信息检索与数据挖掘期末笔记】文档评分

索引压缩 目录 索引压缩 为什么需要压缩？ 两种压缩方式： 信息检索中词项的统计特性 Heaps定律 Zipf定律 词典压缩 用定长数组来存储词典中的词项。 将词典看成单一字符串的压缩方法 按块存储 前端编码 倒排记录表的压缩 可变字节编码VB编码 gamma 编码 索引压缩：对词典和倒排记录表这两个数据结构进行压缩。 为什么需要压缩？ 使用更少的磁盘空间 节省资金 在内存中存放更多信息 提高速度 提高数据从磁盘传输到内存的速度 读取压缩数据|解压缩 ...

基础知识预备：1.什么是空间向量：空间中具有大小和方向的量叫做空间向量。向量的大小叫做向量的长度或模（modulus)空间向量的坐标表示：A(x,y ,z)2.空间向量的运算：空间向量的坐标运算：设a=(x1,y1,z1)，b=(x2,y2,z2)|a|= (根据勾股定理)a+b=(x1+x2,y1+y2,z1+z2)a-b=(x1-x2,y1-y2,z1-z2)ka=k(x1,y1,z1)=(k...

©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络在 NLP 中，我们经常要去比较两个句子的相似度，其标准方法是想办法将句子编码为固定大小的向量，然...

一、题目要求 在Experiment1的基础上实现最基本的Ranked retrieval model   • Input：a query (like Ron Weasley birthday)   •Output: Return the top K (e.g., K = 100) relevant tweets. Use SMART notation: lnc.ltn   • Document: logarithmic tf (l as first character), no idf and cosin

参数化索引及域索引 迄今为止,我们都将文档看成一系列词项的序列.实际上,大多数文档都具有额外的结构信息.数字文档通常会把与之相关的元数据(metadata)以机读的方式一起编码.所谓元数据,指的是和文档相关的一些特定形式的数据,比如文档的作者,标题以及出版日期等等. 问题:考虑查询"寻找由William Shakespeare 于 1961年撰写,其中包含短语alas poor Yoric...

6.1 参数化索引及域索引 检索的时候，条件可以设置：标题中含？作者是？摘要中含？ 有条件要求情况下，怎么处理索引来支持检索？参数化索引。 一篇文档，可能含有：标题，摘要，作者，正文等各个部分。不同的部分看做不同的：域(任意自由文本) ，对不同的域建立域索引 例子: william作者的作品，建立域索引； 支持查询"标题出现merchant,作者有william,正文中存在短语gentl r

1、主要内容：     在文档规模很大的情况下，满足布尔查询的结果文档数量可能非常多，往往会大大超过用户能够浏览的文档的数目。需要对搜索出来的文档进行评分和排序。     ①、参数化索引及域索引的概念；目的：1、可以通过元数据（文档的作者、标题、出版日期等）来对文档进行索引和检索；2、上述索引能够提供一个简单的文档评分；     ②、词项字在文档中的权重的概念，并通过期出现的统计信息进行权重

智能信息检索——向量相似度的算法实现1．实验目的2．实验任务与要求3．实验说明书⑴功能描述⑵概要设计⑶详细设计⑷代码实现⑸亮点4．实验成果5．程序调试过程 1．实验目的 通过实验，使学生掌握向量相似度的基本实现方法。 2．实验任务与要求 向量空间模型是信息检索中最重要的形式化模型之一，向量相似度是对向量空间模型评分的重要依据。本实验需要编程实现向量相似度的基本算法实现。 3．实验说明书 ⑴功能描述...