信息检索与数据挖掘｜（四）索引构建

已于 2023-10-17 11:20:56 修改
阅读量1.7k 收藏 6
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 右一的电子笔记合集 文章标签： 数据挖掘 信息检索 索引构建
于 2023-10-17 11:19:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63398413/article/details/133377350
本文介绍了信息检索中大规模数据的索引构建方法，包括基于块的排序索引（BSBI）和内存式单遍扫描索引（SPIMI）算法。BSBI通过分块、排序和合并实现，而SPIMI无需排序，更节省内存，两者都在内存限制下处理大量词项-文档ID对。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

📚硬件基础

📚基于块的排序索引方法

🐇BSBI算法(blocked sort-based indexing)

📚内存式单遍扫描索引构建方法

🐇SPIMI算法(single-pass in-memory indexing)

📚分布式索引构建方法

📚硬件基础

  • 访问内存数据比访问磁盘数据快得多。
  • 进行磁盘读写时，磁头移到数据所在的磁道需要一段时间，该时间称为寻道时间。寻道期间并不进行数据的传输。
  • 操作系统往往以数据块为单位进行读写。因此，从磁盘读取一个字节和读取一个数据块所耗费的时间可能一样多。也就是说，将一大块数据从磁盘传输到内存比传输许多小块要快。
  • IR系统的服务器往往有数GB甚至数十GB的内存，其可用的磁盘空间大小一般比内存大小要高几个数量级。

📚基于块的排序索引方法

  • 面向静态文档集的高效单机索引算法
  • 之前提出的倒排索引构建方法（如下），对于小规模文档集来说，均可在内存中完成。在大规模文档集条件下，需要引入二级存储介质来构建索引。
    了解本专栏 订阅专栏 解锁全文
    创建索引：大规模数据处理中的数据索引技术
    NoerrorCode的博客
    08-19 348
    B树索引适用于磁盘存储的数据结构，它通过在树的每个节点中存储多个关键字和对应的指针，从而减少磁盘IO操作次数，提高查询效率。本文介绍了数据索引的概念和常见的索引方法，其中包括B树索引、哈希索引和全文索引。哈希索引：哈希索引使用哈希函数将索引键映射到一个唯一的索引地址，通过直接计算索引地址来快速定位数据。本文将介绍数据索引的基本概念和常见的索引方法，并提供相应的源代码示例。这是一个简化的B树索引实现，其中BTreeNode类表示B树的节点，BTree类表示B树的结构。三、示例代码：B树索引的实现。
    信息检索与数据挖掘 | （二）布尔检索与倒排索引
    知识库搭建ing
    09-20 1610
    对于词项个数和文档规模很大的情况，构造出的关联矩阵是高度稀疏的。这时，只记录原始矩阵中1的位置的表示方法比词项-文档关联矩阵更好。因此，引出了倒排索引。
    倒排索引构建算法SPIMI（已实现，修订版）
    热门推荐
    菜根
    07-04 1万+
    信息检索导论中提到的倒排索引构建方法：                                 内存式单遍扫描索引构建方法（SPIMI : Single-pass in-memeory indexing）：     思想：将一个文档集分割成几个大小相等的部分，参考标准就是分成的每个块可以一次性的装入内存                 将处理每个块产生的词典写入磁盘，对于下一个块则重
    现代信息检索——索引构建
    白水的博客
    09-20 1947
    1. 索引 建立倒排索引的过程称为索引构建，负责构建索引的算法称为索引器。操作系统往往以数据块为单位对数据进行读写，因此从磁盘读取一个字节和读一个数据块所耗费的时间可能一样多。采用一种高效的解压缩算法对数据进行压缩，然后读取磁盘上的压缩数据，再进行解压，这个过程所花的时间往往会比直接读取原始数据的时间少。 下文涉及到是3个名称：倒排表、词典、索引均是指倒排表的不同形式。 1. BSBI算法 BSBI(Blocked sort-based Indexing，基于块的排序索引方法)的基本思想是：收集每一个数据块
    倒排索引构建算法BSBI和SPIMI
    走在前往架构师的路上
    04-05 6780
    参考文献： http://www.cnblogs.com/fly1988happy/archive/2012/04/01/2429000.html http://blog.csdn.net/v_july_v/article/details/7109500 我的数据挖掘算法：https://github.com/linyiqun/DataMiningAlgorithm 我的算法库：h
    海量数据处理之倒排索引
    weixin_30563319的博客
    08-14 498
    前言：本文是对博文http://blog.csdn.net/v_july_v/article/details/7085669的总结和引用 一，什么是倒排索引 问题描述：文档检索系统，查询那些文件包含了某单词，比如常见的学术论文的关键字搜索。 基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。 　以英文为例，下面是要被索引的...
    信息检索与数据挖掘 | （三）模糊检索
    最新发布
    知识库搭建ing
    09-27 558
    大爷想查找一个姑娘叫马*梅，但他确实不记得了，只能采用模糊查询。
    基于开放网络知识的信息检索与数据挖掘.pdf
    07-14
    5. 开放性知识库的构建与信息检索和数据挖掘体系的完善：开放性知识库的构建是网络信息服务中的一个关键环节。随着开放性知识库的完善，信息检索和数据挖掘体系也将得到改进和提升。 6. 互联网对传统媒体的冲击：...
    山东大学信息检索与数据挖掘PPT课程资料
    资源摘要信息:"本节课程是山东大学提供的关于信息检索与数据挖掘的PPT演示文档。信息检索是一个涉及存储、检索和组织信息的系统的过程，以便用户能够找到他们需要的信息。数据挖掘则是从大量数据中提取或‘挖掘’...
    BSBI与索引压缩
    jianglingbixin的博客
    11-07 2305
    目录布尔查询之BSBI与索引压缩代码描述：数据集与代码数据集IdMapInvertedIndexInvertedIndexWriterInvertedIndexIteratorInvertedIndexMapperBSBIIndexsorted_intersectCompressedPostings总结 布尔查询之BSBI与索引压缩 使用斯坦福大学CS 276 / LING 286: Information Retrieval and Web Search课程的代码框架来实现。 代码描述： 对文档块逐个
    indexingMod:该软件包使用SPIMI算法实现了信息检索系统的索引组件
    03-20
    indexingMod 该软件包使用SPIMI算法实现了信息检索系统的索引组件。 作者：Bilal Ansari @ Ye Thi Ha ==========说明============= 此python程序（indexingMod）使用SPIMI算法实现信息检索系统的索引组件。 输入索引程序： 包含文本文件的数据集目录的路径。 （例如“ C：\ Dataset”） SPMI算法的块大小。 （例如50000） 索引程序的输出： 包含反向索引的文本文件，即“ out_SPIMI_Output.txt”。该文件与输入数据集输出在同一目录中。 ==========环境设置============= 从GitHub下载此索引包（indexingMod）（作为zip文件轻松下载）。将其保存并解压缩到计算机的首选目录中（例如“ C：\ Test \ indexingMod”）。注意：数据包中的示
    spimi算法的c++实现倒排索引器并gamma编码压缩
    01-10
    spimi算法实现的倒排索引的构建，并且对倒排索引进行了Gamma编码压缩，对词典进行了单一字符串压缩，分别写入了二进制的倒排索引文件和词典文件
    BSBI倒排索引算法
    10-29
    python3.6实现中文语料文本的BSBI算法（倒排索引）索引程序实现。包括中文文本分词，停用词表。
    C语言实现的倒排索引算法(含全部源码)
    06-19
    C语言实现的倒排索引算法(含全部源码)
    mysql spi_倒排索引构建算法BSBI和SPIMI
    weixin_35117981的博客
    01-27 449
    算法介绍 在信息搜索领域，构建索引一直是是一种非常有效的方式，但是当搜索引擎面对的是海量数据的时候，你如果要从茫茫人海的数据中去找出数据，显然这不是一个很好的办法。于是倒排索引这个概念就被提了出来。再说倒排索引概念之前，先要理解一下，一般的算法介绍在信息搜索领域，构建索引一直是是一种非常有效的方式，但是当搜索引擎面对的是海量数据的时候，你如果要从茫茫人海的数据中去找出数据，显然这不是一个很好的办法...
    信息检索导论——四、索引构建
    u013952285的博客
    07-07 2714
    1、硬件基础 2、基于块的排序索引方法 3、内存式单遍扫描索引构建算法 4、分布式索引构建 5、动态索引构建 6、安全性和排序式检索中的索引问题
    信息检索导论-读书笔记(1)-信息检索导论基础知识
    serryuer的博客
    05-04 2139
    目录信息检索导论-读书笔记(1)-信息检索导论基础知识0. 本文概述1. 倒排索引和布尔检索1.1 倒排索引的构建1.2. 布尔查询的处理1.3 基本布尔操作的扩展以及有序检索2 词项词典及倒排记录表2.1 词项集合的确定2.2 基于跳表的倒排记录表快速合并算法2.3 含位置信息的倒排记录表和短语查询3. 词典及容错式检索3.1 通配符查询3.2 拼写校正4. 索引构建4.1 基于块的排序索引构建...
    算法博客索引
    gexiaobaoHelloWorld的专栏
    11-04 1064
    http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E2%80%93Pratt_algorithm.html
    信息检索导论读书笔记（四）：索引构建
    djl806943371的博客
    03-25 890
    建立倒排索引的过程称为索引构建，负责构建索引的程序或计算机称为索引器。操作系统往往以数据块为单位进行读写，因此从磁盘读取一个字节和读一个数据块所耗费的时间可能一样多。采用一种高效的解压缩算法然后读磁盘压缩数据再解压所花的时间往往会比直接读取为压缩数据的时间少。 基于块的排序索引方法（blocked sort-based indexing）（BSBI）： 对于很多大型语料...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    啦啦右一

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值