数据库文件记录组织与缓冲管理全解析

### 数据库文件记录组织与缓冲管理全解析 #### 1. 大对象存储与记录组织概述 数据库中常常会存储比磁盘块大得多的数据，像图像、音频、视频等。SQL 支持 `blob` 和 `clob` 类型来存储二进制和字符大对象。为了简化缓冲区管理和空闲空间管理，多数关系型数据库会限制记录大小不超过块大小。大对象通常存于特殊文件中，记录里则存储指向该对象的逻辑指针，并且常用 B + -树文件组织方式来表示大对象。 记录在文件中的组织方式有多种： - **堆文件组织**：记录可放在文件中有空间的任意位置，记录无序，通常每个关系对应一个文件。 - **顺序文件组织**：记录按“搜索键”值顺序存储。 - **哈希文件组织**：对记录的某个属性计算哈希函数，根据结果确定记录存放的块。 - **多表聚类文件组织**：多个不同关系的记录存于同一文件，相关记录存于同一块，一次 I/O 操作可获取所有关系的相关记录。 #### 2. 顺序文件组织 顺序文件旨在基于搜索键对记录进行高效排序处理。搜索键可以是任意属性或属性集，不必是主键或超键。为实现按搜索键顺序快速检索记录，通过指针将记录链起来，且尽量让记录按搜索键物理顺序存储。 例如，以大学数据库中的教师记录为例，使用 ID 作为搜索键，记录按搜索键顺序存储。顺序文件组织便于按排序顺序读取记录，对显示和某些查询处理算法有用。 然而，插入和删除记录时，维护物理顺序较困难。删除可通过指针链管理，插入则遵循以下规则： 1. 定位搜索键顺序中待插入记录之前的记录。 2. 若该记录所在块有空闲空间，将新记录插入；否则，插入溢出块。同时调整指针，使记录按搜索键顺序链起来。 若溢出块记录较少，此方法可行。但随时间推移，搜索键顺序与物理顺序可能完全不符，此时需对文件进行重组，使其再次按物理顺序排列。重组成本高，应在系统负载低时进行，重组频率取决于新记录插入频率。极端情况下，若插入极少，可始终保持文件物理排序，此时无需指针字段。 #### 3. 多表聚类文件组织 许多关系型数据库系统为每个关系单独使用一个文件，以充分利用操作系统的文件系统。简单的数据库实现适合低成本场景，如嵌入式系统或便携式设备，因其数据库规模小，简单文件结构能减少实现代码量。 但随着数据库规模增大，简单方法不再理想。一些大型数据库系统会分配一个大的操作系统文件，自行管理所有关系的存储。默认情况下，多数数据库在一个块中只存储一个关系的记录，不过在某些情况下，将多个关系的记录存储在一个块中会很有用。 例如，对于大学数据库的 SQL 查询： ```sql select dept_name, building, budget, ID, name, salary from department natural join instructor; ``` 该查询计算 `department` 和 `instructor` 关系的连接。若记录分散在不同块，每次查询都需多次块读取。多表聚类文件组织将相关记录存于同一块，可提高此查询的处理效率。 不过，这种组织方式会降低其他类型查询的处理速度。例如，查询 `select * from department;` 会比单独存储关系时需要更多块访问。为高效定位 `department` 关系的所有元组，可使用指针将该关系的记录链起来。是否采用多表聚类取决于数据库设计者认为最频繁的查询类型，合理使用可显著提高查询性能。 #### 4. 数据字典存储 关系型数据库系统需维护关系的相关数据，即元数据，存储在数据字典或系统目录中。系统需存储的信息包括： - **关系信息**：关系名称、属性名称、属性域和长度、视图名称及定义、完整性约束。 - **用户信息**：授权用户名称、授权和会计信息、用户密码。 - **统计和描述数据**：每个关系的元组数量、存储方法。 - **索引信息**：索引名称、被索引关系名称、索引定义的属性、索引类型。 一些数据库系统使用专用数据结构和代码存储元数据，更优的做法是将其作为数据库中的关系存储，这样可简化系统结构并利用数据库的高效访问能力。数据字典常以非规范化形式存储以实现