BerkeleyDB复制框架搭建全解析

### Berkeley DB 复制框架搭建全解析 #### 1. 复制框架搭建基础 现在你已经有足够的背景知识来开始构建复制框架了。对于小型非关键应用，构建一个简单的框架相对容易，Berkeley DB 源码发行版中就包含了这样的实现。若要将 Berkeley DB 复制用于关键应用，如路由器或高流量网站，则需要花费大量时间来正确设计复制框架。 在构建框架前，需要了解一些术语。在复制环境中，副本（replicas）、节点（nodes）和站点（sites）含义相同，都指参与复制的 Berkeley DB 环境。复制框架包含三个不同组件：数据库环境（谈论环境时用副本合适）、通信层（网络实体通常称为节点）以及处理站点的复制管理框架。 #### 2. 复制 API 复制框架分为两部分，一部分包含在 Berkeley DB 库中，另一部分需应用程序实现。以下是一些基础复制 API： | API | 描述 | | --- | --- | | DbEnv::rep_process_message | 用于将从副本接收到的消息传递给库以处理内容。 | | DbEnv::set_rep_transport | 用于配置库向副本发送消息时使用的回调。 | | DbEnv::rep_start | 向库表明应用程序已准备好处理复制消息，库可启动复制。 | | DbEnv::rep_elect | 用于在已知副本中发起选举以选择主节点。 | | DbEnv::rep_set_config | 用于修改复制配置。若应用程序未调用此 API，库将使用默认值。 | | DbEnv::set_rep_limit | 用于设置复制框架中的各种限制。 | | DbEnv::rep_sync | 用于强制同步之前被指示延迟同步的副本（通过 rep_set_config 方法中的 DB_REP_CONF_DELAYCLIENT 标志）。此 API 也用于管理过载主节点的负载。 | | DbEnv::rep_stat | 用于从库中收集与复制相关的统计信息。 | 其中，前四个 API 最为重要，除非使用默认的基于 TCP/IP 的通信框架，否则编写复制应用程序必须使用这四个 API。API 描述和源码发行版附带的参考指南中缺少应用程序调用这些 API 的顺序，可通过尝试不同顺序或查看在线的 ex_repquote 示例来确定，但这是个繁琐的过程。 应用程序调用复制 API 的推荐顺序如下： ```mermaid graph LR A[打开数据库环境，设置 DB_INIT_REP 标志为 true] --> B[设置副本管理基础设施] B --> C[设置复制传输回调（若不使用默认通信框架）] C --> D[调用 DbEnv::rep_start] D --> E[调用 DbEnv::rep_elect 发起选举] E --> F[选举完成，节点了解组状态、主节点身份等] ``` #### 3. 新副本加入复制环境的步骤 当新副本要加入复制环境时，需按以下步骤操作： 1. 打开数据库环境，将 DB_INIT_REP 标志设置为 true，此标志使库以复制模式初始化。若未设置此标志，后续调用复制 API 将导致运行时错误或异常。 2. 设置管理副本的基础设施，包括设置通信通道和创建用于保存副本状态和连接信息的数据结构。若使用默认通信框架，则无需此步骤，可在调用 DbEnv::rep_start 之前的任何时间执行。 3. 在调用 DbEnv::rep_start 之前，设置复制传输回调（若不使用默认通信框架）。若未设置，库将无法响应从副本接收到的消息，可通过调用 DbEnv::set_rep_transport 设置传输。 4. 设置传输后，调用 DbEnv::rep_start，这将在库中启动复制过程，库开始向所有已知副本发送其信息。 5. 调用 DbEnv::rep_elect 发起选举以确定主节点。若已知副本中没有已知主节点，rep_elect 调用将启动选举过程；否则，主节点将通过发送自身信息响应新副本的 rep_elect 消息。 6. 选举完成后，节点将了解组的状态、主节点的身份以及组中存在的其他节点。若新初始化的节点不是主节点，主节点将询问新副本的当前状态，然后根据复制配置使新副本与自身同步；若新初始化的节点成为主节点，它将开始同步其余客户端节点。 #### 4. 打开复制模式的环境 可以重用之前开发的 DbUtils 类以复制模式打开环境。以下是打开环境的代码： ```cpp 126 DbUtils::DbUtils(): 127 dbEnv_(0) 128 { 129 try 130 { 131 std::string envhome = "./chap8_env"; 132 std::stringstream ss; 133 ss << envhome; 134 ss << "_"; 135 ss << repId_; 136 137 dbEnv_.set_errpfx("chap8_ex"); 138 dbEnv_.set_errcall(errCallback); 139 dbEnv_.set_lk_detect(DB_LOCK_DEFAULT); 140 dbEnv_.set_thread_count(16); 141 u_int32_t envFlags = 142 DB_INIT_MPOOL | DB_INIT_TXN | 143 DB_INIT_LOCK | DB_THREAD | 144 DB_INIT_REP | DB_INIT_LOG | 145 DB_RECOVER | DB_CREATE; 146 dbEnv_.open(ss.str().c_str(), envFlags, 0); 147 } 148 catch(DbException &dbex) 149 { 150 dbEnv_.err(dbex.get_errno(), "Db exception caught"); 151 } 152 catch(...) 153 { 154 std::cout << "unknown exception caught" << std::endl; 155 } 156 } ``` 新构造函数实现与之前大部分代码相同，但