HBase性能调优与基准测试全攻略

# HBase性能调优与基准测试全攻略 ## 1. HBase数据压缩配置 ### 1.1 压缩的重要性 数据压缩是HBase的重要特性，其优势显著： - 减少HDFS读写的字节数。 - 节省磁盘空间。 - 提升从远程服务器获取数据时的网络带宽效率。 HBase支持GZip和LZO编解码器，推荐使用LZO压缩算法，因其数据解压缩速度快且CPU使用率低。若追求更高压缩比，可考虑GZip。但由于许可问题，HBase不能自带LZO，需手动安装。 ### 1.2 安装LZO并配置HBase使用LZO压缩 #### 准备工作 - 确保构建hadoop - lzo的机器已安装Java。 - 使用以下命令安装Apache Ant： ```bash $ sudo apt-get -y install ant ``` - 集群所有节点安装原生LZO库： ```bash $ sudo apt-get -y install liblzo2-dev ``` #### 操作步骤 1. 从https://github.com/toddlipcon/hadoop - lzo获取最新的hadoop - lzo源码。 2. 从源码构建原生和Java的hadoop - lzo库，根据操作系统选择构建32位或64位二进制文件。以构建32位二进制文件为例： ```bash $ export JAVA_HOME="/usr/local/jdk1.6" $ export CFLAGS="-m32" $ export CXXFLAGS="-m32" $ cd hadoop-lzo $ ant compile-native $ ant jar ``` 若构建64位二进制文件，将CFLAGS和CXXFLAGS的值改为 - m64。 3. 将构建好的库复制到主节点的$HBASE_HOME/lib和$HBASE_HOME/lib/native目录： ```bash hadoop@master1$ cp hadoop-lzo/build/hadoop-lzo-x.y.z.jar $HBASE_HOME/lib hadoop@master1$ mkdir $HBASE_HOME/lib/native/Linux-i386-32 hadoop@master1$ cp hadoop-lzo/build/native/Linux-i386-32/lib/* $HBASE_HOME/lib/native/Linux-i386-32/ ``` 对于64位操作系统，将Linux - i386 - 32改为Linux - amd64 - 64。 4. 在hbase - site.xml文件中添加hbase.regionserver.codecs配置： ```bash hadoop@master1$ vi $HBASE_HOME/conf/hbase-site.xml <property> <name>hbase.regionserver.codecs</name> <value>lzo,gz</value> </property> ``` 5. 在集群中同步$HBASE_HOME/conf和$HBASE_HOME/lib目录。 6. 使用HBase自带工具测试LZO设置： ```bash hadoop@client1$ $HBASE_HOME/bin/hbase org.apache.hadoop.hbase.util.CompressionTest /tmp/lzotest lzo ``` 若配置正确，将输出SUCCESS。 7. 创建使用LZO压缩的表并验证： ```bash $ hbase> create 't1', {NAME => 'cf1', COMPRESSION => 'LZO'} $ hbase> describe 't1' ``` ### 1.3 工作原理 构建的hadoop - lzo Java和原生库分别安装在$HBASE_HOME/lib和$HBASE_HOME/lib/native目录。添加LZO压缩支持后，HBase StoreFiles（HFiles）在写入时会对块使用LZO压缩。HBase通过构建的hadoop - lzo Java库加载原生LZO库进行压缩。在hbase - site.xml文件中添加LZO到hbase.regionserver.codecs设置，可避免因编解码器缺失或安装错误导致节点启动失败。 ### 1.4 其他压缩选项 还可使用最近发布的Snappy压缩库和Hadoop Snappy集成，具体设置可参考：http://hbase.apache.org/book.html#snappy.compression ## 2. HBase合并管理 ### 2.1 HBase表的物理存储结构 HBase表由多个区域（Region）组成，每个区域可能包含多个存储（Store），每个存储对应一个列族（Column Family）。数据先写入MemStore，当MemStore达到阈值时，数据会刷新到HDFS的StoreFiles中。 ### 2.2 合并类型 - **小合并（Minor Compaction）**：HBase会自动选取较小的StoreFiles并将其重写为一个较大的文件。 - **大合并（Major Compaction）**：在特定情况或按配置间隔（默认每天一次）自动运行，会删除已删除或过期的单元格，并将存储中的所有StoreFiles重写为一个单一的StoreFile，通常可提升性能。但大合并会重写所有存储数据，可能在过程中产生大量磁盘I/O和网络流量，不适合高负载系统。 ### 2.3 关闭自动大合并并手动运行 #### 准备工作 以启动集群的用户身份登录HBase主服务器。 #### 操作步骤 1. 在hbase - site.xml文件中添加以下内容： ```bash $ vi $HBASE_HOME/conf/hbase-site.xml <property> <name>hbase.hregion.majorcompaction</name> <value>0</value> </property> ``` 2. 在集群中同步更改并重启HBase。 3. 自动大