ES集群压测工具Rally离线压测方法以及优化建议

探讨es集群的官方压测工具rally以及使用方法，压测方案来自es官网 https://github.com/elastic/rally-tracks?spm=a2c6h.12873639.article-detail.11.2dce10755um1B4。

本文主要讨论，由于在内网环境下，安装rally工具比较困难， 并且需要解决复杂的依赖问题。因此本问题主要探讨容器化rally进行压测。

1. 离线rally工具安装和数据准备

为了完成离线安装rally的目标，需要下载如下内容

1，下载rally镜像，保存为rally2.2.1.tar.bz2
2，下载rally压测用例集，可以打包下载，也可以通过git命令下载

git pull git@github.com:elastic/rally-tracks.git

保存为rally-tracks-7.12

3，下载压测用例对应的数据集，由于数据集合很大，因此可以根据实际情况下载，本文只下载了http_logs的压测数据集，保存在rally/benchmarks/data，按照目录结构保存

下载压测数据集的方法如下，可以通过如下方法下载其他类型的压测数据集

我们在elastic官网github上可以看到esrally的数据集相关描述 https://github.com/elastic/rally-tracks
通过查看 rally-tracks/download.sh，我们可以看到，所有数据源都是从一台亚马逊主机上下载的。

通过阅读代码，我们知道：数据集的主路径在http://benchmarks.elasticsearch.org.s3.amazonaws.com/corpora

通过查看 rally-tracks/geonames/files.txt文件，我们知道了geonames的数据集名称叫 documents-2.json.bz2 和 documents-2-1k.json.bz2 。

因此，我们尝试组合上述地址，使用浏览器访问：
http://benchmarks.elasticsearch.org.s3.amazonaws.com/corpora/geonames/documents-2.json.bz2

我们发现，数据集可以下载了。同理，其他数据集，也可以通过这种方式进行手工下载。

4， 配置es.sh压测

WORKSPACE=$(pwd)

echo $WORKSPACE

ESADDRESS=$1
#########判断docker是否存在
DOCKER=$(docker images | grep elastic/rally | awk '{print $3}')
if [ -z "${DOCKER}" ]; then
echo "请先加载docker镜像,参考命令 docker load -i 镜像文件"
exit 0
fi


if [ -z "${ESADDRESS}" ]; then
echo "请输入ES集群地址"
exit 0
fi

TESTTYPE=$2
if [ -z "${TESTTYPE}" ]; then
echo "请输入测试类型,目前支持的类型有geonames http_logs"
exit 0
fi


REPORTFILE=$3
if [ -z "${REPORTFILE}" ]; then
REPORTFILE=result.csv
echo "没有输入测试名称,使用默认测试名称result.csv,地址为${WORKSPACE}/rally/benchmarks/result.csv"
fi
echo "测试结果地址为${WORKSPACE}/rally/benchmarks/${REPORTFILE}"
docker="docker"

EXECCMD="${docker} run --network host  -v ${WORKSPACE}/rally:/rally/.rally elastic/rally:2.2.1  race --pipeline=benchmark-only --target-hosts=${ESADDRESS} --track-path=/rally/.rally/benchmarks/data/${TESTTYPE} --offline --report-format=csv --report-file=/rally/.rally/benchmarks/${REPORTFILE}"
echo $EXECCMD
${docker} run --network host  -v ${WORKSPACE}/rally:/rally/.rally elastic/rally:2.2.1  race --pipeline=benchmark-only --target-hosts=${ESADDRESS} --track-path=/rally/.rally/benchmarks/data/${TESTTYPE} --track-params="bulk_indexing_clients:20" --offline --report-format=csv --report-file=/rally/.rally/benchmarks/${REPORTFILE}


docker rm -f $(docker ps -a | grep elastic/rally | awk '{print $1}')

echo "程序执行完毕"

rally2.2.1.tar.bz2 为docker镜像文件
rally 为docker的映射路径，压测数据存储在./rally/benchmarks/data，压测结果存储在./rally/benchmarks/*.csv

完成4个步骤后，组合成完整的数据结构如下：

2. 进行集群压测

2.1 压测工具使用方法说明

运行es.sh 需要参数为 es集群地址测试的数据类型，例如：

./es.sh xx.xx.xx.xx:9200,xx.xx.xx.xx:9200,xx.xx.xx.xx:9200 http_logs

xx.xx.xx.xx:9200,xx.xx.xx.xx:9200,xx.xx.xx.xx:9200为es集群地址
http_logs 为测试的数据集

2.2 进行es集群数据压测

1, 不同集群的压测数据，跟底层的硬件设备差异很大，因此应该进行磁盘的io也同步进行压测。

先安装fio，如果已经安装可以忽略

yum install -y fio

磁盘io写性能压测

fio -filename=/data1/fio.txt -ioengine=libaio -direct=1 -iodepth 1 -thread -rw=randwrite -bs=4k -size=100G -numjobs=48 -runtime=300 -group_reporting -name=mytest

磁盘io读性能压测

fio -filename=/data1/fio.txt -ioengine=libaio -direct=1 -iodepth 1 -thread -rw=randread -bs=4k -size=100G -numjobs=48 -runtime=300 -group_reporting -name=mytest

2， 选择一台服务器安装docker（yum install -y docker)
3，上传工具包，并解压，导入镜像 使用docker load -i rally2.2.1.tar.bz2 导入docker 镜像
4，执行es.sh 命令

./es.sh xx.xx.xx.xx:9200,xx.xx.xx.xx:9200,xx.xx.xx.xx:9200 http_logs

不同类型类型的数据集数据结构和数据特性相差很大，因此需要根据不同类型的业务进行选择和测试比较合适。本次选用http_logs

根据官方的介绍，目前涉及的数据集，可供选择，主要包括：
1、Geonames: for evaluating the performance of structured data.
2、Geopoint: for evaluating the performance of geo queries.
3、Percolator: for evaluating the performance of percolation queries.
4、PMC: for evaluating the performance of full text search.
5、NYC taxis: for evaluating the performance for highly structured data.
6、Nested: for evaluating the performance for nested documents.
7、http_logs: for evaluating the performance of (Web) server logs.
8、noaa: for evaluating the performance of range fields.

2.3 es压测数据解析

压测完成之后又很多性能指标，一般要关注的数据有：

• throughput 每个操作的吞吐量，比如 index、search等
• latency 每个操作的响应时长数据
• Heap used for x 记录堆栈的使用情况

3. ES优化建议

3.1 es内存分配

当机器内存小于 64G 时，遵循通用的原则，50% 给 ES，50% 留给 lucene。
当机器内存大于 64G 时，遵循以下原则：
如果主要的使用场景是全文检索，那么建议给 ES Heap 分配 4~32G 的内存即可；其它内存留给操作系统，供 lucene 使用（segments cache），以提供更快的查询性能。
如果主要的使用场景是聚合或排序，并且大多数是 numerics，dates，geo_points 以及 not_analyzed 的字符类型，建议分配给 ES Heap 分配 4~32G 的内存即可，其它内存留给操作系统，供 lucene 使用，提供快速的基于文档的聚类、排序性能。

如果使用场景是聚合或排序，并且都是基于 analyzed 字符数据，这时需要更多的 heap size，建议机器上运行多 ES 实例，每个实例保持不超过 50% 的 ES heap 设置（但不超过 32 G，堆内存设置 32 G 以下时，JVM 使用对象指标压缩技巧节省空间），50% 以上留给 lucene。

3.2 禁止 swap

禁止 swap，一旦允许内存与磁盘的交换，会引起致命的性能问题。可以通过在 elasticsearch.yml 中 bootstrap.memory_lock: true，以保持 JVM 锁定内存，保证 ES 的性能。

3.3 es 分片建议

shard数过小不一定好，如果数据量很大，导致每个 shard 体积过大，会影响查询性能。
shard数过大也不一定好，因为 es 的每次查询是要分发给所有的 shard 来查询，然后再对结果做聚合处理，如果 shard 数过多也会影响查询性能。因此 shard 的数量需要根据自己的情况测出来。官方建议单个 shard 大小不要超过 50GB

官方文档有一节关于容量规划的章节，其给出的步骤如下：
使用生产环境的硬件配置创建单节点集群
创建一个只有一个主分片无副本的索引，设置相关的mapping信息
将真实的文档导入到步骤 2 的索引中
测试实际会用到的查询语句
测试的过程中，关注相关指标数据，比如索引性能、查询性能，如果在某一个点相关性能数据超出了你的预期值，那么此时的 shard size大小便是符合你预期的单个 shard size的大小。

4. ES容量模型建议

1.【公有云 ES 最佳实践】
1.1 集群总分片数 < 30000，单个索引分片大小建议不超过 50g，单节点分片数量 < 4000
1.2 节点数超过 20 节点添加专有 master 节点，即 data:master ≤ 20:1
1.3 cpu/mem/disk 建议比例
搜索场景：比例 1:2:32
日志场景：比例 1:4:192 ～ 1:4:384
1.4 单节点性能规格参考
写入性能： 16c/64g、 jvm 32G 单节点可支持 2w docs/s 写入
存储容量 = 源数据 * (1 + 副本数量) * 1.45 * （1 + 0.5）≈ 源数据 * (1 + 副本数量)

2. 【社区建议】
   2.1
   数据加速、查询聚合等场景：单节点磁盘最大容量 = 单节点内存大小（GB）* 10。
   日志写入、离线分析等场景：单节点磁盘最大容量 = 单节点内存大小（GB）* 50。
   通常情况：单节点磁盘最大容量 = 单节点内存大小（GB）* 30。
   2.2
   单个数据节点的shard数量 = 当前节点的内存大小 * 30（小规格实例参考）
   单个数据节点的shard数量 = 当前节点的内存大小 * 50（大规格实例参考）

3. 其他指标 【建议监控指标】
   cpu < 60%
   jvm内存 < 80%
   磁盘util < 60%
   磁盘使用率 < 70%
   集群所有index，必须至少1主 + 1从副本
   集群读写拒绝率 < 0.1%
   集群无节点 old gc
   单节点承载最大数据量 < 1T
   ES版本 >= 6.8

4. 参考文档

• ElasticSearch压测工具：esrally离线使用详解
• 腾讯云ES集群规格和容量配置评估
• 阿里云ES规格容量评估