大数据StarRocks(二) StarRocks集群部署

原创

已于 2024-01-11 23:35:36 修改 · 1.4k 阅读

12 ·

CC 4.0 BY-SA版权

运维仙人

文章标签：

#大数据 #StarRocks

于 2024-01-03 01:47:46 首次发布

在这里插入图片描述

一、生产机器资源评估

1.梳理数据量，包括每天增量数据接入和全量数据接入
2.数据存储时间长度（1个月/3个月/半年/1年/三年等）
3.报表的SQL查询数量，SQL查询占用资源的统计，需要提前做好压测
4.压测可以采用官网提供的压测工具先进行测试，根据测试数据进行资源调整，然后再要业务数据进行压测一遍
最终以压测中预期结果最好的机器配置进行申请，如果公司很rich的话，直接用80c/256G的机器配置。

二、部署

划分角色
在这里插入图片描述

（1）安装之前先使用命令检查CPU是否支持，有信息输出则支持，没信息输出则不支持建议更换机器

[root@hadoop1011 /app]# cat /proc/cpuinfo |grep avx2|head -1
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl nonstop_tsc cpuid extd_apicid tsc_known_freq pni pclmulqdq monitor ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw topoext invpcid_single vmmcall tsc_adjust bmi1 avx2 smep bmi2 invpcid rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 xsaves clzero xsaveerptr rdpru wbnoinvd arat vaes vpclmulqdq rdpid

另外检查数据盘挂载情况，cpu核数，内存大小
机器直接的网络连通性

（2）下载tar包,并重命名

[root@hadoop1011 /app]# wget https://releases.starrocks.io/starrocks/StarRocks-3.1.4.tar.gz

（3）解压tar包

[root@hadoop1011 /app]# tar -zxvf StarRocks-3.1.4.tar.gz

（4）部署FE，修改配置文件，添加jvm参数，建议-Xmx参数设置到16G以上

[root@hadoop1011 /app]# cd /app/StarRocks-3.1.4/fe/conf/
[root@hadoop1011 conf]# vim fe.conf 
LOG_DIR = ${STARROCKS_HOME}/log
DATE = "$(date +%Y%m%d-%H%M%S)"
JAVA_OPTS="-Dlog4j2.formatMsgNoLookups=true -Xmx32768m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:${LOG_DIR}/fe.gc.log.$DATE -XX:+PrintConcurrentLocks"
JAVA_OPTS_FOR_JDK_9="-Dlog4j2.formatMsgNoLookups=true -Xmx32768m -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xlog:gc*: