StarRocks各版本性能与兼容性对比测试-StarRocks安装部署

最新推荐文章于 2025-08-18 23:33:47 发布
原创 最新推荐文章于 2025-08-18 23:33:47 发布 · 713 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sql #大数据

一、硬件配置

虚拟机数量: 3台（1 FE + 3 BE）

每台虚拟机配置:

CPU: 10核

在终端中运行以下命令来检查 CPU 是否支持 AVX2 指令集：

cat /proc/cpuinfo | grep avx2

内存: 14GB

存储: 400GB SSD

网络: 1Gbps

二、 软件配置

操作系统: CentOS 7.9

StarRocks版本: 待测试的三个版本(如2.5.22，3.3.13，3.4.3)

三、安装部署

3.1 3台CentOS虚拟机安装 Java 11

sudo yum install java-11-openjdk

java -version

前期准备|下载MySQL： https://blog.csdn.net/m0_72532428/article/details/140465141?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522b4c874c1c936682f519228b18f2a58bc%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=b4c874c1c936682f519228b18f2a58bc&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-2-140465141-null-null.142 

3.2 将压缩包上传至虚拟机后进行解压

tar -zxvf StarRocks-3.3.13-centos-amd64.tar.gz

#这里解压后的文件夹名为“StarRocks-3.3.13-centos-amd64”，为了后续方便，建议重命名为StarRocks-版本号

mv StarRocks-3.3.13-centos-amd64 StarRocks-3.3.13

#解压完成后进入StarRocks-3.3.13路径

cd /home/bigdata/StarRocks-3.3.13

3.3 创建目录

#为FE创建的元数据目录

mkdir -p ./fe/meta

#为创建的数据存储路径

mkdir -p ./be/storage

3.3 部署FE节点

#修改FE配置文件

vi ./fe/conf/fe.conf

#修改以下四个地方

1、取消对“LOG DIR = ${STARROCKS_HOME}/log”的注释

2、修改jvm内存为1024

3、取消对“meta_dir = ${STARROCKS_HOME}/xxx”的注释,并将xxx替换为已创建的元数据目录meta

4、将priority_networks修改为本机ip

3.4 部署BE节点


#修改FE配置文件

vi ./be/conf/be.conf

#修改以下三个地方

1、将priority_networks修改为本机ip

2、取消对“storage_root_path = ${STARROCKS HOME}/xxx”的注释,并将xxx替换为创建的数据存储路径storage

3、增加了限制jvm的内存 JAVA_OPTS="-Xmx1024"



3.5 关闭防火墙

#因为是fe+be所以端口多点,可以直接关闭防火墙

#停掉防火墙

systemctl stop firewalld

#永久关闭防火墙

systemctl disable firewalld

#查看防火墙状态，显示Active: inactive (dead)证明操作成功

systemctl status firewalld

3.6 启动FE和BE节点

./fe/bin/start_fe.sh --daemon

./be/bin/start_be.sh --daemon

3.7 查看FE和BE节点是否启动成功

cat ./fe/log/fe.log | grep thrift

cat ./be/log/be.INFO | grep heartbeat

如果日志打印以下内容，则说明该 FE 节点启动成功：

"2025-05-12 16:12:29,911 INFO (UNKNOWN x.x.x.x_9010_1660119137253(-1)|1) [FeServer.start():52] thrift server started with port 9020."

如果日志打印以下内容，则说明该 BE 节点启动成功：

"I0614 17:41:39.782819 3717531 thrift_server.cpp:388] heartbeat has started listening port on 9050"

以上述同样的方式启动另外两个ip的FE和BE节点

3.8 使用前面安装的MySQL登录

mysql -h 10.8.15.153 -P 9030 -u root

#查看fe节点状态

SHOW PROC '/frontends'\G

#将BE节点加入集群

ALTER SYSTEM ADD BACKEND "10.8.15.153:9050", "10.8.15.154:9050", "10.8.15.156:9050";

#查看be节点状态

SHOW PROC '/backends'\G

对应网址： StarRocks Cluster 







#停止FE和BE节点

./fe/bin/stop_fe.sh

./be/bin/stop_be.sh

四、安装部署过程可能会出现的问题

4.1 端口被占用导致启动节点失败

以BE节点的 HeartBeat 服务未能启动，原因是端口 9050 被占用为例：

运行以下命令确认端口 9050 是否被其他进程占用：

netstat -tlnp | grep 9050

杀掉占用端口9050的进程

kill -9 <进程id>

再次使用第一条命令来确认端口9050是否被其他进程占用，如果此时没有显示任何进程占用端口，说明端口已被释放，即可重新启动BE节点

4.2 启动FE节点时遇到拒绝连接的问题

[bigdata@localhost StarRocks-3.3.13]$ cat ./fe/log/fe.log | grep thrift         org.apache.thrift.TException: java.net.ConnectException: 拒绝连接 (Connection refused)2025-05-09 13:13:13.936+08:00 INFO (UNKNOWN 10.8.15.153_9010_1746767585018(-1)|1) [FrontendThriftServer.start():65] thrift server started with port 9020.org.apache.thrift.TException: java.net.ConnectException: 拒绝连接 (Connection refused)2025-05-09 13:15:38.527+08:00 INFO (UNKNOWN 10.8.15.153_9010_1746767585018(-1)|1) [FrontendThriftServer.start():65] thrift server started with port 9020.

可能原因：

  • 端口冲突： FE 服务的端口（如 9010 或 9020）被其他进程占用。

  • BE服务不可达： FE 需要与 BE 通信，但 BE 未启动或未正确配置。

  • 网络问题： 防火墙规则未正确配置，或网络不通。

  • 配置文件错误： FE 的配置文件中指定了错误的 BE 地址或端口。

4.3 复制已配置好的文件到其他虚拟机

在 StarRocks集群部署中，直接复制第一个节点的配置文件夹到其他节点并简单修改部分配置可能会导致集群无法正常运行，原因如下：

1. 节点唯一标识冲突

  • FE（Frontend）节点：

    • 每个 FE 节点需要唯一的  node_id （在元数据目录  meta_dir  中生成）。

    • 直接复制会导致所有 FE 节点共享相同的元数据标识，导致集群脑裂（split-brain）或启动失败。

    • FE 的元数据目录 ( meta_dir ) 必须独立初始化，不能直接复制。

  • BE（Backend）节点：

    • 每个 BE 节点在集群中有唯一的  be_id （由 FE 分配），直接复制可能导致 BE 标识冲突。

2. 配置文件中的网络参数未更新

  • IP 地址和端口：

    • 每个节点的  fe.conf  或  be.conf  中需要配置 本机 IP 和端口。

    • 如果直接复制第一个节点的配置，其他节点的 IP 可能未正确修改，导致节点间无法通信。

  • 集群配置依赖：

    • FE 节点的  priority_networks  参数需要绑定本机 IP。

    • BE 节点的  be_port 、 webserver_port  等端口需避免冲突。

3. 元数据与数据目录的在独立性

  • FE 元数据目录 ( meta_dir )：

    • FE 节点的元数据存储了集群拓扑、表结构、权限等信息。如果直接复制，其他 FE 会误以为自己已经是 Leader，导致元数据不一致。

  • BE 数据目录 ( storage_root_path )：

    • BE 的数据目录存储了分片（Tablet）的物理数据。直接复制会导致数据分片与集群元数据不一致，可能引发数据损坏。

！！！不要图方便，一定要在每台虚拟机下解压后分别安装部署

鹿衔`
关注
【架构】-- StarRocks 和 Doris 介绍与选型建议
欢迎来到我的博客，一起探索代码里的世界！
04-21 945
查询性能 | ✅ 高性能，支持向量化执行和 CBO 优化器 | ✅ 高性能，优化的查询引擎 |- **实时性要求高**：如果业务对数据的实时性要求较高，建议选择 **StarRocks**，其在实时数据处理和低延迟查询方面表现优越。- **复杂查询需求**：对于需要处理复杂多表关联查询的场景，两者均可胜任，需根据具体性能测试结果进行选择。
StarRocks数据库部署全记录(保姆式帮助你初次体验StarRocks)
Wyatt_zhai
08-02 4727
因业务需要，特此了解StarRocks产品和部署。 接触过程中发现指导资料很稀少，本人将结合官方的手册+其他开源博主指导，将第一次接触到的概念和部署流程梳理，得出本文。 已有的资源中对细节介绍欠缺，导致我本人整个过程中花费了大量时间去验证。这也是本文独特之处
大数据StarRocks(二) StarRocks集群部署
运维仙人
01-03 1493
最终以压测中预期结果最好的机器配置进行申请，如果公司很rich的话，直接用80c/256G的机器配置。4.压测可以采用官网提供的压测工具先进行测试，根据测试数据进行资源调整，然后再要业务数据进行压测一遍。
第1.2章：StarRocks部署--部署环境准备
热门推荐
流木的博客
11-23 1万+
1.1集群硬件推荐 StarRocks对服务器配置的基础要求不高，测试环境2核4G内存下也能够正常进行一些小数据规模的查询。在生产环境下或者我们比较关注性能时，StarRocks各实例推荐的硬件配置为： 实例名称 配置要求 FE 8核16GB万兆网卡 及以上（并发不高时可与BE混布） BE 16核64GB万兆网卡 及以上 CPU必需支持AVX2指令集 Broker .
StarRocks部署常见问题排查
weixin_43993184的博客
11-30 8237
部署场景问题梳理 FE 1.进程查不到 查看fe.warning日志，查找是否有以下报错： 1.1 端口占用 关键字：port xxx is used 解决方法：修改fe.conf中相应被占用端口为闲置端口，重启即可。 1.2 缺少meta目录 关键字：meta not exist 解决方法：在fe安装目录下新建meta目录，然后重启 1.3 jdk环境错误 关键字：Could not initialize class org.apache.doris.rpc.Backen
StarRocks各版本性能与兼容性对比测试-Prometheus+Grafana安装部署
QXXDYL的博客
07-09 1026
浏览器访问 http://服务器IP:3000 （默认端口3000），初始用户名/密码为 admin/admin （首次登录会提示修改密码）。登录Grafana（ http://服务器IP:3000 ），点击左侧菜单 Configuration > Data Sources。验证服务是否正常：访问 http://服务器IP:9090 （默认端口9090），看到Prometheus的Web界面即安装成功。在 URL 字段填写Prometheus的访问地址（ http://localhost:9090 ）
CentOS7安装部署StarRocks
Z-NOTE
11-07 2789
StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。
使用 kind 创建 K8s 集群并部署 StarRocks 的完整指南
铁马冰河入梦
04-08 2299
使用 kind 创建 K8s 集群并部署 StarRocks 的完整指南
starrocks-2.3.1.tar.gz
09-16
6. **2.3.1版本更新**：虽然具体的2.3.1版本更新内容未在描述中提及，但通常软件的新版本会包含性能优化、新功能、bug修复和兼容性改进等。用户在解压后，可以通过官方文档了解详细的变更日志。 7. **安装与部署**...
StarRocks 2.3.1版本发布 - 高性能分析型数据库压缩包
5. 兼容性增强：可能提高了对不同硬件平台和操作系统版本的兼容性，以及对客户端工具和API的兼容性支持。 6. 文档和社区支持：可能提供了更加完善的用户文档和开发者文档，增加了社区支持和交流，使用户更容易学习...
Doris与StarRocks
没有简介
08-15 4363
Doris和StarRocks都是高性能的分析型数据库，它们都适用于大规模数据集的快速查询和分析。Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。
Druid vs StarRocks 选型对比
非典型性程序猿
12-30 2743
近年来，越来越多的企业开始使用数据驱动决策，对数据探索分析的需求进一步提升。随着技术的演进涌，市场现出了各种各样的OLAP引擎，基于不同场景需求，在数据量、性能和灵活性方面进行了不同的取舍。不同的引擎呈现出不同的特点，相应地也有其自己的适用范围。本文对目前比较流行的两款开源引擎Druid和StarRocks进行对比分析。
一道同分排名的SQL题
最新发布
swingline的专栏
08-18 665
遇到这样一道题：(1) 有一张学生课程分数表，字段有：ID、名称、性别、科目、分数。（名称换为学号更能标识唯一学生，但名称好阅读，顾这里先认为名称可以唯一标识学生。(2) 用一个SQL，分别统计每个学生多科目的总分，按性别输出前两名的学生和对应的总分。
如何在 Linux 上安装 SQL Server 2022 和 Azure Data Studio
csdn_aspnet的专栏，请点击博客主页右上角三个点中的私信联系
08-15 1177
本文介绍了如何在Linux系统（以Ubuntu 20.04为例）上安装SQL Server 2022及Azure Data Studio。SQL Server自2017版开始支持Linux平台，通过平台抽象层实现跨平台兼容性。文章详细说明了安装步骤：导入GPG密钥、注册存储库、安装软件包并配置管理员密码。同时介绍了SQL Server在Linux上的不同版本（企业版、标准版等）和主要功能差异。安装完成后，用户可通过Azure Data Studio等工具进行连接管理，文中提供了连接参数设置指南。整个过程简便
技术解读 | 搭建NL2SQL系统需要大模型么？
MatrixOrigin的博客
08-15 888
近年来，大模型（LLMs）的热潮推动了自然语言处理（NLP）任务的广泛进展，NL2SQL（自然语言转SQL）作为热门任务之一也不例外。但是普遍的这些模型的参数量都在100B以上，而NL2SQL作为一个相对niche的场景，并且和业务场景结合密切的情况下，是否可以在一些小参数量的模型上也获得比较好的表现呢？效果立竿见影，准确率从 0.44 → 0.81，说明大模型“理解错误”更多是输入结构的问题。这时候，如果不先过滤schema，大模型也会“幻觉”严重，因为注意力被不相关字段稀释。
PostgreSQL——视图
吴声子夜歌的博客
08-14 1033
视图是一个虚拟表，是从数据库中一个或多个表中导出来的表。视图还可以从己经存在的视图基础上定义。视图一经定义便存储在数据库中，与其相对应的数据并没有像表那样在数据库中再存储一份，通过视图看到的数据只是存放在基本表中的数据。对视图的操作与对表的操作一样，可以对其进行查询、修改和删除。当对通过视图看到的数据进行修改时，相应的基本表的数据也要发生变化，同时，若基本表的数据发生变化，则这种变化也可以自动地反映到视图中。
10 SQL进阶-SQL优化（8.15）
m0_56327159的博客
08-17 385
SQL优化：插入、主键优化、group by、limit、count、update
如何在 MacOS 上安装 SQL Server
csdn_aspnet的专栏，请点击博客主页右上角三个点中的私信联系
08-16 929
本文详细介绍了在MacOS系统上安装SQLServer Express的完整流程。主要内容包括：1) 通过Docker Desktop或命令行安装Docker；2) 使用Docker容器部署SQL Server 2022，包括必要的参数配置；3) 安装sql-cli工具并连接数据库的步骤。文章强调安装过程中需要注意密码设置、端口映射等关键配置项，并提供了验证安装成功的方法。该教程适用于开发者和学习者，帮助他们在Mac环境下搭建SQL Server开发环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值