Hadoop Meetup 2021 回顾 - Apache Kyuubi 助力 CDH 解锁 Spark SQL

最新推荐文章于 2024-12-26 18:58:44 发布

网易杭研

最新推荐文章于 2024-12-26 18:58:44 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据 java Spark CDH Hadoop

本文链接：https://blog.csdn.net/NetEaseResearch/article/details/121373713

Apache Kyuubi是一个基于Spark SQL的企业级JDBC网关，兼容HiveServer2，提供高可用和多租户能力。通过与CDH集成，Kyuubi可替代HiveServer2，提升SQL性能。Kyuubi支持引擎隔离级别，如SERVER、USER和CONNECTION，适应不同场景需求。此外，Kyuubi正扩展到更多通信协议和计算引擎，如Flink，且社区正积极发展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Apache Kyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在Spark SQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议（如 RESTful、 MySQL）和计算引擎（如Flink）。

Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServer2，帮助企业把HiveQL迁移到Spark SQL，轻松获得10~100倍性能提升（具体提升幅度与SQL和数据有关）。另外最近比较火的两个技术，LakeHouse和数据湖，都与Spark结合得比较紧密，如果我们能把计算引擎迁移到Spark上，那我们离这两个技术就很近了。

Kyuubi最早起源于网易，这个项目自诞生起就是开源的。在Kyuubi发展的前两年，它的使用场景主要在网易内部。自从2020年底进行了一次架构大升级、发布了Kyuubi 1.0之后，整个Kyuubi社区开始活跃起来了，项目被越来越多的企业采用，然后在今年6月进入了Apache基金会孵化器，并在今年9月发布了进入孵化器后的第一个版本1.3.0-incubating。

Kyuubi vs SparkThriftServer vs HiveServer2

我们通过Kyuubi和其他SQL on Spark方案的对比，看看用Kyuubi替换 HiveServer2能带来什么样的提升。图中对Hive Server2标记了Hive on Spark，这是Hive2的一个功能，最早的Hive会把SQL翻译成MapReduce来执行，Hive on Spark方案其实就是把SQL翻译成Spark算子来执行，但是这仅仅是物理算子的替换，因为复用了Hive的SQL解析逻辑，所以SQL方言还是HiveQL，包括后续SQL的改写、优化走的都是Hive的优化器。Spark2放弃了Hive on Spark方案，选择从头开始做SQL解析、优化，创造了Spark SQL和Catalyst。所以说，Spark Thrift Server只是兼容了HiveServer2的Thrift通信协议，它整个SQL的解析、优化都被重写了。

Kyuubi也是用Spark来解析、优化和执行SQL，所以对于用户来说，客户端与服务端的通信协议是一模一样的，因为大家兼容的都是HiveServer2的通信协议。但是在SQL方言上，Kyuubi和Spark Thrift Server是Spark SQL，HiveServer2是HiveQL。SQL的编译和优化过程，HiveServer2在本进程上进行，Spark是在Driver端进行。对于STS，Thrift Server和Driver在同一个进程内；对于Kyuubi，Thrift Server和Spark Driver是分离的，它们可以跑在同一台机器上的不同进程（如YARN Client模式），也可以跑在不同的机器上（如YARN Cluster模式）。

对于执行阶段，当一条SQL提交后，HiveServer2会将其翻译成了一个Spark Application，每一次SQL提交就会生成一个全新的Spark的应用，都会经历Driver的创建、Executor的创建过程，SQL执行结束后再将其销毁掉。Spark Thrift Server则是完全相反的方式，一个Spark Thrift Server只持有一个Driver，Driver是常驻的，所有的SQL都会由这一个Driver来编译、执行。Kyuubi不仅对这两种方式都支持，还支持了更灵活的Driver共享策略，会在后续详细介绍。

Kyuubi on Spark与CDH集成

CDH是使用最广泛的Apache Hadoop发行版之一，其本身集成了Spark，但是禁用了Spark Thrift Server功能和spark-sql命令，使得用户只能通过spark-shell、spark-submit使用Spark，故而在CDH上使用Spark SQL具有一定的门槛。在CDH上SQL方案用得更多的往往是Hive，比如说我们可以通过Beeline、HUE连接HiveServer2，来进行SQL批任务提交或交互式查询，同时也可以通过Apache Superset这类BI工具连接到HiveServer2上做数据可视化展示，背后最终的计算引擎可以是MapReduce，也可以是Spark。

当我们引入Kyuubi后，图中左侧的这些Client都是不需要更改的，只需要部署Spark3和Kyuubi Server（当前Kyuubi仅支持Spark3），再把Client连接地址改一下，即可完成从HiveQL到Spark SQL的迁移。当然其间可能会碰到HiveQL方言跟Spark SQL方言的差异性问题，可以结合成本选择修改Spark或者修改SQL来解决。