大数据：Apache Kyuubi框架简介及与Spark ThriftServer，Hive On Spark的对比

最新推荐文章于 2025-06-27 09:23:49 发布
最新推荐文章于 2025-06-27 09:23:49 发布
阅读量988 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据技术栈 文章标签： spark Kyuubi ThriftServer Hive On Spark 框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanggqianglovec/article/details/125190808
Kyuubi是基于Apache Spark的多租户JDBC接口，扩展了Spark Thrift Server的功能，尤其在多租户支持上。它提供了认证与授权、高可用性等特性，解决Spark ThriftServer的单点、资源隔离、多租户和高可用性问题。通过对比Kyuubi、Spark ThriftServer和Hive On Spark的执行流程，展示了Kyuubi在企业级应用的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

简介

Kyuubi是一个统一的多租户JDBC接口，用于大规模数据处理和分析，建立在Apache Spark之
上。它扩展了Spark Thrift Server在企业应用中的场景，其中最重要的是多租户支持。

一.核心

1.1 整体架构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 功能

Kyuubi 提供以下功能：

1、多租户
  • 1）支持多客户端并发及认证
  • 2）支持每个用户对应一个spark application
  • 3）支持yarn queue/ k8s namespace的ACL
  • 4）支持数据以及元数据的ACL
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据：Kyuubi 与 Spark Thrift Server的对比分析
GIS摆渡人
06-08 440
Kyuubi是一个企业级数据湖探索平台，建立在Apache Spark之上。Kyuubi提供标准化的接口，赋予用户调动整个数据湖生态的数据的能力，使得用户能够像处理普通数据一样处理大数据。Spark ThriftServer（简称STS）作为社区现有的 Thrift服务，提供类似的能力，但STS的目前并未完善，尤其是在企业场景下存在较多短板。Spark Thrift Server 是Apache Spark社区基于HiveServer2实现的一个Thrift服务，旨在无缝兼容HiveServer2。它通过J
企业大数据实战：Kyuubi 与 Spark ThriftServer 的全面对比分析
NetEaseResearch的博客
03-19 7370
网易数帆旗下易数大数据团队开源的 Kyuubi，和 Spark 社区的Spark Thrift Server，都是通过纯 SQL 语言和 JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入HiveServer2 进行全面的分析。
Apache Kyuubi 在 YARN 上的引擎部署指南
最新发布
gitblog_00772的博客
06-27 363
Apache Kyuubi 在 YARN 上的引擎部署指南 概述 Apache Kyuubi 是一个分布式 SQL 引擎服务，支持多种计算引擎后端。本文将详细介绍如何在 YARN 集群上部署 Kyuubi 的 Spark、Flink 和 Hive 引擎，帮助用户充分利用 YARN 集群资源管理能力。 Spark 引擎部署 前置条件 环境要求： 熟悉 Spark on YARN 的基本概念 已...
Apache Kyuubi调研
美丽的毛毛草
07-29 6573
Apache Kyuubi调研1. QuickStart1.1 下载安装启动1.2 打开连接1.3 执行语句1.4 停止服务1.5 用DBeaver进行连接1.6 用java的jdbc进行连接2. Kyuubi 高可用调研2.1 非HA模式下，使用内嵌Zookeeper2.2 Kyuubi高可用2.2.1 负载均衡2.2.2 配置2.2.3 AQS1）SparkContext初始化失败**2）Zookeeper服务发现模式登陆报错**3. 概述3.1 架构3.1.1 架构概述3.1.2 统一接口3.1.3
Apache Kyuubi 快速入门指南
gitblog_01041的博客
06-25 385
Apache Kyuubi 快速入门指南 Apache Kyuubi 是一个分布式 SQL 网关，为用户提供统一的 JDBC 接口来访问多种计算引擎（如 Spark、Flink、Trino 等）。本文将详细介绍如何快速搭建 Kyuubi 环境并进行基本操作。 环境准备 在开始之前，请确保您的系统满足以下基本要求： Java 环境：需要安装 Java 8/11/17，并正确设置 JAVA_HOME...
Apache Kyuubi、Spark Thrift Server与Hive Server2
赣江
12-13 2422
STS和HS2真可谓是一个复杂的历史，最开始的时候，Spark SQL的代码几乎全部都是Hive的照搬，随着时间的推移，Hive的代码被逐渐替换，直到几乎没有原始的Hive代码保留，具体的内容可以参考：Spark最开始打包的是Shark和SharkServer(Spark和Hive的结合体)。那个时候，这个结合体包含了大量的Hive代码。
Kyuubi1.6.0+Spark3.0.0部署
qq_35233282的博客
07-02 2014
Kyuubi1.6.0是支持Spark3.0.0的最后一个版本，再往上需要更高的Spark版本，我这里就没再测试。
Apache Kyuubi：大数据的无服务器SQL门户
gitblog_00722的博客
08-07 625
Apache Kyuubi：大数据的无服务器SQL门户 项目简介 Apache Kyuubi 是一个分布式且多租户的入口，为用户提供在数据仓库和湖仓上的服务化SQL功能。它的设计目标是让用户以类似HiveServer2的方式，无需编程，仅通过Thrift JDBC/ODBC接口就能轻松处理大规模的数据。Kyuubi的核心理念在于最小化用户在客户端使用Spark时的复杂度，同时在服务器端提供资源隔离...
Apache Kyuubi 教程
gitblog_01141的博客
08-07 506
Apache Kyuubi 教程 1. 项目介绍 Apache Kyuubi 是一个分布式且多租户的SQL网关，提供对数据仓库和湖仓的数据服务，支持serverless SQL操作。它通过Thrift JDBC/ODBC接口为终端用户提供纯SQL访问，让用户无需在客户端安装Spark，从而降低了大规模数据处理的门槛。服务器端采用多租户架构，允许管理员实现计算资源隔离、数据安全和高可用性等特性。 2...
Spark on Hive 和 Hive on Spark
2401_84052244的博客
08-01 3294
Spark on Hive 和 Hive on Spark。前者由 Spark 社区主导，以 Spark 为主、Hive 为辅；后者则由 Hive 社区主导，以 Hive 为主、Spark 为辅。两类集成方式各有千秋，适用场景各有不同。在 Spark on Hive 这类集成方式中，Spark 主要是利用 Hive Metastore 来扩充数据源，从而降低分布式文件的管理与维护成本，如路径管理、分区管理、Schema 维护，等等。
基于kyuubi+spark3 加速hive批计算任务
a80090023的专栏
12-02 7218
​​​0x00背景 我司报表平台大量ETL任务原来采用hive on tez引擎执行批计算任务，存在资源不足执行慢等问题急需解决。 经调研及测试，我们发现spark 3.0引擎在sql兼容性及执行速度等方面有巨大优化，平均执行速度是hive的2-10倍，因此我们计划通过spark3.0进行离线加速工作。 0x01架构 ​​​​​​​​​​​​​​​​​kyuubi 1.3.0 spark 3.1.2 Scala 2.12 Submarine:Spark Sercurity 0.6.0..
kyuubi:Kyuubi是基于Apache Spark构建的用于大规模数据处理和分析的分布式多租户JDBC服务器
04-21
Kyuubi是基于构建的高性能通用JDBC和SQL执行引擎。 Kyuubi的目标是促进用户处理大数据（如普通数据）。 它提供了标准化的JDBC接口，在大数据场景中具有易于使用的数据访问。 最终用户可以专注于开发自己的业务系统并挖掘数据价值，而不必了解底层的大数据平台（计算引擎，存储服务，元数据管理等）。 Kyuubi依靠Apache Spark提供高性能的数据查询功能，并且引擎功能的每一项改进都可以帮助Kyuubi的性能取得质的飞跃。 此外，Kyuubi通过引擎缓存提高了临时响应速度，并通过水平缩放和负载平衡增强了并发性。 它提供了完整的身份验证和身份验证服务，以确保数据和元数据的安全性。 它提供强大的高可用性和负载平衡，以帮助您保证SLA承诺。 它提供了两级弹性资源管理体系结构，可以有效地提高资源利用率，同时满足包括交互，批处理和点查询或全表扫描在内的所有方案的性能和响应要求。 它包
kyuubi：Kyuubi是一个统一的多租户JDBC接口，用于大规模数据处理和分析，基于Apache Spark构建
02-06
久比 Kyuubi是基于构建的高性能通用JDBC和SQL执行引擎。 Kyuubi的目标是促进用户处理大数据（如普通数据）。 它提供了标准化的JDBC接口，在大数据场景中具有易于使用的数据访问。 最终用户可以专注于开发自己的业务系统并挖掘数据价值，而不必了解底层的大数据平台（计算引擎，存储服务，元数据管理等）。 Kyuubi依靠Apache Spark提供高性能的数据查询功能，并且引擎功能的每一项改进都可以帮助Kyuubi的性能取得质的飞跃。 此外，Kyuubi通过引擎缓存提高了临时响应速度，并通过水平缩放和负载平衡增强了并发性。 它提供完整的身份验证和身份验证服务，以确保数据和元数据的安
kyuubi、sparksql部署实战与连接
hanwen112的博客
04-29 2604
kyuubi部署与连接
Apache Kyuubi：灵活运用引擎隔离共享，加速即席查询，支持大规模 ETL
NetEaseResearch的博客
11-25 4754
为了能让 Kyuubi可以更好的满足诸如 ETL、BI 报表等多种大数据场景的应用，从 Kyuubi v1.0.0 版本开始，我们引入了 Kyuubi 引擎共享级别这个概念，来对执行侧进行不同粒度的隔离和共享，这个功能在多次版本的迭代过程中不断被优化和完善。
Apache Kyuubi概述——网易数帆（网易杭州研究院）开源
喻师傅的学习笔记
10-24 2404
基于 Apache Spark 实现的一个 Thrift JDBC/ODBC 服务，支持多租户和分布式的特性，可以满足企业内诸如 ETL、BI 报表等多种的大数据场景的应用。
Kyuubi: 网易数帆开源的企业级数据湖管理平台（架构篇）
热门推荐
NetEaseResearch的博客
03-04 1万+
Kyuubi是网易数帆旗下易数大数据团队开源的一个企业级数据湖管理平台，建立在Apache Spark之上。Kyuubi提供一个高性能的通用JDBC和SQL执行引擎，通过它，用户能够像处理普通数据一样处理大数据。本文将详细解读Kyuubi的架构设计。
Apache Kyuubi入门与使用
qq_41463207的博客
03-08 5530
kyuubi入门使用教程
Apache Kyuubi 使用教程
gitblog_00738的博客
08-07 920
Apache Kyuubi 使用教程 项目介绍 Apache Kyuubi 是一个分布式和多租户的网关，旨在为数据仓库和湖仓提供无服务器 SQL 服务。Kyuubi 通过 Thrift JDBC/ODBC 接口为终端用户提供了一个纯 SQL 网关，用于操作大规模数据。它利用预编程和可扩展的 Spark SQL 引擎，实现了“开箱即用”的模型，降低了终端用户使用 Spark 的门槛和成本。 项目快速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Freedom3568

技术域不存在英雄主义，不进则退

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值