spark-thrift 访问延迟10秒的排查思路

最新推荐文章于 2025-05-08 16:34:34 发布
原创 最新推荐文章于 2025-05-08 16:34:34 发布 · 613 阅读 · 1 ·
CC 4.0 BY-SA版权
文章标签：

#hadoop #大数据

本文记录了使用 CDH6.2.1 和 spark-thrift 版本 2.4.5 时，通过 dbeaver 连接出现大约 10 秒延迟的问题。经过排查，发现延迟主要由网络解析产生，并最终定位到 NetManager 优先使用 DNS 而非 hosts 文件。通过调整网络配置解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境介绍

CDH6.2.1
spark-thrift版本2.4.5
异常描述
使用dbeaver连接时延迟10秒左右
主要日志为

20/10/21 11:41:16 INFO ThriftCLIService: Client protocol version: HIVE_CLI_SERVICE_PROTOCOL_V1
20/10/21 11:41:16 DEBUG ThriftCLIService: Client's IP Address: 10.103.117.243
20/10/21 11:41:16 DEBUG ThriftCLIService: Client's username: anonymous
20/10/21 11:41:16 DEBUG ThriftCLIService: Client's IP Address: 10.103.117.243
20/10/21 11:41:16 DEBUG UserGroupInformation: PrivilegedAction as:anonymous (auth:SIMPLE) from:org.apache.hive.service.cli.session.HiveSessionProxy.invoke(HiveSessionProxy.java:59)
20/10/21 11:41:16 DEBUG SessionState: SessionState user: anonymous
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.client.use.legacy.blockreader.local = false
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.client.read.shortcircuit = false
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.client.domain.socket.data.traffic = false
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.domain.socket.path = /var/run/hdfs-sockets/dn
20/10/21 11:41:16 DEBUG HAUtil: No HA service delegation token found for logical URI hdfs://newbig
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.client.use.legacy.blockreader.local = false
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.client.read.shortcircuit = false
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.client.domain.socket.data.traffic = false
20/10/21 11:41:16 DEBUG BlockReaderLocal: dfs.domain.socket.path = /var/run/hdfs-sockets/dn
20/10/21 11:41:16 DEBUG RetryUtils: multipleLinearRandomRetry = null
20/10/21 11:41:16 DEBUG Client: getting client out of cache: org.apache.hadoop.ipc.Client@134c370e
20/10/21 11:41:17 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9565
20/10/21 11:41:17 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9565
20/10/21 11:41:17 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:18 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9566
20/10/21 11:41:18 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9566
20/10/21 11:41:18 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:19 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9567
20/10/21 11:41:19 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9567
20/10/21 11:41:19 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:20 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9568
20/10/21 11:41:20 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9568
20/10/21 11:41:20 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 2ms
20/10/21 11:41:21 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9569
20/10/21 11:41:21 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9569
20/10/21 11:41:21 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:22 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9570
20/10/21 11:41:22 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9570
20/10/21 11:41:22 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:23 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9571
20/10/21 11:41:23 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9571
20/10/21 11:41:23 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 2ms
20/10/21 11:41:24 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9572
20/10/21 11:41:24 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9572
20/10/21 11:41:24 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:25 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9573
20/10/21 11:41:25 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9573
20/10/21 11:41:25 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:26 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop sending #9574
20/10/21 11:41:26 DEBUG Client: IPC Client (1607020784) connection to cdhnode01.localdomain/172.27.10.70:8032 from hadoop got value #9574
20/10/21 11:41:26 DEBUG ProtobufRpcEngine: Call: getApplicationReport took 1ms
20/10/21 11:41:27 DEBUG DataTransferSaslUtil: DataTransferProtocol not using SaslPropertiesResolver, no QOP found in configuration for dfs.data.transfer.protection
20/10/21 11:41:27 DEBUG Client: The ping interval is 60000 ms.
20/10/21 11:41:27 DEBUG Client: Connecting to newbigma02.localdo

主要排查思路

1.校验disk io,网络带宽

IO正常
网络带宽万兆

2.检查所有主机日志

主机日志为发现明显相关延迟错误

3.关注spark-thrift的实现方式

解读部分源码后，发现主要延迟是网络解析产生的

4.主要关注网络配置

发现根因使用NetManager管理网络后DNS被优先解析而不是hosts文件
主要参考链接：https://bugzilla.redhat.com/show_bug.cgi?id=1093777
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/networking_guide/sec-starting_networkmanager

5.解决Linux中/etc/resolv.conf文件总是自动改回的问题

修改/etc/sysconfig/network-scripts/ifcfig-team0文件，添加一句PEERDNS=yes即可

大数据领域 Hive 与 Spark 的集成应用
AI天才研究院
05-10 1019
随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。
大数据面试题之Spark(6)
自律给我自由
07-01 1324
大数据面试题之Spark(6)
spark thriftserver进程fullgc导致卡死和计算getsplit时间很长问题
简单就好
04-09 2605
背景 参考饿了么经验：https://zhuanlan.zhihu.com/p/28574213 饿了么经验中谈到：“hive.exec.orc.split.strategy为ETL”，但是这样可能导致spark thriftserver的内存压力很大，面对大作业会导致full gc从而进程卡死或退出。 原因 先看看split的strategy类别，它有BI，ETL和HYBRID三种，...
thrift RPC接口请求超时
热门推荐
07-08 1万+
某次client调用服务端RPC接口超时导致连接断开，但是server说自己返回数据了,然后client用tcpdump抓包发现没抓到server返回的数据，但是server端说自己返回数据了啊，不能相信。让server端用tcpdump去抓包，发现server端没向client端发送数据，server把数据塞入RPC接口，就没管了，RPC接口并没有发数据，导致server端tcpdump没抓到包，最后发现当发送的数据过去时，RPC接口不会讲数据发送出去。 ...
记一次Spark引擎执行Sql超时优化
星空的风fly
02-22 7322
前几天用spark引擎执行了一个较大的sql，涉及的表和数据量都不少，不同时间段执行了几次都超时，经过上网及分析，尝试解决了此问题，使用spark引擎测试几次大概都在半个小时左右完成，不再出现超时现象 一、问题现象 摘抄部分现场日志如下： 2022-02-01 13:02:12 INFO 22/02/01 13:02:12 [dag-scheduler-event-loop] INFO DAGScheduler: ShuffleMapStage 28 (run at ThreadPoolExecuto
HDFS 读文件分析
CYZ412的博客
05-23 379
HDFS 读文件分析 标签： hdfs 文件 分析 | 发表时间：2014-04-18 04:31 | 作者：驰晨 分享到： 出处：http://ronxin999.blog.163.com UNIX Domain Socket   UNIX Domain Socket是在socket架构上发展起来的用于同一台主机的进程间通讯（IPC），它不需要经过网络协议栈，不需要打包...
datagrip远程连接spark-sql成功，但是显示不出数据库架构
06-19
步骤5：启用元数据检索如果步骤4能显示数据库但Datagrip不显示，可能是元数据检索被禁用：-在Datagrip中右键点击连接->属性->选项-勾选“延迟加载架构”和“检索所有架构”步骤6：更新驱动版本下载与Spark版本匹配的...
我现在基础环境是hadoop 3.3.6 、hive 4.0.1、hudi 1.0.2,现在需要集成spark3.5.6,请给出具体的部署方案
最新发布
08-02
我们已知用户的环境是：Hadoop 3.3.6, Hive 4.0.1, Hudi 1.0.2，现在要集成Spark 3.5.6。 注意：Spark 3.5.6是较新的版本，而Hive 4.0.1官方可能尚未明确支持该版本，但通常Spark的向后兼容性较好。我们需要确保...
大数据领域 Hive 入门指南：从基础到实战
AI天才研究院
05-08 840
随着企业数据规模从TB级向PB级跨越，传统关系型数据库（如MySQL）在海量数据存储与分析场景中逐渐显现性能瓶颈。Hive作为Apache基金会旗下基于Hadoop的数据仓库工具，通过类SQL语法（HiveQL）将复杂的MapReduce任务透明化，使数据分析师无需掌握Java编程即可完成大规模数据处理。
BlockReader接口实现类的read操作----BlockReaderLocalLegacy类中read(ByteBuffer buf)函数
weixin_39935887的博客
02-16 507
之前我们分析了四个构造BlockReader类对象函数 1、getLegacyBlockReaderLocal(),该函数返回一个BlockReaderLocalLegacy类对象 2、getBlockReaderLocal(),该函数返回一个BlockReaderLocal类对象 3、getRemoteBlockReaderFromDomain(),该函数返回一个RemoteBlockRe...
【异常】Spark写入HBase时写入DataNode失败：dfs.client.block.write.replace-datanode-on-failure.policy
活的洒脱怪我咯的专栏
12-25 6821
问题描述： 在SparkStreaming长时间写入HBase的时候，会下面的异常问题： 2017-12-24 23:20:34 [ SparkListenerBus:540107357 ] - [ ERROR ] Listener EventLoggingListener threw an exception java.io.IOException: Failed to replace
Spark写入数据到Hbase（hdfs bulkload方式）
多头注意力探索Now
05-04 1748
hbase同步数据到hdfs程序设计思路基于spark数据处理引擎
hadoop spark之常用配置
架构师老狼
02-13 673
1.2 安装配置 1.2.1 安装jdk1.8 #root vim /etc/profile export JAVA_HOME=/data/software/jdk1.8.0_191 export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/jre export CLASSPATH=.:JAVAH​OME/jreexportC...
Cloudera Impala 编译、安装与配置
黄刚的技术博客
11-03 2104
Impala是由Cloudera开发的高性能实时计算工具，相比Hive性能提升了几十、甚至近百倍，基本思想是将计算分发到每个 Datanode所在的节点，依靠内存实现数据的缓存进行快速计算，类似的系统还有Berkeley的Shark。从实际测试来看，Impala效率确实 不错，由于Impala大量使用C++实现，不使用CDH的Image而自己编译安装要费不少功夫，这里记录一下安装配置过程和碰到的一
大佬们，我的HADOOP一直报错，我把调试信息发出来，求大佬们帮我看看我到底是哪里出问题了！！！跪谢
Yyeyeye的博客
06-10 2437
hduser@master:~$ hadoop fs -ls /18/06/10 08:58:44 DEBUG util.Shell: setsid exited with exit code 018/06/10 08:58:44 DEBUG conf.Configuration: parsing URL jar:file:/usr/local/hadoop/share/hadoop/common...
Ranger、LLAP管理SparkSQL权限配置(hiveserver2)
TBSOD的博客
05-08 3501
转载：https://zhuanlan.zhihu.com/p/35647068 概述 之前一直使用ranger管理hive的用户权限，现在系统要集成SparkSQL(thriftserver)，但是在ranger下并没有SparkSQL的相关的插件，通过搜集HORTONWORKS相关资料，可以给SparkSQL配置LLAP（关于LLAP的更多细节，查看https://cwiki.apache...
spark-thrift和spark-sql的区别
08-23
Spark-Thrift和Spark-SQL是Spark框架中的两个组件，它们有以下区别： 1. Spark-SQL是Spark的一个模块，用于处理结构化数据，支持SQL查询和DataFrame API。它提供了一种高效且易于使用的方法来处理和分析结构化数据。用户可以使用SQL语句或DataFrame API来查询和操作数据。Spark-SQL允许用户直接在Spark应用程序中使用SQL查询，而无需编写复杂的MapReduce代码。 2. Spark-Thrift是Spark的一个独立服务，它提供了一个标准的Thrift接口，用于执行SQL查询。它可以作为一个独立的进程运行，并通过网络接收来自客户端的SQL查询请求，并将查询转发到Spark集群中的Spark-SQL模块进行处理。Spark-Thrift使得可以使用不同的编程语言，如Java、Python、R等，通过Thrift接口与Spark集群交互。 因此，Spark-SQL是Spark框架中用于处理结构化数据的模块，而Spark-Thrift是提供Thrift接口让用户可以使用不同编程语言与Spark-SQL模块交互的独立服务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [CDH15.0支持spark-sql和spark-thrift-server](https://blog.csdn.net/u012458821/article/details/87635599)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [122.Thrift和spark-sql客户端部署](https://blog.csdn.net/m0_47454596/article/details/126856172)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值