hive 日誌怎麼查看_Hive各个日志里都存放了什么信息?

本文介绍了Hive的审计日志和运行日志在排查问题时的重要性。审计日志记录了用户对HiveServer和MetaStore的请求详情,而运行日志则详细展示了SQL执行的完整过程。在遇到请求延迟或执行失败等问题时,通过审计和运行日志可以定位问题所在。同时,GC日志对于分析性能问题,特别是GC问题,也起到关键作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

审计日志

首先,对于审计日志来说,记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。

如下的HiveServer审计日志,表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show tables请求,客户端IP为192.168.1.18。

如下面MetaStore审计日志,表示在2016-01-29 11:31:15 用户hive向MetaStore发起shutdown请求,客户端ip为192.168.1.18。

通常情况下,审计日志对我们定位实际错误信息并无太大帮助。但在遇到诸如下述类问题时,需要查看审计日志:

如客户端发起请求,但是迟迟未得到响应。由于不确定到底是任务是卡在客户端还是服务端,可以通过审计日志查看。如果审计日志根本没有相关信息,那么说明卡死在客户端;如审计日志有相关打印,那么就需要去运行日志里看到底程序卡在哪一步了。

查看指定时间段的任务请求个数。可通过审计日志查看在指定时间段到底有多少个请求。

HiveServer运行日志

简言之,HiveServer负责接收客户端请求(SQL语句),然后编译、执行(提交到YARN或运行local MR)、与MetaStore交互获取元数据信息等。HiveServer运行日志记录了一个SQL完整的执行过程。

通常情况下,当我们遇到SQL语句运行失败,我们首先要看的就是HiveServer运行日志。

MetaStore运行日志

通常情况下,当我们遇到查看HiveServer运行日志时,如遇到MetaException或者连接MetaStore失败,我们就需要去看MetaStore运行日志了。

GC日志查看

HiveServer和MetaStore均有GC日志,当我们遇到GC问题可以查看GC日志以快速定位是否是GC导致。如,当遇到HiveServer或MetaStore频繁重启就需要去看下对应的GC日志了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值