DolphinScheduler无故删除HDFS上的Hive库表目录

在DolphinScheduler中,一个任务由于脚本中的空格导致执行了`rm -rf /*`操作,误删了HDFS的/user和/tmp目录。通过开启HDFS审计日志,最终定位并解决了这个问题,避免了更严重的数据丢失。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

亲爱的朋友们,我可爱的同事又搞了个大BUG
待我慢慢道来…
DolphinScheduler大家应该都用过,中国人开源的一个调度工具,类似Azkaban,本次的事情就是在DolphinScheduler上发生的。
据领导描述,某团队负责的某业务数仓上云后,HDFS上的Hive库表目录总是无故被删,他们找不到原因,让我协助处理一下。
本来某业务数仓上云是一个很简单的工作,对于DolphinScheduler上的任务而言,只需要把工作流导出,然后导入到云上的DolphinScheduler,不幸的是XX云上的Sqoop不能用,所以本来用Sqoop的任务需要改成DataX,从而发生了后面的事情。
处理流程:
1.开启HDFS审计
2.日志寻找删库目录操作,没有搜到。因为之前云上环境问题,我已经不相信XX云,现在日志也搜不到,让我更加怀疑是XX云的问题
3.挨个执行任务,每执行完一个看历史数据是否还在
4.定位问题任务,我重复试了几遍,怕自动删除与执行任务时间重合,后来确认就是这个任务问题
5.打印变量(空格看不出来)
6.比对此任务脚本与正常任务区别,没有任何区别
7.注释其它行,定位问题行

hdfs dfs -rm -r -f /user/hive/warehouse/ods.db/${table_name}/*

8.查看审计日志,发现删的不是库目录,而是根目录下的整个/user以及/tmp
9.发现自定义参数中空格

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光于前裕于后

您的打赏将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值