做数据血缘，第一步得解析sql。有没有相关的开源方案，语言最好是java、scala。
1条回答 默认 最新
关注解决 无用评论 打赏举报
分享
- 2022-06-25 13:23万里长江横渡的博客 Hive和spark对比
- 2021-02-24 20:37有赞数据平台从2017年上半年开始，逐步使用SparkSQL替代Hive执行离线任务，目前SparkSQL每天的运行作业数量5000个，占离线作业数目的55%，消耗的cpu资源占集群总资源的50%左右。本文介绍由SparkSQL替换Hive过程中...
- 2025-07-24 12:09Hive提供了自己的元数据存储、SQL解析器、查询优化器以及HiveQL方言，这些集成到SparkSQL中之后，用户可以使用熟悉的SQL语言来处理数据，同时享受SparkSQL带来的速度和效率。 再者，SparkSQL的优化器是一个关键组件...
- 2021-10-14 01:45SparkSQL大数据平台实践 本文档介绍了携程大数据平台的实践经验，讨论了 SparkSQL 在大数据平台中的应用和实践。该文档从大数据平台的架构和集群规模开始，介绍了数据开发系统和调度系统的总体架构，然后讨论了 ...
- 2021-10-18 23:09抓住小白白的博客 要知道两种sql的区别，先要知道什么是hive，什么是spark 一、什么是hive，什么是spark （一）hive 1、hive在hadoop中承担了多种角色，每种角色承担特定的功能。 定语 角色 作用 优点 基于Hadoop的数仓工具 ...
- 2023-11-02 21:00linbokang的博客 spark sql 和 hive sql的对比
- 2021-05-24 18:57扫地增的博客 做数仓的小伙伴应该深有体会，我们在做复杂业务时经常遇到一些比较复杂的逻辑或者复杂的数据结构，它们无法使用hive或者spark天然提供的函数进行解析，在这个时候我们就会想到如果可以自定义一个像hive、spark自身...
- 2024-03-08 19:59科学的N次方的博客 在hive中认为null在排序时为最小值，即ASC排序时在最前面，DESC排序时在最后。语法：order by 字段名 asc/desc（升序/降序）4. 当order by 遇到null 时，将如何排序？order by默认是升序排序，所以asc可以省略。例如...
- 2023-07-24 16:56电光闪烁的博客 这时如果在应用上需要这个数值进行统计的话...我们在SQL中，会碰到使用collect_list和concat_ws将该列的数值统计成一个字段的情况，这时候我们会发现当小数位数太多的时候，有些转换成文本的时候，就会使用科学计数了。
- u013250861的博客 具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD，hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD。1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据...
- 没有解决我的问题, 去提问
问题事件
创建了问题
10月5日