
大数据
文章平均质量分 93
Fun肆编程
Keep learning
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【大数据-Flink】从入门到企业级应用-基础篇
Flink核心目标是“数据流上的有状态计算”,具体来说,Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。本文还介绍了和SparkStreaming的对比,同时还介绍了Flink分层API的概念原创 2023-12-10 14:18:18 · 1110 阅读 · 0 评论 -
【大数据-Hadoop】从入门到源码编译-概念篇
2011年成立,吸纳Hadoop的雅虎程序员贡献了80%的Hadoop代码,文档较好,Hortonworks Data Platform(HDP)还包括了Ambari(开源的安装和管理系统)。存储文件的元数据,如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)、以及每个文件的块列表和块所在的DataNode等。是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。原创 2023-12-09 23:36:07 · 1251 阅读 · 0 评论