
hadoop
文章平均质量分 76
hadoop
Ally_one
Make it possible.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hive-jdbc-uber-2.6.5.0jar包自提
就是个jar包原创 2022-03-16 16:09:32 · 5413 阅读 · 13 评论 -
Hbase安装流程及踩坑心得
关于安装zookeeper和hbase 前言 网上已经有相当多的zookeeper和hbase的安装教程了。那为什么总是在安装的时候,还是可以遇到那么多问题。 有话说 搭建一个自己的大数据平台,手把手安装大数据相关组件,从组件的版本匹配,组件源下载,再到着手解压配置。一个环境搭建下来,我发现我可能需要浏览数几十个页面,才能真的完成我的搭建流程。鉴于之前在学习的过程中,曾经给一位朋友写了一份非常详细的hadoop集群搭建的说明书。记录一下这一次在从最基础的hadoop集群搭建,到各个组件的安装配置。由于精原创 2021-07-19 00:32:50 · 1778 阅读 · 0 评论 -
Hadoop(三)
da@TOC 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全新的写作体验; 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;原创 2021-06-08 11:21:45 · 463 阅读 · 1 评论 -
Hadoop(二)
上篇答案: HDFS为何将文件分成block块存储? 减少底层操作系统的IO读取时的寻址时间 方便更高效的流式读取,提高吞吐量 HDFS block块的默认大小时多少? dfs.blocksize为Hadoop定义block块大小的设置参数,在hdfs-site.xml中 版本不一样,默认值不同。Hadoop2.2.x及以后版本均为128M HDFS block块的大小是否可以更改? 一个block块文件不会跨文件存储 一个block块文件最多只会存储一个文件对应的数据 一个block块原创 2021-05-19 23:06:11 · 383 阅读 · 0 评论 -
Hadoop(一)
Haoop(一) 文章目录Haoop(一)hadoop初识概述项目起源发展历程名字由来Hadoop核心组件与应用核心组件组件介绍Hadoop生态圈Ambari平台介绍分布式文件系统HDFS分布式文件系统HDFS1.产生背景2.特点介绍应用场景HDFS设计架构1.HDFS是什么2.HDFS组件角色2.1 Namenode2.2 DataNode2.3 Client3.HDFS设计架构3.1 基本架构3.2 读文件流程3.3 写文件流程HDFS高可靠性措施1.冗余备份2.跨机架副本存放3.心跳检测4.数据完整性原创 2021-04-11 10:22:46 · 968 阅读 · 0 评论