hadoop
超超人不会飞
Talk is cheap. Show me the code
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HBase底层的IO行为
HBase 底层的IO行为目录1 、Flush的工作原理2 、Compaction的原理3 、Region的split工作原理4、 WAL的原理1 、Flush的工作原理Flush的触发条件:1.(hbase.regionserver.global.memstore.siz...原创 2019-11-23 11:43:10 · 1659 阅读 · 0 评论 -
HBase Client的请求过程
HBase Client的请求过程1、 Client的请求过程涉及哪些角色和组件2、 请求过程中涉及的组件有哪些可配置参数1、HBase写数据流程1.1:流程:Client请求Zookeeper确定meta表所在的RegionServer所在的地址,接着根据Rowkey找到数据所归属的RegionServ...原创 2019-11-23 09:55:55 · 747 阅读 · 0 评论 -
HBase表格的逻辑视图和物理视图
HBase表格的逻辑视图和物理视图逻辑视图(概念视图):HBase以表的形式存储数据,表由行和列组成。列划分为若干个列簇HBase是一个键值(key-value)型数据库。HBase数据行可以类比成一个多重映射(map),通过多重的键(key)一层层递进可以定位一个值(value)。因为HBase数据行列值可以是空白的(这些空白列是不占...原创 2019-11-22 23:21:32 · 3901 阅读 · 0 评论 -
HBase表格
HBase表格数据规模大,单表可容纳数十亿行,上百万列;无模式,不像关系型数据库有严格的Scheme,每行可以有任意多的列,列可以动态增加,不同行可以有不同的列,列的类型没有限制;稀疏,值为空的列不占存储空间,表可以非常稀疏,但实际存储时,能进行压缩;面向列族,面向列族的存储和权限控制,支持列族独立查询;数据多版本,利用时间戳来标识版本;数据无...原创 2019-11-22 22:34:43 · 591 阅读 · 0 评论 -
HBase架构原理
HBase架构原理HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。HBase是Google BigTable的开源实现,与Google BigTable利用GFS作为其文件存储系统类似,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理BigTable...原创 2019-11-22 22:14:49 · 270 阅读 · 0 评论 -
虚拟机自带jdk与普通用户上传安装jdk问题
一般Vmware虚拟机安装后,会有自带的jdk- openjdk但是普通用户安装hadoop等大数据组件过程中,按照要求步骤需要重新安装jdk在这个过程中就会产生jdk版本冲突首先,我们清楚,重新安装的jdk是供hadoop等大数据组件使用的,不作为其他用途。所以我们有两种解决办法:一、保留系统自带jdk,重新安装jdk,配置jdk环境变量仅供hadoop等组件使用二、删除系统自带jd...原创 2019-09-12 09:29:23 · 1329 阅读 · 0 评论 -
Hadoop集群搭建
一、网络配置二、安装ssh免密登录三、安装VMware Tools四、安装jdk五、安装hadoop设备:VMware workstation ,Ubuntu ,jdk1.8 ,hadoop2.x一、网络配置 VMware虚拟机网络配置VMWare提供了三种工作模式,它们是bridged(桥接模式)、NAT(网络地址转换模式)和主机模式bridged模式VMnet0虚拟网...原创 2019-07-27 16:01:32 · 302 阅读 · 0 评论
分享