小方的博客

Hbase增删改查

链接: https://pan.baidu.com/s/1aCcpGGR1EE4hEZW624rFmQ?pwd=56tv 提取码: 56tv。7、再把hadoop.dll复制一份放C:Windows\System32里。1、在电脑里解压之前发过的Hadoop安装包。6、放到刚刚解压路径的bin文件夹里。–来自百度网盘超级会员v7的分享。4、配置系统Path变量。9、再运行代码就可以了。

2、MO阶段：会将MI的键值对里有用的数据转成键值对关系，这里是需要写代码写逻辑，在这里我们要实现单词计数，有用的东西就是单词本身以及个数,k1是没用的，所以在这个阶段需要把v1的字符串按照分隔符拆成数组，把单词通过数组循环取出来当作k2,并且把每一个单词赋值数量为1当作v2。5、RO阶段：会将RI阶段数据进行逻辑算法处理，这里是需要写代码写逻辑，此例子需要计数，所以把v3数据相加，k3直接转k4。首先要了解一下MapReduce的几个过程，每个数据集中需要编写的逻辑会有所不同，但是大致是差不多的。

上图代码相当于创建了一个这样的表。

1、启动虚拟机2、连接工具3、启动Hadoop并查询确保进程为5+1jps练习完请一定关掉hadoop进程关掉虚拟机再关机电脑。

host文件配错了ip不对或者主机名错误，或者没配，进去配置一下就好了。例如192.168.xxx.xxx hostname。

（i）找到如下这句代码，将#号去掉，将/usr/java/jdk1.6.0改成你自己的JAVA_HOME路径。在《configuration》《/configuration》之间添加如下信息，信息，如果有则生效了，否则，配置有误。（ii）找到如下代码将#号去掉即可。里面加上自己的主机名。

1）进文件夹2）编辑文件3）按一次电脑的esc键，输/HCAT_HOME搜出对应位置4）搜出来后，这一部分全部注释掉5）在每一行的最前面打一个井号6）按一次电脑的esc键，输/HCAT_HOME再继续搜一次7）在每一行的最前面打一个井号。

Sqoop连Mysql报错：Exception in thread “main” java.lang.NoClassDefFoundError:org/apache/commons/lang/StringUtils找不到类，sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x解决版本问题即可，commons-lang版本改为2.xcommons-lang-2.6.jar

找不到类，sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x。5）加入mysql的jdbc驱动包到sqoop的lib文件夹。解决版本问题即可，commons-lang版本改为2.x。2）按esc按钮后 :wq 保存并退出文件。4）看清楚自己的路径是啥，把以下加进去并更改。3）更改文件sqoop-env.sh。1）sqoop版本号查询。2）sqoop帮助查询。1）进去配置文件路径。

cd /tools。

进mysql删除元数据数据库重新创建一下退出mysql

它的划分方法完全由用户自己决定。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量.4）在这种策略下，副本并不是均匀的分布在不同的机架上：三分之一的副本在一个节点上，三分之二的副本在一个机架上，其它副本均匀分布在剩下的机架中，这种策略在不损害数据可靠性和读取性能的情况下改进了写的性能。

hadoop

hadoop命令行语句

Hadoop入门理论

vmware linux centos7改密码

CentOS7 yum安装出错

hadoop

然后找jdk的对应版本。查看linux的版本。

mobaxterm

hadoop安装

Kafka环境搭建与启动命令

Spark及其生态简介

spark 环境安装与案例演示

红标为常用的数据类型；对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符。文件/data/employee.txt代码加载数据至hive外转内内转外‘EXTERNAL’=‘TURE’和’EXTERNAL’='FALSE’只能大写文件/data/dept.txt创建表格加载数据

navicat安装注册

mysql8.x密码必须符合它指定的规则：包含大写字母，小写字母，数字，特殊符号，密码太简单会报错。回车后会有 ,在后面输入查出来的临时密码即可,输密码的时候看不见。假如临时密码为wdert5yhfgncbxdfzser。#配置HADOOP_HOME路径，路径根据自己的修改。#执行创建metastore数据库的命令。#配置HIVE_CONF_DIR路径。#配置JAVA_HOME。#执行下边命令输入密码。

hive mysql centos7安装

协处理器代码

【代码】HbaseJAVA API 增删改查操作。

Hbase Filter 过滤器。

几个主要 Hbase API 类和数据模型之间的对应关系

编辑ifcfg-ens33 或者叫 eno16777736,自己 ls 查一下看看是啥。进入/etc/sysconfig/network-scripts/修改文件中的ONBOOT=no 将no改为yes,保存退出。

1、PleaseHoldException: Master is initializing 解决办法2、Server is not running yet3、ERROR: KeeperErrorCode = NoNode for /hbase/master4、NameError: uninitialized constant VERSION

hbase权限访问

a、数据仓库：数据仓库系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。数据获取（Data Acquisition）数据存储（Data Storage）数据访问（Data Access）

1）实时查询，可以认为是从内存中查询，一般响应时间在1秒内。HBase的机制是数据先写入到内存中，当数据量达到一定的量（如128M），再写入磁盘中， 在内存中，是不进行数据的更新或合并操作的，只增加数据，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBase I/O的高性能。1） 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。

语法：desc ‘表格名’语法：create ‘表格名’，‘列族名1’，‘列族名2’，‘列族名n’语法：disable ‘表格名’语法：enable ‘表格名’语法：scan ‘表格名’语法：id_disabled ‘表格名’语法：disable_all ‘条件’语法：enable_all ‘条件’语法：put ‘表格名’，‘行键’，‘列族名：列名’，‘值’语法：get ‘表格名’，‘条件1’，‘条件2’

jps command not found