做事要趁早的博客

Sqoop安装及案例导入导出数据（基于Hadoop环境） Sqoop主要用于在Hadoop(Hive)与传统的数据库MySQL间进行数据的传递 可以将一个关系型数据库（如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 原理：将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 一、Sqoop的安装 1、将Sqoop的安

Flume的安装 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的 Agent 主要有 3 个部分组成，Source、Channel(缓冲区，管道)、Sink 1、将Flume的安装包拷贝到/opt/software目录下 [mnlg@XJ202 ~]$ cd /opt/software/ [mnlg@XJ202 software]$ tar -xf apache-flume-1.9.0-bin.tar

Hadoop集群操作 一、启动集群 1.如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode 注意：格式化NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。 如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。 [mnlg@hadoop102 hadoop-3.1.

Hadoop大数据基础篇 一、Hadoop特点 1. Hadoop优势：高可靠性，高扩展性，高效性(MapReduce)，高容错性 2. Hadoop的组成： HDFS(分布式存储系统)：NameNode，Client，DataNode MapReduce(分布式计算系统)：Input(InputFormat)，Map，Shuffle，Reduce，Output(OutputFormat) Yarn(hadoop的资源调度系统)：ResourceManager ，NodeManager，Hist

HBase 在idea中对表(ddl)和数据(dml)的相应操作 新建Idea—项目工程名为HBaseDemo1 1.pom.xml文件（在文件末尾加入如下代码，导入依赖） <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId>

Hive中MySQL的安装及绑定 Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库 derby数据库只支持单用户访问且不与其他客户端共享数据 将 Hive 的元数据地址改为 MySQL数据库 [mnlg@XJ202 ~]$ my_hadoop.sh start //启动hadoop [mnlg@XJ202 ~]$ cd /opt/module/hive-3.1.2 //进入hive目录 [mnlg@XJ202 hive-3.1.2]$ bin/hive

HBase 在集群中对表(ddl)和数据(dml)的相应操作 HBase特点 要开启hbase之前必须先开启hdfs和zookeeper(关闭将start改为stop即可) 启动hdfs：my_hadoop.sh start 启动zookeeper：zk.sh start 启动hbase：bin/start-hbase.sh 表(ddl)：增加：create，修改：alter，删除：drop，查看所有：list，查看版本号：describe 数据(dml)：增加：put，修改：put

Hive的特点 Hive与SQL语句相像 能将SQL语句转变成MapReduce任务来执行 Hive要依赖于yarn 只能用于结构化 Hive只能处理离线数据，处理大型数据 Hive在集群上的操作 1.Hive安装及配置 （1）点击Shell，进入到 cd /opt/software目录下 cd /opt/software/ （2）把apache-hive-3.1.2-bin.tar.gz压缩包上传到Shell的 cd /opt/software目录下 （3）解压apache-hive-3.1.2-b