大数据之路
关注
分享
扫一扫
大数据之路
jjkang_
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.两种方式解决第一种第二种方式 两种方式解决 第一种 在Driver的第一行加上如下代码 System.setProperty("hadoop.home.dir", "D:\\dev\\java\\hadoop\\"); D:\dev\java\ha...原创 2020-02-11 17:06:13 · 754 阅读 · 0 评论 -
azkaban安装
azkaban安装azkaban web服务器安装azkaban 执行服器安装创建azkaban的数据库创建SSL配置修改时区azkaban web服务器配置azkaban 执行服务器executor配置用户配置启动web服务器执行服务器访问 安装azkaban需要提前安装好mysql服务器 azkaban web服务器安装 解压azkaban-web-server-2.5.0.tar.gz ...原创 2019-04-10 20:30:38 · 681 阅读 · 0 评论 -
flume采集日志文件到hdfs
flume采集日志文件到hdfs配置文件启动命令运行结果 flume可以从正在输出的日志文件中采集数据存到hdfs中 配置文件 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # Describe/configure tail -F source1 agent1.sources.source1....原创 2019-04-10 16:37:42 · 3238 阅读 · 0 评论 -
flume采集目录文件到HDFS
flume采集目录文件到HDFS配置 配置 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /root/h...原创 2019-04-10 15:01:36 · 1709 阅读 · 0 评论 -
flume简单实例
flume实例实例一配置文件运行结果 实例一 配置文件 # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件：r1 a1.sources.r1.type = netcat a1.sources.r1.bind = 192.168.56.160 a1.sources.r1.port = 4...原创 2019-04-10 13:21:06 · 360 阅读 · 0 评论 -
hbase安装
hbase安装下载、解压（Hbase版本0.99）修改配置文件core-site.xmlhbase-env.shhbase-site.xmlhdfs-site.xmlregionservers分发到其他主机启动启动后的进程zk1zk2zk3测试 下载、解压（Hbase版本0.99） 修改配置文件 core-site.xml <configuration> <pro...原创 2019-04-09 18:17:32 · 399 阅读 · 0 评论 -
HA集群安装
HA集群安装硬件准备安装jdk安装zookeerper安装hadoop上传、解压修改core-site.xml文件修改mapred-site.xml修改yarn-site.xml修改hdfs-site.xml修改slaves配置hadoop_home分发到其他虚拟机中启动启动zookeeper集群启动journalnode格式化HDFS格式化ZKFC启动HDFS启动YARN测试 硬件准备 七台虚...原创 2019-04-09 14:50:38 · 400 阅读 · 0 评论 -
zookeerper集群安装
zookeerper集群安装将安装包上传到虚拟机解压修改配置文件创建目录设置myid分发到其他主机 将安装包上传到虚拟机 解压 修改配置文件 [hadoop@hadoop6 ~]$ cat app/zookeeper/conf/zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number of ticks...原创 2019-04-09 10:18:46 · 1021 阅读 · 0 评论 -
hive安装
hive安装上传、解压修改配置hive-env.sh配置vi hive-site.xml将mysql的jar包拷贝到lib路径下Jline包版本不一致的问题mysql 权限问题 上传、解压 修改配置 hive-env.sh配置 # Licensed to the Apache Software Foundation (ASF) under one # or more contributor li...原创 2019-04-06 20:24:45 · 277 阅读 · 0 评论 -
自定义组件Partitioner- 根据不同省份统计手机流量
自定义组件Partitioner- 根据不同省份统计手机流量需求思路实现JavaBean自定义PartitionerMapperreduce结果![在这里插入图片描述](https://img-blog.csdnimg.cn/20190328170806291.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,...原创 2019-03-28 17:10:03 · 396 阅读 · 0 评论 -
统计手机流量 - 使用bean传输
统计手机流量 - 使用bean传输JavaBeanMapperreduceMain 上一篇博客中，使用的是键值对传输，但是，如果要字段很多怎么办呢？比如，需要上行流量、下行流量、总流量，这个时候就不能使用键值对的方式传输了，而是要将这些字段封装为一个JavaBean。 JavaBean public class Traffic implements Writable{ priv...原创 2019-03-28 16:29:23 · 366 阅读 · 0 评论 -
统计手机流量
统计手机流量原始数据需求编码实现MapperReduceTrafficCount 原始数据 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 ...原创 2019-03-28 15:53:39 · 1278 阅读 · 0 评论 -
运行hadoop中的例子程序PI
运行hadoop中的例子程序PI命令结果 安装好hadoop集群之后，都会想着试一下自己的集群是否正常工作，最简单的方式就是运行hadoop提供的例子程序。 命令 hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5 结果 [root@zk2 ~]# hadoop jar hadoop-mapreduce-examples-2.6.4.j...原创 2019-03-28 15:29:52 · 3664 阅读 · 0 评论 -
Centos 6.5 hadoop集群安装
Centos 6.5 hadoop集群安装安装jdk安装hadoop三台主机hosts修改主机名修改网络环境修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml 安装jdk 解压之后，vi /etc/profile，在平、末尾添加jdk的环境变量 export JAVA_HOME=/root/app/jdk1.8.0_18...原创 2019-03-18 15:04:54 · 494 阅读 · 2 评论