weixin_43975538的博客

1.查找jps[hadoop@hadoop001 hadoop]$ which jps/usr/java/jdk1.8.0_45/bin/jps2.使用jps使用jps命令的时候，只有当前进程的用户可以查看jps的详细信息：[hadoop@hadoop001 hadoop]$ jps22321 SecondaryNameNode22035 NameNode24837 NodeMa...

IDEA提交到Yarn可能会出现一系列问题，只要添加一些参数就可以解决package com.ruozedata.bigdata.hadoop.mapreduce.wc;import com.ruozedata.bigdata.hadoop.utils.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apa...

需求：展示部门员工的员工编号、员工姓名、部门编号、部门名称。分析：，部门表跟员工表都有一个相同的字段，部门编号。可以根据部门编号进行jion操作，再将所属表的信息进行一个标识（flag）。map中根据文件名判断当前行数据所属的数据，并设置对应的flag值在reduce中根据根据关联字段进行join处理部门表：10 ACCOUNTING NEWYORK20 RESEARCH ...

1.hadoop中的InputSplit是什么？如果分配一个Mapper给块1，在这种情况下，Mapper不能处理第二条记录，因为块1中没有完整第二条记录。因为HDFS不知道文件块中的内容，它不知道记录会什么时候可能溢出到另一个块（because HDFS has no conception of what’s inside the file blocks, it can’t gauge whe...

package com.ruozedata.bigdata.hadoop.mapreduce.wc;import com.ruozedata.bigdata.hadoop.utils.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apach...

1.HDFS HA 架构1.1首先我们需要准备最起码三台机器做HDFS的高可用ruozedata001: ZK(zookeeper) NN(namenode) zkfc(zookeeperFailoverControl) jn(JournalNode) DN(datanode) ruozedata002: ZK(zookeeper) NN(namenode) zkfc(zookeeper...

首先看以下脚本所执行的内容#!/bin/bash#定义空变量NN1_HOSTNAME=""NN2_HOSTNAME=""NN1_SERVICEID=""NN2_SERVICEID=""NN1_SERVICESTATE=""NN2_SERVICESTATE=""#设置需要发送邮件的邮箱[email protected] #配置hadoop命令的目录CD...

1.需要的软件2.安装3.测试

1.准备好对应的软件1.1 Hadoop-2.6.0-cdh5.7.0-src.tar.gz1.2 jdk-7u80-linux-x64.tar.gz 必须是1.7版本的jdk，1.8的一编译就报错1.3 apache-maven-3.3.9-bin.tar.gz 最好是3.0及以上的版本1.4 protobuf-2.5.0.tar.gz2.编译hadoop首先将上述软件下...

1.执行命令安装一些依赖组件[root@hadoop001 ~]# yum -y install lzo-devel zlib-devel gcc autoconf automake libtool2. 下载lzo的源码包并解压[hadoop@hadoop001 software]$ wget http://www.oberhumer.com/opensource/lzo/downl...