
hadoop
文章平均质量分 72
getBinary
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
mapreduce-3(实现topn)
mapreduce-3网上看到的topn实现需求,想用MapReduce实现下,在实现过程中,踩了两个坑,所以记录下来补充之前没提到的细节需求:求一篇文章中出现的高频单词topn数据源:Since childhood, Mr. Lu Xun in his desk now on a "morning", this style started to affect the students of history, several generations of renewal and transforma原创 2021-04-08 14:16:06 · 479 阅读 · 0 评论 -
mapreduce-2(条件自定义)
mapreduce-2自定义InputFormat自定义Partitioner自定义Sort自定义Group自定义OutputFormat自定义InputFormat参照TextInputFormat源码,继承FileInputFormat,重写createRecordReader方法和isSplitable方法即可读取方式设为一次读取一个文件MyInputFormat类实现public class MyInputFormat extends FileInputFormat<NullWrit原创 2021-03-25 15:10:59 · 158 阅读 · 0 评论 -
mapreduce-1(wordcount)
mapreduce-1mapreduce原理及操作过程代码实现wordcountmapreduce原理及操作过程inputformat读取->maptask->分区->排序->规约->分组->reductask->outputformat写入结果分区就是根据key来决定哪些key-value被分到同一个reduce处理,而分组是根据key来决定同一个reduce中的key-value在同一批次中进行处理。代码实现wordcountmapper类实现原创 2021-03-23 15:58:14 · 149 阅读 · 0 评论 -
HA(高可用)集群搭建
高可用集群搭建配置文件初始化yarn配置在完全分布式集群基础上修改,共三台结点配置文件需要修改两个配置文件core-site.xml<configuration> <property> #这里的hadoopHA是自定义的集群名称 <name>fs.defaultFS</name> <value>hdfs://hadoopHA</value> </property&原创 2021-03-22 16:25:36 · 216 阅读 · 0 评论 -
hdfs命令
hdfs命令文件系统操作命令admin操作JavaAPI文件系统操作命令hdfs文件系统命令基本与linux系统命令相同,只需要在前面名加上hdfs dfs -命令作用说明-mkdir创建目录-p选项递归创建-ls显示内容-R选项递归显示-put上传文件-copyFrmoLocal上传文件与put作用相同-get下载文件-copyToLocal下载文件与get作用相同-mv移动文件不允许跨文件系统-cp复制文原创 2021-03-19 14:02:57 · 531 阅读 · 0 评论 -
hadoop集群搭建
hadoop集群搭建已完成伪分布式集群的搭建,本篇目标:搭建三个结点组成的分布式结点架构第一步:将上次搭建的伪分布式节点的hadoop文件夹分发到剩余两个结点上# 设置每台结点路径相同,方便后面的配置cd /optscp hadoop root@num05${PWD}scp hadoop root@num06${PWD}第二步:修改配置文件# 2.1修改hadoop.env.sh、yarn-env.sh和mapred-env.sh# 该文件只需要修改JAVA_HOME,注意如果三台结点J原创 2021-03-18 18:51:51 · 113 阅读 · 0 评论 -
环境搭建及hadoop安装
环境配置及软件安装环境配置域名映射免密登录关闭SELinux时钟同步软件安装配置文件环境变量配置环境配置目标配置三台虚拟机(CentOS7.6版本),网络配置已完成,JDK已安装并配置环境变量,防火墙已关闭hostnamectl set-hostname num04域名映射【必选操作】首先配置当前主机名可以执行hostname查看到当前主机名,为进行配置的话可以看到一个IP地址执行hostnamectl set-hostname 主机名,为主机设置主机名,这里三台主机就分别命名为num04原创 2021-03-12 22:53:07 · 186 阅读 · 0 评论