Borny鼎鼎的博客

1、下载hadoop-2.7.1.tar.gz，并将文件保存到/opt目录 下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz 2、使用cd命令切换到/opt目录并解压hadoop-2.7.1.tar.gz [root@localhost opt]# tar -zxvf h

1、HDFS Hadoop分布式文件系统，为海量的数据提供了存储。 2、HDFS基本概念 （1）块 HDFS的文件被分成块进行存储，HDFS块的默认大小是64MB，块是文件存储处理的逻辑单元。 （2）节点 HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode（管理者，管理节点，存放元数据）和多个DataNode（工作者，工作节点，存放数据块）。 一个HDFS c

1、MapReduce Hadoop并行计算框架，为海量的数据提供了计算。 2、MapReduce的原理 分而治之，一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce）。 3、基本概念 （1）Job 作业，表示MapReduce程序，一个MapReduce程序可对应若干个作业，而每个作业会被分解成若干个MapReduce任务 （Task）。 （2）Task