Hadoop基础知识

1.大数据技术架构

2.大数据特点：海量性(volume)、多样行(variety)、高速性(velocity)、价值性(value)。

3.大数据的计算模式：批处理计算(mapreduce)、查询分析计算(hive)、流计算(spark、storm) 、图计算。

主要分两大类：离线计算（如mapreduce）、实时计算（如 spark、storm）。

4.Hadoop框架

hadoop是一个高可靠、可伸缩的分布式计算框架。用于大数据存储 （HDFS）、计算（MapReduce）、分析的分布式存储系统及分布式计算框架。hadoop框架提供了大数据的海量存储及分布式计算服务。

hadoop主要模块

1）common：封装了大量API,为hadoop框架提供操作基础。

2）HDSF：hadoop的分布式文件系统。存储海量数据。

3）MapReduce：分布式计算模型。用于大数据的离线分析。

4）yarn：分布式计算平台。可运行mapreduce、hive、spark、storm等计算框架。

5.HDFS分布式文件系统：属于主从（Master/Slave）关系的结构模型。分布式存储海量TB级以上数据，一次写入，多次查询。注意，不支持并发写入。不支持从某个数据节点开始查询数据。

HDFS适合存储大文件数据，一般一个文件大小为几百兆。不适合存储小文件（因为会占用过多的namenode的命名空间，使得namenode的存储内存达到峰值瓶颈）。

1）NameNode：即名称节点。负责管理文件系统的命名空间及客户端对文件的访问（读写请求、创建、删除、复制数据块等操作）。作为主节点 ，整个集群只能有一个。NameNode上的数据信息在启动后会加载到内存中（提供运行效率），如果节点宕机则会丢失元数据等。可以通过配置