Hadoop与YARN：架构、应用与优势解析

### Hadoop与YARN：架构、应用与优势解析 #### 1. Hadoop核心组件的弱点 Hadoop的核心组件HDFS和MapReduce虽然强大，但也存在一些弱点。 - **HDFS的弱点**： - **缺乏高可用性**：在Hadoop 1.x及更早版本中，HDFS缺乏高可用性。 - **小文件处理效率低**：对小文件的处理效率不高，尽管Hadoop 2中的HDFS Federation引入了多NameNode共享文件元数据的方式，但元数据仍存储在内存中。 - **缺乏透明压缩**：不支持文件的随机写入，仅支持追加操作，主要设计用于大文件的高吞吐量顺序读写。 - **MapReduce的局限性**： - **不适合实时数据访问**：MapReduce是基于批处理的架构，不适合需要实时数据访问的用例。 - **不适合需要全局同步或可变数据共享的任务**：由于它是无共享架构，对于需要全局同步或可变数据共享的任务不太适合，这可能会给某些算法带来挑战。 - **版本兼容性问题**： - **MapReduce API运行时兼容性**：Hadoop 2的发布带来了MapReduce API运行时兼容性问题，特别是在`org.hadoop.mapreduce`包中。这些问题通常会导致针对Hadoop 1（及更早版本）编译的代码在运行时出现问题。解决方法通常是针对Hadoop 2重新编译代码，或者引入一个兼容性库以同时支持两个版本而无需重新编译。 - **Hive和Pig的兼容性问题**：Hive可能需要重新编译才能与不同版本的Hadoop配合使用。Pig也存在兼容性问题，例如Pig 0.8版本无法与Hadoop 0.20.203配合使用，需要手动干预解决。使用非Apache的Hadoop发行版可以解决这些兼容性问题。如果想使用原生的Apache发行版，可以考虑使用Bigtop，它是一个Apache开源的自动化构建和合规系统，包含了所有主要的Hadoop生态系统组件，并运行了一系列集成测试以确保它们能协同工作。 #### 2. 实践MapReduce：构建倒排索引 在了解了Hadoop的架构和弱点后，我们可以通过一个具体的例子来实践MapReduce，这里以构建倒排索引为例。 ##### 2.1 倒排索引的概念 倒排索引是一种常用的数据结构，用于快速查找包含特定单词的文档。输入是多个文本文件，输出是一个元组列表，每个元组包含一个单词和包含该单词的文件列表。 ##### 2.2 传统处理方法的问题 使用标准处理技术构建倒排索引，需要找到一种机制将所有单词连接在一起。一种简单的方法是在内存中进行连接，但如果有大量唯一键，可能会导致内存不足。另一种方法是使用中间数据存储，如数据库，但效率较低。 ##### 2.3 MapReduce的解决方案 MapReduce提供了一种更好的方法，具体步骤如下： 1. **分词**：对每行进行分词，生成一个每行包含一个单词的中间文件。 2. **排序**：对每个中间文件进行排序。 3. **合并**：打开所有排序后的中间文件，对每个唯一单词调用一个函数。 ##### 2.4 代码实现 以下是构建倒排索引的MapReduce代码示例： ```java import java.io.IOException; import java.util.HashSet; import java.util.StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.input.FileSplit; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; // 定义Mapper类 public static class Map extends Mapper<LongWritable, Text, Text, Text> { private Text documentId; private Text word = new Text(); @Override protected void setup(Context context) { String filename = ((FileSplit) context.getInputSplit()).getPath().getName(); documentId = new Text(filename); } @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { for (String token : StringUtils.split(value.toString())) { word.set(token); ```