图解MapReduce工作流程

36大数据 · 公众号 · 大数据 · 2017-05-07 07:43

正文

请到「今天看啥」查看全文

MapReduce特点

整体结构

Hadoop工作架构

我们的应用程序通过Hadoop job client向Hadoop集群提交作业，Hadoop集群中Master节点负责调度各个Slave节点共同完成作业。

Hadoop job client是什么？

我认为有2个含义。1是在代码中使用的api，2是提交作业时使用的命令行工具。

比如在参考文章中的WordCount v1.0源代码，main方法负责构建配置并提交作业：

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }

这里大部分的类都来自包org.apache.hadoop.mapreduce。

而在运行这个程序的时候，先生成jar包，再执行下面的命令：

$ bin/hadoop jar wc.jar WordCount /user/joe/wordcount/input /user/joe/wordcount/output

我们需要提供什么

提供input locations和output location
这个是在运行jar包的命令行中提供的.
提供map和reduce的实现
这个对应源代码中的TokenizerMapper和IntSumReducer类。
提供job参数
具体对应源代码中的main方法.
包括上面的input/output locations, map和reduce的实现, 都需要以job参数的形式来提供, 才能实际被使用.

流程细节

flat

流水细节

client将软件和数据提交给job,job将输入拆分成一个个独立的数据块,每个数据块提交给不同的map task来处理.

结合HDFS的内容,我推论实际的过程是这样子的:

job查询NameNode元数据,得知输入数据文件对应的数据块及其所在的DataNode位置.
然后将所要执行的软件,和对应的数据块的元数据信息传给对应的DataNode.
每个DataNode所接收到的软件是一样的,但是数据块的元数据信息就只是自己相关的那一部分.
DataNode接收软件和数据块元数据之后,就找出对应的数据,作为输入来执行软件.

map对数据块中的数据进行初次处理,由于每个map task处理的是不同的数据块,所以这里是并行的. 处理完之后输出形式的中间结果.

框架对中间结果进行处理,对每个中间结果进行排序,分区,发到具体的reduce task,然后再进行排序,分组.

最后reduce程序接收到的输入是 >的格式,这是按照key进行分组的结果.

reduce负责处理 >, 并输出最终的结果到输出目录.

整个过程的数据类型变化情况

(input) -> map -> -> shuffle & sort -> > -> reduce -> (output)

map和reduce的个数

map task的个数 = input文件的所有的块的个数.

reduce task的个数可以设置:Job.setNumReduceTasks();设置的大, 会增加框架开销, 但是可以增加负载均衡并降低故障成本(每一个reduce负责的内容少了). 设置的小则会有相反的结论.