常见map_reduce面试题目

Map reduce

Map 阶段

1、先将HDFS中的输入文件file按照一定的标准进行切片

2、调用自己编写的map逻辑，将输入的键值对变成

3、按照一定的规则对输出的键值对进行分区

4、对每个分区中的键值对进行排序。

Reduce 阶段

1、对多个Mapper任务的输出，按照不同的分区，通过网络拷贝到不同的Reducer节点上进行处理，将数据按照分区拷贝到不同的Reducer节点之后，对多个Mapper任务的输出在进行合并，排序。

2、调用自己的reduce逻辑，将键值对变为.在这里注意：每一个键值对都会调用一次reduce函数。

3、将Reducer任务的输出保存到指定的文件中。