MapReduce 中 Shuffle 阶段的核心作用是?

大数据基础

  1. A.把输入文件切分成 split 交给多个 Map 任务并行处理
  2. B.对 Map 任务进行失败重试
  3. C.把 Reduce 输出结果写回 HDFS,并按配置的副本数生成多份副本
  4. D.把 Map 输出按 key 分区排序传给 Reduce,保证相同 key 落同一 Reducer