摘要:##### 问题:**简单说一下hadoop和spark的shuffle过程** ##### 出题人:京东出题专家:阿昀/京东数据中台 ##### 参考答案: Hadoop:map端保存分片数据,通过网络收集到reduce端。 Spark:spark的shuffle实在DAGSchedular划分Stage的时候产生的,TaskSchedular要分发Stage到各个worker的executor。减少shuffle可以提高性能。 阅读全文
2020-03-07 16:32:09 LeeChan 阅读 (4) 评论 (0) 点赞 (0) 标签:面试,08.京东篇 分类:京东篇