SparkUI是spark任务的重要工具,这里能看到spark任务的运行状态到底是如何的,它能给我们的调优工作提供大部分的线索。

下面是一个spark任务在map、shuffle、reduce三个阶段的典型情况,供参考:

Map Stage:

 

Shuffle Stage:

 

Reduce Stage:

 

Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐