Total size of serialized results of 20 tasks (1088.8 MB) is bigger thanspark.driver.maxResultSize (1024.0 MB)

pypark 2.0 (spark python)  执行中出现上述错误,解决方案:

SparkContext.setSystemProperty('spark.driver.maxResultSize', '10g')



Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐