启动spark任务报错：ERROR SparkUI: Failed to bind SparkUI
·
当启动一个spark任务的时候，就会占用一个端口，默认为4040，从日志可以看到当端口被占用时，它会默认依次增加16次到4056，如果还是失败的话，就会报错退出。
解决方法：
1. 使用spark-submit提交任务时，在脚本中加配置：--conf spark.port.maxRetries=128（亲测有效）
2. 在代码中初始化SparkConf时，设置conf.set(“spark.port.maxRetries”,“128”) （未测）
3. 在全局的spark-defaults.conf中添加spark.port.maxRetries 128 ， 对所有的application起作用（未测）
讨论HarmonyOS开发技术，专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。
更多推荐
6
0- 0
已为社区贡献1条内容
所有评论(0)