环境如下

  • win10
  • IDEA2020.3
  • spark2.4.4

在Windows上调试Spark程序时出现如下错误:
在这里插入图片描述
Spark程序在运行的时候会提供一个名为SparkUI的web子程序来显示Spark程序执行状态，启动Web程序就需要监听一个端口，默认为4040，这个好像是端口被占用了，spark就会依次重试16,将端口号依次加1，如果重试16次之后依然被占用，就会抛出异常。

解决方法

需要配置端口被占用之后的重试次数，代码如下

spark.port.maxRetries=100

val spark = SparkSession.builder()
      .config("spark.sql.shuffle.partitions","2")
      .config("spark.port.maxRetries",100)
      .appName("省市区经纬度")
      .master("local")
      .getOrCreate()

再次运行Spark程序发现绑定的端口为4098
在这里插入图片描述

# spark # bug
Logo
HarmonyOS开发者社区

讨论HarmonyOS开发技术，专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐

鸿蒙 Web组件嵌套滚动组件

本文介绍了两种实现嵌套滚动的方法：方案1通过nestedScroll属性实现简单联动，支持6种预设滚动模式；方案2通过手动派发偏移量实现精确控制，适用于复杂场景。两种方案各具特点：方案1代码简单但控制粒度较粗，方案2实现复杂但灵活性高。文章详细说明了技术实现步骤，包括禁用组件滚动、边界检测和偏移量派发等关键操作，并提供了常见问题解决方案，如滚动卡顿、边界检测不准和手势冲突等。开发者可根据实际需求选

avatar HarmonyOS开发者社区
cover

【避坑指南】鸿蒙ArkTS 接口赋值与匿名实现终极解答

avatar HarmonyOS开发者社区

Flutter 框架跨平台鸿蒙开发 - 手写笔记工具开发教程

枚举值中文名称图标描述手写笔记Icons.edit纯手写内容drawing绘图纯绘图内容mixed混合手写+文字混合@override// 绘制已完成的路径// 绘制当前路径= null) {// 铅笔效果：添加透明度变化// 单点绘制} else {// 多点路径绘制 - 使用贝塞尔曲线平滑i++) {// 使用二次贝塞尔曲线平滑路径} else {// 马克笔特殊效果：双层渲染@overrid

avatar HarmonyOS开发者社区