【共创稿事节】鸿蒙图像超分 · 码图清晰工坊-快递面单打码演示、深色工坊 UI、端侧 4× 重建可扫细节

HarmonyOS 端侧超分系列第十篇。前面九篇把「照片、老照片、壁纸、文档、电商图、视频帧」都做过一轮,这一篇换一个更「硬核」的方向——码图:二维码、商品条码、快递面单、设备铭牌。这类图模糊了的后果不是「不好看」,而是「扫不出」。本篇把端侧 4× 超分对准它们,并且把演示素材换成了一张先打码再处理的真实快递面单。

DevEco 运行

图 1 · DevEco Studio 中编译运行,entry 模块装到 Mate 60 Pro 模拟器,整体深色工坊风


为什么是「码图」

生活里最常见的场景:快递柜前掏出手机扫面单,反光加手抖,条码糊成一片;仓库里扫商品码,印刷太细对不上焦。机器识别对码点边缘和细线对比度极度敏感——普通放大只是把模糊像素拉大,码点照样糊;而端侧 AI 超分是在 NPU 上「重建」细节,把边缘的锐度和细线的分离度找回来。

这篇的立意很直接:先把码点在端侧恢复到可识别,再交给扫码。 全程数据不出设备,面单上的隐私信息也不用上传云端。
在这里插入图片描述

深色工坊 UI:不抄上一版

这一版界面没有沿用系列前作那套蓝白卡片,整体重做成深色科技风:

  • 深墨蓝黑底(#0B0E14)+ 荧光绿主色(#00E5A0)+ 青色点缀,工业感拉满;
  • 顶部是品牌方块图标 + 胶囊式「演示 / 真机」模式开关,一眼分清当前跑在哪条链路;
  • 选择页把四种码图类型做成 2×2 图标卡片网格,选中的卡片描绿边高亮。

码图类型选择

图 2 · 选择页:四种码图类型卡片(二维码 / 商品条码 / 快递面单 / 设备铭牌),当前选中「快递面单 · 输入长边 640px」

四种类型不是随便分的,它们对应不同的输入降采样长边(都落在 NPU 输入范围 [64, 2048] 内):

码图类型输入长边设计考量
二维码320px码点较大,优先保证边缘锐利
商品条码480px细线密集,保留中等细节
快递面单640px文字与条码混合,需要更多像素
设备铭牌560px小字与刻印,兼顾细节与速度

码点越大、结构越简单,需要的输入像素越少;面单这类「文字 + 条码」混合的,得给足像素才不会丢字。

演示素材:一张先打码的快递面单

演示模式的素材这次动了真格——用了一张真实快递面单照片,但先把上面两处一维码和运单编号打了码(马赛克 + 高斯,彻底不可读),再按「整图等比缩放 + 白边填充到 4:3」的方式生成一对低清 / 高清素材,严格满足端侧超分固定 4× 约定(640×480 = 4 × 160×120)。

预览待超分

图 3 · 预览页:低清输入 160×120 的面单,左上叠尺寸角标,下方提示「端侧 4× 超分 · 输出 640×480」,条码区域可见已打码

隐私在这步就被妥善处理:演示图里的条码是无法还原的,既能放心演示,又不泄露任何真实运单数据。

打码用的是一个 Python 脚本,核心是「缩到极少块再放大 + 高斯」的马赛克,保证不可还原:

# test_images/make_express_asset.py
def pixelate_region(img, box):
    x0, y0, x1, y1 = box
    region = img.crop((x0, y0, x1, y1))
    # 缩到 12x6 再放大回原尺寸:信息彻底打散
    small = region.resize((12, 6), Image.BILINEAR)
    mosaic = small.resize(region.size, Image.NEAREST)
    img.paste(mosaic.filter(ImageFilter.GaussianBlur(2)), (x0, y0))

MASK_BOXES = [
    (145, 130, 425, 240),   # 上部条形码 + "TB6468449686"
    (390, 570, 635, 650),   # 下部条形码 + "TB6468449686"
]

端侧 4× 超分:重建,不是放大

点「开始端侧超分」,真机模式下面单交给 Core Vision Kit 的 ImageSRAnalyzer 在 NPU 上做一次 4× 重建;演示模式则直接读预置高清母版。关键是它和普通放大的差别——App 内置了滑动对比,一条绿色分割线左边是「普通放大 4×」(双线性插值),右边是「AI 超分 4×」。

对比偏左

图 4 · 分割线拉到最左:整幅都是 AI 超分结果,面单上的「张三 13842569988」「9988」「95338」等文字锐利清晰

把分割线拖到右边,就能看到普通放大的真实水平——同样的 4×,文字和条码明显发虚,码点边缘是糊的。

对比偏右

图 5 · 分割线拉到最右:整幅都是普通放大,文字边缘发虚,对比 AI 超分差距一目了然

模糊基线

图 6 · 普通放大基线特写:双线性放大只是拉大模糊像素,细节并没有回来

这种「同图同尺寸、只换算法」的同屏对比,比任何参数都更能说明 AI 超分的价值。

端侧超分调用本身很薄——把低清 PixelMap 包成 ImageData,丢给 Core Vision Kit 的 ImageSRAnalyzer,在 NPU 上一次推理拿回 4× 结果:

// CodeClarityService.ets
import { imageSuperResolution, visionBase } from '@kit.CoreVisionKit';

// 创建分析器(真机模式)
this.analyzer = await imageSuperResolution.ImageSRAnalyzer.create();

// 一次 4× 超分
private async superResolve(low: image.PixelMap): Promise<image.PixelMap | null> {
  const imageData: visionBase.ImageData = { pixelMap: low };
  const request: visionBase.Request = { inputData: imageData };
  const response: imageSuperResolution.ISPResponse = await this.analyzer.process(request);
  return response.pixelMap;   // 4× 高清结果,全程在 NPU
}

清晰度增益:给「变清楚了」一个数

光看图还不够,App 会算一个清晰度增益。算法是统计两幅图的梯度能量(邻域亮度差绝对值之和,越高代表边缘越锐利),用 AI 超分相对普通放大的能量提升百分比来表示。这张面单的结果是 +99%——几乎翻倍的边缘能量,码点和细线的锐度提升被量化了出来。

结果页下方同时给出尺寸变化(160×120 → 640×480),一眼看清输入输出。

梯度能量的计算就是把每个像素转成亮度,再累加它与右、下邻居的亮度差绝对值——边缘越锐利,这个和越大:

// PixelOps.ets —— 梯度能量,越高越清晰
export function gradientEnergy(data: Uint8Array, w: number, h: number): number {
  let sum: number = 0;
  for (let y = 0; y < h - 1; y++) {
    for (let x = 0; x < w - 1; x++) {
      const i = (y * w + x) * 4;
      const l  = 0.299 * data[i]     + 0.587 * data[i + 1]     + 0.114 * data[i + 2];
      const lr = 0.299 * data[i + 4] + 0.587 * data[i + 5]     + 0.114 * data[i + 6];
      const ld = 0.299 * data[i + w * 4] + 0.587 * data[i + w * 4 + 1] + 0.114 * data[i + w * 4 + 2];
      sum += Math.abs(lr - l) + Math.abs(ld - l);
    }
  }
  return sum;
}
// 增益 = (AI超分能量 / 普通放大能量 - 1) × 100%

落盘沙箱:结果随手可取

超分后的高清图可以一键保存成 PNG,写入应用沙箱目录 filesDir/sr_code_out,不需要申请任何存储权限。

保存落盘

图 7 · 保存成功:Toast 提示「已保存到应用沙箱」,下方显示完整路径与文件大小,可复制

这意味着整个流程——选图、打码素材演示、NPU 超分、对比、落盘——全部在端侧闭环,数据不出设备。

滑动对比那条绿色分割线,是用 PanGesture 拖动更新 split 比例,再用 clip 按这个比例裁掉上层基线图,露出下层 AI 超分图:

// Index.ets —— 滑动对比:拖动分割线,clip 裁剪上层基线
Stack() {
  Image(this.result.hdPm)        // 底层:AI 超分(满铺)
    .objectFit(ImageFit.Cover)
  Image(this.result.baselinePm)  // 上层:普通放大,只露出左侧 split 比例
    .objectFit(ImageFit.Cover)
    .clip(new Rect({ width: `${this.split * 100}%`, height: '100%' }))
  Column()                        // 绿色分割竖线
    .width(2).height('100%').backgroundColor('#00E5A0')
    .position({ x: `${this.split * 100}%`, y: 0 })
}
.gesture(
  PanGesture({ direction: PanDirection.Left | PanDirection.Right })
    .onActionUpdate((e: GestureEvent) => {
      let s = this.startSplit + e.offsetX / this.fullW;
      this.split = Math.max(0, Math.min(1, s));   // 分割线比例 0~1
    })
)

工程结构与边界

工程是标准的 HarmonyOS entry 模块,独立包名 com.example.codeclarity:

  • CodeClarityService:单例服务,封装演示素材加载、相册解码降采样、NPU 超分、PNG 落盘;
  • PixelOps:双线性放大基线 + 梯度能量计算,给对比和增益提供数据;
  • Index.ets:三阶段界面(选择 → 预览 → 结果),深色工坊 UI。

需要说明的边界也很清楚:本工程只做图像超分,不做扫码校验——它负责把码点恢复清晰,但不调用扫码能力去验证「是否真扫得出」,也不保证超分后的码 100% 可扫。演示素材是内置打码样例,真机效果依赖设备端 Core Vision Kit。


小结

把端侧超分从「美化照片」拉到了「拯救识别」:对准码图这类「模糊即失效」的目标,用 NPU 4× 重建找回码点与细线;配上一张先打码的快递面单做演示,隐私安全;深色工坊 UI 从头重做,滑动对比 + 清晰度增益让「变清楚了」既看得见也算得出;结果落盘沙箱,全程数据不出设备。

Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐