👋 你好,欢迎来到我的博客!我是【菜鸟学鸿蒙】
   我是一名在路上的移动端开发者,正从传统“小码农”转向鸿蒙原生开发的进阶之旅。为了把学习过的知识沉淀下来,也为了和更多同路人互相启发,我决定把探索 HarmonyOS 的过程都记录在这里。
  
  🛠️ 主要方向:ArkTS 语言基础、HarmonyOS 原生应用(Stage 模型、UIAbility/ServiceAbility)、分布式能力与软总线、元服务/卡片、应用签名与上架、性能与内存优化、项目实战,以及 Android → 鸿蒙的迁移踩坑与复盘。
  🧭 内容节奏:从基础到实战——小示例拆解框架认知、专项优化手记、实战项目拆包、面试题思考与复盘,让每篇都有可落地的代码与方法论。
  💡 我相信:写作是把知识内化的过程,分享是让生态更繁荣的方式。
  
   如果你也想拥抱鸿蒙、热爱成长,欢迎关注我,一起交流进步!🚀

前言

在移动端接入 3D Gaussian Splatting(3DGS,高斯泼溅)时,有一个问题很难绕开:用户拍摄完一组照片或视频之后,究竟应该直接在手机上完成三维重建,还是把采集数据上传到云端,由服务器完成重建,再将结果返回手机?

这并不只是一个算法部署问题,而是涉及设备算力、内存占用、数据传输、网络稳定性、用户等待时间和后续模型展示的一整套应用架构决策。

对于 HarmonyOS 应用来说,更值得讨论的不是简单地选择端侧或者云端,而是如何划分两端的职责:哪些工作适合留在设备上,哪些工作应该交给服务器,以及怎样让 ArkTS 应用在整个处理过程中保持界面响应和任务状态可控。

本文将场景收敛到一个可复用的移动应用:用户通过 HarmonyOS 手机采集物体或空间的多视角图像,提交重建任务,获得云端生成的 3DGS 模型,并在移动端完成结果查看。通过这个场景,分析端云架构的取舍,并给出 HarmonyOS 应用侧的实现骨架。

一、先把三个环节分清楚:采集、重建和渲染

在讨论端侧和云端之前,需要先把 3DGS 移动应用拆成三个相对独立的环节。

这里有一个很重要的架构概念:

重建在哪里执行,不代表模型就必须在哪里渲染。

例如:

  • 手机端完成重建,可以直接在手机端查看模型。

  • 云端完成重建,可以把模型文件下载到手机,再通过 HarmonyOS 的图形能力进行展示。

  • 云端完成重建,也可以只向手机返回当前需要的模型瓦片,按需加载。

这三种方式在应用架构上有明显区别。

特别是最后一种方式,适合模型体积较大、场景范围较广的应用。

因此,这篇文章重点解决三个问题:

  1. HarmonyOS 是否提供了可直接使用的端侧 3DGS 重建能力?

  2. 如果使用云端重建,HarmonyOS 应用侧如何完成数据上传和任务管理?

  3. 重建结果较大时,能不能不一次性下载完整模型?

这三个问题,实际上对应了移动端 3DGS 架构的三个关键决策。

二、先核对 HarmonyOS 官方能力和版本

这部分是整个方案的基础。

按照华为开发者联盟公开的 API Reference,HarmonyOS 已经提供 Spatial Recon Kit(空间建模服务),其中包含 3DGS 场景重建和模型渲染相关能力。

但需要特别区分:重建和渲染使用的接口并不相同。

2.1 Spatial Recon Kit 提供什么能力?

官方公开的 C/C++ 接口中,有一个核心头文件:

#include "spatial/spatial_recon_interface.h"

对应动态库:

libspatial_recon_ndk.z.so

系统能力:

SystemCapability.Graphics.SpatialRecon

该接口从 HarmonyOS 6.1.0(API 23)开始支持。

它的核心作用是处理多视角图像数据,生成 3DGS 场景。

目前官方接口中明确提供的模型类型为:

SPATIAL_RECON_MODEL_TYPE_GS

也就是说,这里并不是一个通用的三维建模接口,而是明确面向 3DGS 模型重建。

官方提供的核心接口包括

这里最值得关注的是 PushFrame 和 PushARFrame。

它们决定了应用如何向重建引擎提供数据。

2.2 两种数据输入方式

方式一:使用自定义 DataFrame。

接口:

HMS_SpatialRecon_PushFrame()

官方定义的 HMS_SpatialRecon_DataFrame 包含:

  • 相机内参;

  • 相机位姿;

  • 时间戳;

  • 图像数据;

  • 图像数据格式。

其中,图像格式当前支持:

SPATIAL_RECON_IMAGEDATA_FORMAT_RGB

这意味着开发者不能简单地把一张 JPEG 文件的压缩字节直接当作 RGB 图像数据提交。

需要按照接口定义组织图像数据和对应的相机信息。

方式二:使用 AR Engine 数据帧。

接口:

HMS_SpatialRecon_PushARFrame()

该接口接收:

HMS_SpatialRecon_Session*
AREngine_ARSession*
AREngine_ARFrame*

AR Engine 帧包含摄像头图像、相机位姿以及 AR 跟踪数据。

相比自己组织 DataFrame,这种方式可以直接利用 AR Engine 提供的跟踪信息。

对于手机扫描物体、采集空间多视角图像的应用,可以优先考虑这条数据链路。

但 AR Engine 本身也有设备支持条件,需要提前判断当前设备是否支持 SLAM:

HMS_AREngine_CheckSupported(ARENGINE_FEATURE_TYPE_SLAM);

不能只因为设备运行 HarmonyOS 7,就认为一定支持全部 AR Engine 能力。

2.3 HarmonyOS 7 对应的 API 版本

本文以 HarmonyOS 7.0.0 Release 为开发背景。

根据华为官方版本资料:

HarmonyOS 7.0.0 对应 API version 26.0.0。

这里需要注意,3DGS 相关能力并不是全部从 API 26 才开始提供。

因此,HarmonyOS 7 可以使用上述端侧重建接口,同时也可以使用 API 26 新增的分块模型加载能力。

如果项目需要兼容 API 23、API 24 设备,就不能直接把 API 26 的 TiledGSNode 当作所有设备都具备的基础能力。

2.4 端侧重建存在设备条件

这是架构选型时最容易忽略的地方。

官方 Spatial Recon 开发资料明确说明,空间重建能力受到设备硬件、系统版本和当前运行环境影响。

文档列出的能够保证用户体验的旗舰芯片包括:

  • Kirin 9020;

  • Kirin 9030S;

  • Kirin 9030;

  • Kirin 9030 Pro 等。

这里的表述需要准确理解。

它不是说其他芯片一定不能调用接口,而是不能对其他设备的重建体验作相同保证。

所以,设备判断不能只依赖系统版本。

实际开发建议同时进行:

  1. API 版本检查;

  2. HMS_SpatialRecon_IsSupport 能力检查;

  3. AR Engine SLAM 能力检查;

  4. 运行资源和任务规模评估。

如果设备不满足要求,就应该进入云端重建路径,而不是让用户一直等待端侧任务失败。

三、端侧重建和云端重建,究竟应该怎么选?

理解官方能力之后,再回到架构决策。

这里不讨论哪种方案在理论上更先进,而是从移动应用真正需要承担的成本出发。

3.1 端侧重建

端侧重建的主要特点是:

图像数据留在手机本地,重建计算也在手机本地执行。

其基本流程:

用户开始扫描
      |
      v
手机采集多视角图像
      |
      v
获取相机内参和位姿
      |
      v
创建 SpatialRecon Session
      |
      v
提交图像帧
      |
      v
执行 3DGS 重建
      |
      v
保存模型文件
      |
      v
手机加载并展示模型

这种方案有几个明显优势。

第一,网络依赖较低。

图像采集完成后,不需要把整组原始图像上传服务器。

对于网络不稳定的环境,端侧重建更容易形成完整的离线处理流程。

第二,原始图像不必离开设备。

如果应用涉及室内环境、个人物品或者其他具有隐私属性的场景,端侧处理可以减少原始数据传输。

当然,应用仍然需要做好本地数据存储和权限管理。

第三,任务链路比较直接。

采集、重建、保存和展示都可以由同一个移动应用协调。

但端侧重建也有明显限制:

  • 设备支持范围受到硬件条件约束;

  • 计算任务会占用设备资源;

  • 长时间运行需要考虑温度和功耗;

  • 图像数量受到接口限制;

  • 前后台切换需要处理会话运行模式。

特别是最后一点,不能简单地把重建任务当成一个普通的 ArkTS 异步函数。

它有自己的 Native 会话生命周期。

3.2 云端重建

云端重建的思路正好相反。

手机主要承担数据采集、文件上传、任务管理和模型展示。

重建计算交给服务器。

用户开始扫描
      |
      v
手机采集多视角图像
      |
      v
图像保存在应用沙箱
      |
      v
上传服务器或对象存储
      |
      v
服务端创建重建任务
      |
      v
云端执行 3DGS 重建
      |
      v
生成模型文件
      |
      v
手机获取模型地址
      |
      v
下载或按需加载模型

这里需要特别说明:

HarmonyOS 官方提供的是端侧 Spatial Recon Kit 能力和客户端网络通信能力。云端 3DGS 重建的算法服务、任务队列、模型存储和任务状态管理,需要由应用自己的服务端或选用的云服务提供。

不能把自建云端重建服务描述成 HarmonyOS 官方提供的云端 3DGS Kit。

云端方案的优势主要体现在:

设备覆盖面更容易控制。

手机只需要满足图像采集和网络通信条件,不必承担全部重建计算。

计算资源可以集中管理。

服务端可以根据业务需要配置计算资源、任务队列和存储策略。

更容易统一重建策略。

不同型号的手机可以使用相同的云端算法和模型生成流程。

相应的代价也很明确:

  • 需要上传原始图像;

  • 网络传输会增加任务耗时;

  • 服务器需要承担计算和存储成本;

  • 必须考虑任务超时和失败重试;

  • 用户需要知道数据上传和处理情况。

3.3 架构选型对比

把两种方案放在一起看

从这张表可以看出,两者没有绝对的优劣。

如果产品只面向满足硬件条件的旗舰设备,而且用户需要离线完成建模,端侧方案比较合适。

如果产品需要覆盖更多设备,或者重建任务规模较大,云端方案更容易统一管理。

对于面向多种 HarmonyOS 手机的通用移动应用,我更倾向于采用混合架构。

四、推荐方案:端侧优先,云端兜底,渲染统一

实际应用中,不一定需要让所有设备走完全相同的重建路径。

可以把重建策略设计成一个独立模块。

这个设计有几个值得保留的原则。

4.1 不要让页面直接依赖重建方式

页面只需要知道任务状态:

WAITING
CAPTURING
UPLOADING
RECONSTRUCTING
SAVING
READY
FAILED

具体是本地重建还是云端重建,由业务层决定。

这样做的好处是,当后续需要接入新的重建算法时,页面不必跟着修改。

4.2 端侧和云端统一输出模型描述

建议应用层统一模型数据结构。

例如:

{
  "taskId": "recon_001",
  "modelSource": "local",
  "modelFormat": "PLY",
  "modelUri": "file:///data/storage/el2/base/files/model.ply",
  "status": "READY"
}

这只是应用自定义的数据结构,不是 HarmonyOS 官方定义的模型对象。

云端任务完成时,可以返回同样的业务结构,只需要替换模型地址和来源字段。

4.3 不要把重建进度和上传进度混在一起

这两个进度不是一回事。

上传进度反映数据传输情况。

重建进度反映模型生成情况。

端侧重建可以使用:

HMS_SpatialRecon_GetProgress()

云端重建则由服务端提供任务状态接口。

建议在界面上将两种进度分别管理,避免出现文件已经上传完成,却被显示为模型重建完成的情况。

📝 写在最后

如果你觉得这篇文章对你有帮助,或者有任何想法、建议,欢迎在评论区留言交流!你的每一个点赞 👍、收藏 ⭐、关注 ❤️,都是我持续更新的最大动力!

我是一个在代码世界里不断摸索的小码农,愿我们都能在成长的路上越走越远,越学越强!

感谢你的阅读,我们下篇文章再见~👋

✍️ 作者:菜鸟不学编程
🧵 本文原创,转载请注明出处。

Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐