3DGS 端侧重建还是云端处理?一次移动应用架构选型复盘【鸿蒙心迹】

👋 你好,欢迎来到我的博客!我是【菜鸟学鸿蒙】
我是一名在路上的移动端开发者,正从传统“小码农”转向鸿蒙原生开发的进阶之旅。为了把学习过的知识沉淀下来,也为了和更多同路人互相启发,我决定把探索 HarmonyOS 的过程都记录在这里。
🛠️ 主要方向:ArkTS 语言基础、HarmonyOS 原生应用(Stage 模型、UIAbility/ServiceAbility)、分布式能力与软总线、元服务/卡片、应用签名与上架、性能与内存优化、项目实战,以及 Android → 鸿蒙的迁移踩坑与复盘。
🧭 内容节奏:从基础到实战——小示例拆解框架认知、专项优化手记、实战项目拆包、面试题思考与复盘,让每篇都有可落地的代码与方法论。
💡 我相信:写作是把知识内化的过程,分享是让生态更繁荣的方式。
如果你也想拥抱鸿蒙、热爱成长,欢迎关注我,一起交流进步!🚀
前言
在移动端接入 3D Gaussian Splatting(3DGS,高斯泼溅)时,有一个问题很难绕开:用户拍摄完一组照片或视频之后,究竟应该直接在手机上完成三维重建,还是把采集数据上传到云端,由服务器完成重建,再将结果返回手机?
这并不只是一个算法部署问题,而是涉及设备算力、内存占用、数据传输、网络稳定性、用户等待时间和后续模型展示的一整套应用架构决策。
对于 HarmonyOS 应用来说,更值得讨论的不是简单地选择端侧或者云端,而是如何划分两端的职责:哪些工作适合留在设备上,哪些工作应该交给服务器,以及怎样让 ArkTS 应用在整个处理过程中保持界面响应和任务状态可控。
本文将场景收敛到一个可复用的移动应用:用户通过 HarmonyOS 手机采集物体或空间的多视角图像,提交重建任务,获得云端生成的 3DGS 模型,并在移动端完成结果查看。通过这个场景,分析端云架构的取舍,并给出 HarmonyOS 应用侧的实现骨架。
一、先把三个环节分清楚:采集、重建和渲染
在讨论端侧和云端之前,需要先把 3DGS 移动应用拆成三个相对独立的环节。
这里有一个很重要的架构概念:
重建在哪里执行,不代表模型就必须在哪里渲染。
例如:
-
手机端完成重建,可以直接在手机端查看模型。
-
云端完成重建,可以把模型文件下载到手机,再通过 HarmonyOS 的图形能力进行展示。
-
云端完成重建,也可以只向手机返回当前需要的模型瓦片,按需加载。
这三种方式在应用架构上有明显区别。
特别是最后一种方式,适合模型体积较大、场景范围较广的应用。
因此,这篇文章重点解决三个问题:
-
HarmonyOS 是否提供了可直接使用的端侧 3DGS 重建能力?
-
如果使用云端重建,HarmonyOS 应用侧如何完成数据上传和任务管理?
-
重建结果较大时,能不能不一次性下载完整模型?
这三个问题,实际上对应了移动端 3DGS 架构的三个关键决策。
二、先核对 HarmonyOS 官方能力和版本
这部分是整个方案的基础。
按照华为开发者联盟公开的 API Reference,HarmonyOS 已经提供 Spatial Recon Kit(空间建模服务),其中包含 3DGS 场景重建和模型渲染相关能力。
但需要特别区分:重建和渲染使用的接口并不相同。
2.1 Spatial Recon Kit 提供什么能力?
官方公开的 C/C++ 接口中,有一个核心头文件:
#include "spatial/spatial_recon_interface.h"
对应动态库:
libspatial_recon_ndk.z.so
系统能力:
SystemCapability.Graphics.SpatialRecon
该接口从 HarmonyOS 6.1.0(API 23)开始支持。
它的核心作用是处理多视角图像数据,生成 3DGS 场景。
目前官方接口中明确提供的模型类型为:
SPATIAL_RECON_MODEL_TYPE_GS
也就是说,这里并不是一个通用的三维建模接口,而是明确面向 3DGS 模型重建。
官方提供的核心接口包括
这里最值得关注的是 PushFrame 和 PushARFrame。
它们决定了应用如何向重建引擎提供数据。
2.2 两种数据输入方式
方式一:使用自定义 DataFrame。
接口:
HMS_SpatialRecon_PushFrame()
官方定义的 HMS_SpatialRecon_DataFrame 包含:
-
相机内参;
-
相机位姿;
-
时间戳;
-
图像数据;
-
图像数据格式。
其中,图像格式当前支持:
SPATIAL_RECON_IMAGEDATA_FORMAT_RGB
这意味着开发者不能简单地把一张 JPEG 文件的压缩字节直接当作 RGB 图像数据提交。
需要按照接口定义组织图像数据和对应的相机信息。
方式二:使用 AR Engine 数据帧。
接口:
HMS_SpatialRecon_PushARFrame()
该接口接收:
HMS_SpatialRecon_Session*
AREngine_ARSession*
AREngine_ARFrame*
AR Engine 帧包含摄像头图像、相机位姿以及 AR 跟踪数据。
相比自己组织 DataFrame,这种方式可以直接利用 AR Engine 提供的跟踪信息。
对于手机扫描物体、采集空间多视角图像的应用,可以优先考虑这条数据链路。
但 AR Engine 本身也有设备支持条件,需要提前判断当前设备是否支持 SLAM:
HMS_AREngine_CheckSupported(ARENGINE_FEATURE_TYPE_SLAM);
不能只因为设备运行 HarmonyOS 7,就认为一定支持全部 AR Engine 能力。
2.3 HarmonyOS 7 对应的 API 版本
本文以 HarmonyOS 7.0.0 Release 为开发背景。
根据华为官方版本资料:
HarmonyOS 7.0.0 对应 API version 26.0.0。
这里需要注意,3DGS 相关能力并不是全部从 API 26 才开始提供。
因此,HarmonyOS 7 可以使用上述端侧重建接口,同时也可以使用 API 26 新增的分块模型加载能力。
如果项目需要兼容 API 23、API 24 设备,就不能直接把 API 26 的 TiledGSNode 当作所有设备都具备的基础能力。
2.4 端侧重建存在设备条件
这是架构选型时最容易忽略的地方。
官方 Spatial Recon 开发资料明确说明,空间重建能力受到设备硬件、系统版本和当前运行环境影响。
文档列出的能够保证用户体验的旗舰芯片包括:
-
Kirin 9020;
-
Kirin 9030S;
-
Kirin 9030;
-
Kirin 9030 Pro 等。
这里的表述需要准确理解。
它不是说其他芯片一定不能调用接口,而是不能对其他设备的重建体验作相同保证。
所以,设备判断不能只依赖系统版本。
实际开发建议同时进行:
-
API 版本检查;
-
HMS_SpatialRecon_IsSupport能力检查; -
AR Engine SLAM 能力检查;
-
运行资源和任务规模评估。
如果设备不满足要求,就应该进入云端重建路径,而不是让用户一直等待端侧任务失败。
三、端侧重建和云端重建,究竟应该怎么选?
理解官方能力之后,再回到架构决策。
这里不讨论哪种方案在理论上更先进,而是从移动应用真正需要承担的成本出发。
3.1 端侧重建
端侧重建的主要特点是:
图像数据留在手机本地,重建计算也在手机本地执行。
其基本流程:
用户开始扫描
|
v
手机采集多视角图像
|
v
获取相机内参和位姿
|
v
创建 SpatialRecon Session
|
v
提交图像帧
|
v
执行 3DGS 重建
|
v
保存模型文件
|
v
手机加载并展示模型
这种方案有几个明显优势。
第一,网络依赖较低。
图像采集完成后,不需要把整组原始图像上传服务器。
对于网络不稳定的环境,端侧重建更容易形成完整的离线处理流程。
第二,原始图像不必离开设备。
如果应用涉及室内环境、个人物品或者其他具有隐私属性的场景,端侧处理可以减少原始数据传输。
当然,应用仍然需要做好本地数据存储和权限管理。
第三,任务链路比较直接。
采集、重建、保存和展示都可以由同一个移动应用协调。
但端侧重建也有明显限制:
-
设备支持范围受到硬件条件约束;
-
计算任务会占用设备资源;
-
长时间运行需要考虑温度和功耗;
-
图像数量受到接口限制;
-
前后台切换需要处理会话运行模式。
特别是最后一点,不能简单地把重建任务当成一个普通的 ArkTS 异步函数。
它有自己的 Native 会话生命周期。
3.2 云端重建
云端重建的思路正好相反。
手机主要承担数据采集、文件上传、任务管理和模型展示。
重建计算交给服务器。
用户开始扫描
|
v
手机采集多视角图像
|
v
图像保存在应用沙箱
|
v
上传服务器或对象存储
|
v
服务端创建重建任务
|
v
云端执行 3DGS 重建
|
v
生成模型文件
|
v
手机获取模型地址
|
v
下载或按需加载模型
这里需要特别说明:
HarmonyOS 官方提供的是端侧 Spatial Recon Kit 能力和客户端网络通信能力。云端 3DGS 重建的算法服务、任务队列、模型存储和任务状态管理,需要由应用自己的服务端或选用的云服务提供。
不能把自建云端重建服务描述成 HarmonyOS 官方提供的云端 3DGS Kit。
云端方案的优势主要体现在:
设备覆盖面更容易控制。
手机只需要满足图像采集和网络通信条件,不必承担全部重建计算。
计算资源可以集中管理。
服务端可以根据业务需要配置计算资源、任务队列和存储策略。
更容易统一重建策略。
不同型号的手机可以使用相同的云端算法和模型生成流程。
相应的代价也很明确:
-
需要上传原始图像;
-
网络传输会增加任务耗时;
-
服务器需要承担计算和存储成本;
-
必须考虑任务超时和失败重试;
-
用户需要知道数据上传和处理情况。
3.3 架构选型对比
把两种方案放在一起看
从这张表可以看出,两者没有绝对的优劣。
如果产品只面向满足硬件条件的旗舰设备,而且用户需要离线完成建模,端侧方案比较合适。
如果产品需要覆盖更多设备,或者重建任务规模较大,云端方案更容易统一管理。
对于面向多种 HarmonyOS 手机的通用移动应用,我更倾向于采用混合架构。
四、推荐方案:端侧优先,云端兜底,渲染统一
实际应用中,不一定需要让所有设备走完全相同的重建路径。
可以把重建策略设计成一个独立模块。
这个设计有几个值得保留的原则。
4.1 不要让页面直接依赖重建方式
页面只需要知道任务状态:
WAITING
CAPTURING
UPLOADING
RECONSTRUCTING
SAVING
READY
FAILED
具体是本地重建还是云端重建,由业务层决定。
这样做的好处是,当后续需要接入新的重建算法时,页面不必跟着修改。
4.2 端侧和云端统一输出模型描述
建议应用层统一模型数据结构。
例如:
{
"taskId": "recon_001",
"modelSource": "local",
"modelFormat": "PLY",
"modelUri": "file:///data/storage/el2/base/files/model.ply",
"status": "READY"
}
这只是应用自定义的数据结构,不是 HarmonyOS 官方定义的模型对象。
云端任务完成时,可以返回同样的业务结构,只需要替换模型地址和来源字段。
4.3 不要把重建进度和上传进度混在一起
这两个进度不是一回事。
上传进度反映数据传输情况。
重建进度反映模型生成情况。
端侧重建可以使用:
HMS_SpatialRecon_GetProgress()
云端重建则由服务端提供任务状态接口。
建议在界面上将两种进度分别管理,避免出现文件已经上传完成,却被显示为模型重建完成的情况。
📝 写在最后
如果你觉得这篇文章对你有帮助,或者有任何想法、建议,欢迎在评论区留言交流!你的每一个点赞 👍、收藏 ⭐、关注 ❤️,都是我持续更新的最大动力!
我是一个在代码世界里不断摸索的小码农,愿我们都能在成长的路上越走越远,越学越强!
感谢你的阅读,我们下篇文章再见~👋
✍️ 作者:菜鸟不学编程
🧵 本文原创,转载请注明出处。
更多推荐



所有评论(0)