Harmony Intelligence AI 开放能力深度解读|第六期:多能力组合实战,解锁端侧多模态全新体验
本原创文章帖发布在华为开发者联盟社区,欢迎开发者前往访问评论交流,更多与该内容相关讨论,请点击原帖查看:
在前几期的解读贴中,陆续为大家拆解了图像超分、文搜图、人脸检测、通用文字识别、语音识别五大端侧 AI 能力,分别讲解了单项能力的原理、优势和接入方式。
有开发者提问:单点能力接入很容易,但如何在真实业务场景中做出让人眼前一亮的技术方案?
单点能力足以解决特定环节的问题。但当多项能力组合联动时,就能构建出“环境感知-内容理解-自然交互”的完整智能链路。本期我们将跳出单一能力的视角,带你走进真实业务场景,看看各能力如何协同作战,助力开发者构建具备竞争力的智能应用。
场景一:老照片智能修复与人像相册管理
──────────────────────────────────────────────────
| 业务痛点:用户在整理老旧照片时,发现分辨率低、人物面部模糊不清。希望一键完成高清化修复,并自动识别人脸用于相册分类和人物标记。 |
| 能力组合:Core Vision Kit 图像超分 + Core Vision Kit 人脸检测 |
消费者体验全流程
──────────────────────────────────────────────────
选择老照片 → PixelMap 转换 → 图像超分 4 倍 → 人脸检测 → 输出检测结果 → 相册管理分类
1)用户从系统图库选择一张老旧低清照片。
2)端侧执行图像超分处理,输出 4 倍分辨率的高清图片。
3)将高清图送入人脸检测能力,返回人脸数量、坐标、姿态角等信息。
4)界面展示修复后的高清图,自动标记人脸区域,支持后续人物标记、相册分类。
开发者实现要点
──────────────────────────────────────────────────
1. 调用顺序约束,先超分,后检测:通过 Core Vision Kit 的 ImageSRAnalyzer.process() 完成图像超分,将高清 PixelMap 传入 faceDetector.detect() 执行人脸检测(若先在低清原图执行人脸检测、再做图像超分,人脸检测框坐标会和放大后的高清图错位,无法对齐画面)。
2. 性能优化:同一张图片先后经过超分和检测两个阶段时,可利用鸿蒙的异步任务调度机制,将两个步骤串联执行,避免阻塞 UI 线程;使用完毕后,及时调用 ImageSRAnalyzer.destroy() 和 faceDetector.release() 释放分析器资源,同时回收 PixelMap,防止内存上涨。
3. 扩展空间:结合 Core Vision Kit 的人脸比对能力,可进一步实现“自动按人物分组相册”、“一键生成家庭回忆录”等高级功能。老照片普遍存在噪点,图像超分能力自带降噪增强效果,无需额外接入降噪模型。
开发注意事项
──────────────────────────────────────────────────
1. 人脸检测返回 pitch/roll/yaw 姿态角,业务层可设置阈值过滤侧脸过大、遮挡严重、角度异常的人脸,降低无效聚类、误标记概率。
【人脸检测开发指南】文档中心
2. 图像超分接口对输入原图尺寸存在上限约束:单图最大支持 2048×2048 像素,输出图为输入图 4 倍分辨率;原图尺寸超出上限时,需要先缩放预处理,再送入接口。
【API 参考】文档中心
3. 全流程端侧处理,数据不出设备,符合隐私合规要求。
4. 需要申请相册读取权限,用于读取本地老照片资源。通过 photoAccessHelper.PhotoViewPicker 拉起系统图库选择图片,使用 fileIo 与 image 模块将 URI 转换为 PixelMap,作为 AI 接口的输入数据。
场景二:会议资料智能语义检索(办公场景)
──────────────────────────────────────────────────
| 业务痛点:开会时随手拍摄 PPT、白板、纸质资料,会后图片一大堆。用户想找到某一份主题截图,传统只能翻相册;如果自建图文检索,要同时做通用文字识别(OCR)、语音转文字、跨模态检索,自研算法工作量巨大;云端方案上传会议截图、录音,企业内部敏感资料有泄露风险。 |
| 能力组合:Core Speech Kit 语音识别 + Core Vision Kit 通用文字识别(OCR) + Core Vision Kit 文搜图 |
消费者体验全流程
──────────────────────────────────────────────────
| 前置条件:调用文搜图索引构建接口 insertImage() 建立图片本地索引。索引构建属于离线预处理环节,建议在用户拍照保存图片后异步执行,不要在检索查询的时候实时建索引,否则检索响应延迟很高。 |
语音识别转文字 → 文搜图检索 → OCR 文字识别 → 二次过滤 → 展示结果
1. 用户开会过程中,拍摄多张 PPT、白板照片保存到本地。
2. 用户说出指令:“帮我找刚才关于市场预测的那张 PPT 截图”。
3. 语音识别:麦克风拾取用户语音,端侧转写得到文本关键词“市场预测”。
4. 文搜图:应用中已提前调用文搜图索引构建接口,将拍摄的 PPT 图片特征写入本地索引库。拿到转写得到的文本关键词后,在本地索引库中做跨模态检索,初步返回语义匹配图片列表。
5. 通用文字识别:对文搜图返回的候选图片批量做文字识别,提取图片内 PPT 文本,用于后续二次过滤。
6. 二次过滤:业务层结合通用文字识别文本内容做二次过滤,把关键词命中最高的图片优先展示给用户。
7. 用户直接打开对应截图,复制 PPT 识别出来的文字内容。
开发者实现链路
──────────────────────────────────────────────────
1. 申请麦克风权限,调用 Core Speech Kit 离线短语音识别,拿到用户查询文本。
2. 将识别文本作为入参,调用文搜图 API,获取一批候选图片集。
3. 遍历候选图片,调用通用文字识别接口提取每张图片的文本内容。
4. 在应用本地做文本相似度过滤,排序输出结果给到 UI 层展示。
开发注意事项
──────────────────────────────────────────────────
1. 语音识别短语音模式≤60s,查询场景使用短语音模式;支持配置会话热词,可以把行业术语、会议专有名词配置为热词,提升识别准确率(热词规则与语音识别能力规格一致,详见第五期解读帖 。
2. 文搜图的检索索引仅作用于应用沙箱内资源,无法直接读取系统相册图片;业务需要先将相册图片复制到应用沙箱,再执行索引构建。
3. 通用文字识别支持 ±30° 倾斜矫正,适配随手拍摄 PPT、白板的歪斜画面;支持简体中文、繁体中文、英文、日文、韩文 5 种语言。
4. 整套链路无网络依赖,敏感图文全程不出设备。
场景三:视障智能环境感知(无障碍场景)
──────────────────────────────────────────────────
| 业务痛点:视障用户需要借助手机摄像头感知现实环境:识别路牌、标识,检测前方是否有人。传统方案大多依赖云端,实时画面上传网络,不仅有隐私风险,网络差的时候会卡顿失效;自研同时做文字识别、人脸检测、语音交互,技术门槛高。端侧全链路可以做到断网可用,实时感知环境。 |
| 能力组合:Core Vision Kit 人脸检测 + Core Vision Kit 通用文字识别(OCR) + Core Speech Kit 语音识别 + Core Speech Kit 文本转语音(TTS) |
消费者体验全流程
──────────────────────────────────────────────────
语音指令 → 摄像头预览帧 → 并行人脸检测 → OCR 识别 → 文本聚合 → 语音播报
1. 用户说出语音指令:“帮我看看周围有什么”。
2. 语音识别:麦克风接收语音,端侧转写识别用户指令。
3. 应用调用摄像头捕获实时画面帧。
4. 人脸检测:分析画面,检测画面中人脸,返回人脸数量。
5. 通用文字识别:识别画面中路牌、海报、标签上的文字。
6. 业务层汇总结果:“检测到前方 1 个人;路牌文字内容:XX 大道向东 500 米”。业务层可根据人脸检测返回的置信度阈值过滤误检,仅播报高置信度结果,避免频繁误报干扰用户。
7. 文本转语音 TTS:把汇总信息合成语音播报给用户,完成闭环交互。
开发者实现链路
──────────────────────────────────────────────────
1. 申请麦克风、相机权限:在 module.json5 中声明 ohos.permission.MICROPHONE(麦克风)和 ohos.permission.CAMERA(相机)权限,通过语音识别获取用户指令。
2. 获取摄像头预览帧图像,通过 Camera Kit 获取实时预览帧,转换为 PixelMap 格式后送入 AI 接口。
3. 并行调用人脸检测、通用文字识别接口,分别获取人脸信息、图像文本。
4. 业务层做结果聚合,组装自然语言描述文本。
5. 调用 Core Speech Kit 文本转语音接口,将组装文本语音播报输出。
开发注意事项
──────────────────────────────────────────────────
1. 摄像头预览帧图像尺寸需要满足通用文字识别输入规格:分辨率 720p 以上,高度 100~15210 像素,宽度 100~10000 像素,高宽比建议 10:1 以下。
2. 语音识别当前仅支持中文普通话(含中文语境下的英文词汇);文本转语音(TTS)由 Core Speech Kit 提供离线能力,支持中文普通话播报,具体接入参数可参考官方 API 参考文档。
3. 实时场景注意控制推理频率,建议降帧采样分析,例如 1~2s 分析一帧画面,无需逐帧调用全套 AI 接口,可显著降低 NPU 算力负载、减少设备发热。
4. 全部运算本地完成,音视频数据不出设备,保护用户隐私。
| 无障碍业务合规提示:本端侧 AI 能力仅作为环境感知辅助工具,不可替代盲杖、导盲犬、专业助盲设备等专业助盲工具;开发者需要在应用引导页、隐私说明中增加该免责声明,规避合规风险。 |
当多项 AI 能力串联成链,端侧智能就不再是单个功能的叠加,而是用户体验的质变。
多 Kit 组合开发通用最佳实践
性能与功耗建议
──────────────────────────────────────────────────
多个 AI 能力同时运行时,NPU 和 CPU 的资源竞争是首要问题。不加以控制会导致设备发热、帧率下降甚至应用崩溃。
1. 不要并行无限制大批量调用多个 AI 接口;批量图片处理做队列限流,防止 CPU/NPU 过载
2. 各 AI 能力的生命周期接口命名不同,需按官方规范创建与释放:图像超分:ImageSRAnalyzer.create() 创建实例,ImageSRAnalyzer.destroy() 释放;人脸检测:faceDetector.init() 初始化,faceDetector.release() 释放。建议统一在 aboutToAppear 中初始化、aboutToDisappear 中回收,避免重复创建销毁造成内存泄漏。多个 Analyzer/Detector 不要同时大量常驻,闲置及时释放,避免抢占 NPU 算力,影响其他系统 AI 能力。
3. 实时摄像头场景,建议隔帧调用 AI 能力,降低功耗。
4. 对于大图片,先做合理缩放预处理,再送入 AI 接口,遵循官方 API 的图片尺寸约束;其中图像超分接口单次仅支持处理单张图片,批量修复需循环串行调用,避免并发创建多个分析器引发内存溢出。
业务容错处理
──────────────────────────────────────────────────
每个 AI 接口都可能因为资源不足、输入异常等原因返回错误,统一的容错机制能让应用更健壮。
1. 每个 AI 接口都有独立错误码体系,建议统一使用 try-catch 捕获 BusinessError,打印 code 和 message 定位问题;具体错误码定义可查阅对应能力的 API 参考文档。
2. 人脸检测返回结果包含置信度(confidence)字段,可用于过滤低质量检测结果;同时 faceDetector.init() 为异步操作,必须监听初始化完成回调,成功后再调用 detect(),否则会触发“引擎未初始化”异常,不建议在点击事件中同步执行初始化 + 检测。
3. 通用文字识别和文搜图的返回结构请以最新 API 参考文档为准,建议对返回结果做合理性校验后再展示给用户。
隐私合规要点
──────────────────────────────────────────────────
端侧 AI 能力的核心优势之一是数据不出设备,但开发者也需要在业务层做好合规保障。
1. 所有能力为端侧运算,图片、音频数据不会自动上传;但是开发者业务层不能主动把图像、音频数据上传服务器。
【Core Vision Kit 个人数据处理说明】文档中心
【Core Speech Kit 个人数据处理说明】文档中心
2. 应用隐私政策中,需要告知用户本应用使用 Core Vision Kit、Core Speech Kit 端侧 AI 能力,说明数据处理方式,符合应用上架规范。
更多可以探索的组合方向
──────────────────────────────────────────────────
基于前五期解读的五大开放能力,开发者还可衍生更多场景:
办公效率类
──────────────────────────────────────────────────
1. 个人笔记 App:拍照笔记(通用文字识别提取文字)+ 语音口述笔记(语音识别),无网环境完整记录信息。
2. 语音驱动相册管理:语音识别(说出搜索词)+ 文搜图(语义检索),实现纯语音操作相册。
3. 会议无障碍辅助:语音识别(实时转写会议纪要)+ TTS(朗读重点内容),服务听障参会者。
影像工具类
──────────────────────────────────────────────────
1. 社交相册:文搜图检索表情包 + 人脸检测做头像裁剪。
2. 智能文档扫描:通用文字识别 + 图像超分,先超分再识别提升小字准确率。
3. 智能证件扫描:图像超分提升清晰度 + 通用文字识别提取关键信息。
内容创作类
──────────────────────────────────────────────────
图文笔记生成:拍照通用文字识别提取板书 / 文档文字 + 配合语音识别录制讲解旁白,端侧整理图文笔记,断网可用。
无障碍类
──────────────────────────────────────────────────
实时字幕助手:语音识别(实时转写音频)+ TTS(朗读重点内容),适用于听障用户或不便外放的安静场景。
| 注:本文涉及的 Core Vision Kit、Core Speech Kit 开放能力,仅支持 Stage 模型,暂不支持 FA 模型。 |
欢迎在评论区分享您的组合玩法,一起挖掘更多端侧 AI 的创新可能性。
| 下期预告:我们将持续带来 Harmony Intelligence 开放能力的深度拆解,欢迎在评论区留言,告诉我们你最想了解的能力与实战场景。 |
更多推荐



所有评论(0)