本原创文章帖发布在华为开发者联盟社区,欢迎开发者前往访问评论交流,更多与该内容相关讨论,请点击原帖查看:

Harmony Intelligence AI 开放能力深度解读|第五期:语音识别,无网也能精准转写

上期我们深度拆解了 Core Vision Kit 的通用文字识别能力,详解其如何通过端侧智能感知实现图像文字智能化提取与转换,为各类图文场景应用筑牢技术根基。

第五期特性解读,我们将聚焦 Core Speech Kit 的一项高频核心能力——语音识别,整套识别流程在端侧闭环完成,不依赖云侧算力,即便处于无网、弱网环境,也可稳定实现语音实时转写。

一、什么是语音识别?

将一段中文音频信息(中文、中文语境下的英文;短语音模式不超过60s,长语音模式不超过8h)转换为文本,音频信息可以为PCM音频文件或者实时语音。

该能力面向开发者提供标准化音频转文本服务,核心规格如下:

•    支持语种:中文普通话

•    模型形态:离线

•    适配设备:Phone、Tablet、PC/2in1

•    语音时长:短语音模式不超过60s,长语音模式不超过8h

•    热词配置:支持系统热词、会话热词双配置,热词总数不超过 200(两类热词共享总配额),每个热词长度范围为[2, 20]

二、典型应用场景

依托端侧本地闭环计算特性,语音识别可在无网、弱网环境稳定运行,这类场景部分还存在音频内容敏感的诉求,典型落地场景如下:

1、日常工作场景:支持离线会议/现场记录,本地实时转写会议、访谈、现场沟通内容;语音填表,语音 → 文本 → 提取字段 → 自动填写表单;语音搜索本地内容,离线识别搜索词,再搜索本地数据库/文件(如:帮我打开 XXX 文件,语音 → 文本→ 找到文件并打开)。

2、无障碍与实时字幕:无网环境下实时将音频转文字,结合 AI 字幕能力,可生成实时字幕。既可辅助听障用户,也适用于不便外放音频的场景,快速获取语音信息。

3、离线记录与口述:支持麦克风实时收音、本地 PCM 音频文件双输入识别,可实现会议录音、日常口述笔记、长时音频素材的离线文字留存。

通勤、散步等碎片化场景下,随时口述灵感、待办事项,轻松捕捉转瞬即逝的想法。搭配实体抽取能力,自动识别语音里的时间、地点等关键信息,除了用于生成日历待办外,还可以结构化整理会议要点,给文稿打上信息标签,方便后续快速检索归类,让录音里的信息不再埋没。

4、无网语音指令交互:可在地下室、机舱、野外等断网场景下解析本地语音指令,实现终端离线智能操控,拓展终端交互边界。

5、社交场景语音输入:社交聊天、客服售后语音录入,高效便捷;出境出行、少数民族地区交流,借助翻译软件语音转当地文字,助力跨语言沟通。

三、端侧、云侧方案如何选择

端侧与云侧语音识别不存在技术优劣,仅适配业务场景不同。选型核心标准:业务是否需要“断网可用、数据不脱离设备”。

端侧识别全流程本地运算,原始音频与识别结果不上传服务器,更适配隐私敏感、网络不稳定场景;云侧识别依托远端算力,更适配多语种、超高精度识别需求场景。

对比项

端侧离线识别

云侧识别

网络依赖

无网、弱网可用

必须联网,断网失效

响应时延

本地运算,省去上传、回传链路,时延低

受带宽、网络波动影响,时延不稳定

数据隐私

音频、文本数据留存本地,全程不出设备

需上传原始音频至云侧处理,存在数据流转

支持语种

专注中文普通话精准识别

支持多语种覆盖,范围更广

效果与算力

轻量化模型,高效稳定、功耗可控

云侧超大算力支撑,效果上限更高

简单来说:追求无网可用、低时延、数据本地隐私闭环优先选择端侧;需要多语种识别、超高算力效果则选择云侧方案。

四、端侧语音识别三大核心能力

HarmonyOS 依托成熟的端侧 AI 语音能力,提供本地闭环、无云侧依赖的语音识别方案,通过三大核心能力实现精准、稳定、可优化的离线语音转写:

1)本地离线识别,不依赖网络

设备预置专属端侧离线模型,音频解析、识别推理、文本转换全流程在本地完成,无网、弱网、飞行模式下长短语音识别均可稳定生效。

2)双音频输入适配,长短场景全覆盖

同时支持麦克风实时语音、标准 PCM 音频文件两种输入形式,PCM 音频需满足16000Hz 采样率、单声道、16bit位深。配合短语音(≤60s)和长语音(≤8h)两种模式,覆盖实时交互、长时音频归档转写全场景。

3)两层热词修正专有词

针对人名、专业术语、定制词汇识别偏差问题,系统提供双层热词优化机制,精准提升专属词汇识别命中率:

-系统热词 sysGeneralLexicon:在创建引擎时配置,对整个应用的识别过程生效;

-会话热词sessionGeneralLexicon:在开始识别时配置,优先级更高、单次会话生效。

*注意:热词仅优化专有词汇识别精度,无法抵消环境噪声干扰,嘈杂场景建议前置收音降噪,以此保障识别准确率。

五、技术差异化优势

相较于传统云侧语音识别,HarmonyOS 端侧离线识别彻底解决网络依赖、数据泄露、交互滞后等行业痛点,形成三大独有技术优势:

1、隐私安全可控

语音采集、音频解析、文本转换全流程在设备本地完成,原始音频数据、识别结果均不上传云侧服务器,数据全程不出设备,从源头降低隐私泄露风险,适配高敏感语音场景合规需求。

2、端侧低时延响应

区别云侧识别 “上传 - 推理 - 回传” 的长链路损耗,端侧依托本地算力实时推理,实现毫秒级识别输出,有效规避网络波动造成的字幕卡顿、转写滞后问题,保障实时交互顺滑稳定。

3、极简开发接入

开发者无需自研底层声学模型,直接调用系统级 API,快速构建离线语音识别能力,有效缩短开发周期,降低研发与运维成本。

六、双向落地价值:开发者轻松构建,消费者体验跃升

基于以上技术优势,端侧语音识别实现“技术能力→商业落地→用户体验”的完整转化,为开发者与消费者带来双向增益,本段不再重复技术原理,专注落地价值:

1. 开发者:降本增效,轻量化落地

1)能力开箱即用:直接接入成熟的系统级语音识别模型,省去算法自研、模型训练、参数调优、设备适配等工作,大幅缩短开发周期。

2)多终端稳健兼容:系统模型经过多终端、多业务场景充分打磨,一次开发、多端部署,落地兼容性强。

3)云侧资源减负:识别运算全部本地化,不占用云侧带宽与算力资源,有效降低服务器运维压力与长期运营成本。

2. 消费者:体验升级,交互无边界

1)极速响应:依托端侧低时延特性,实时字幕、边说边转、语音指令响应更快,交互观感自然流畅。

2)场景全覆盖:打破网络束缚,飞行模式、地下室、偏远地区等无网场景均可正常使用,场景覆盖更全面。

3)隐私更安心:全程无云侧数据上传,语音数据本地闭环处理,最大程度保障用户语音隐私,使用更安全。

七、代码实操:最小接入示例

通过 @kit.CoreSpeechKit 导入 speechRecognizer

开发核心分为三步:创建引擎、设置结果回调、开始识别。

精简示例代码如下:

typescript
import { speechRecognizer } from '@kit.CoreSpeechKit';
import { BusinessError } from '@kit.BasicServicesKit';

// 1. 创建离线引擎:online=1 表示离线,recognizerMode 选 short 或 long
const initParams: speechRecognizer.CreateEngineParams = {
  language: 'zh-CN',
  online: 1,
  extraParams: {
    locate: 'CN',
    recognizerMode: 'short',
    sysGeneralLexicon: ['鸿蒙', '方舟'] // 系统热词,可选,整个应用生命周期生效
  }
};

speechRecognizer.createEngine(initParams, (err: BusinessError, engine: speechRecognizer.SpeechRecognitionEngine) => {
  if (err) {
    // 创建失败,常见错误码见文末 FAQ,如 1002200001 表示引擎创建失败
    return;
  }

  // 2. 设置回调,onResult 里取识别文本
  engine.setListener({
    onStart: () => {},
    onEvent: () => {},
    onResult: (_sessionId: string, result: speechRecognizer.SpeechRecognitionResult) => {
      console.info(`识别结果:${result.result}`);
    },
    onComplete: () => {},
    onError: (_sessionId: string, code: number, message: string) => {
      console.error(`识别出错:${code} ${message}`);
    }
  });

  // 3. 开始识别:recognitionMode 0 为麦克风,1 为写入 PCM 音频流
  engine.startListening({
    sessionId: 'demo-session',
    audioInfo: { audioType: 'pcm', sampleRate: 16000, soundChannel: 1, sampleBit: 16 },
    extraParams: {
      recognitionMode: 0,
      maxAudioDuration: 20000,
      sessionGeneralLexicon: ['张三'] // 会话热词,优先级高于系统热词
    }
  });
});

麦克风识别将 recognitionMode 设为 0;转写 PCM 文件则设为 1,并通过 writeAudio 按 640 或 1280 字节分片写入(对应 20ms 或 40ms 间隔)。长语音需将 recognizerMode 改为 long ,并通过 finish 主动终止会话。单次写入字节数必须严格匹配规范,writeAudio 单次传入音频数据仅允许 640 字节或 1280 字节,分片间隔必须匹配。

*以上为精简用法示意,完整可运行工程可查阅官方开发指南 。

更多接入指导:

1)开发指南:文档中心

2)API 参考:文档中心

3)FAQ:文档中心

4)在线课堂:华为开发者学堂

🛑 【下期预告】Harmony Intelligence AI 开放能力深度解读第六期,我们将带来更多特性的深度拆解,也欢迎在评论区留言您最想看到的主题。

Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐