HarmonyOS AI会议助手踩坑笔记:基础篇 03 · 识别结果越改越乱:增量转写、最终片段与乱序回调【共创稿事节】

图:本篇 AI 智能应用主题封面。
语音识别示例里常看到一句话逐字出现,最后变成完整句子。这个动画很像打字,但它并不等价于不断在原字符串末尾追加字符。识别引擎可能先给出“下周完成”,稍后改为“下周三完成”;也可能因为网络转写或任务切换,把较早的片段延迟送到界面。如果直接 transcript += text,最后很可能出现“下周完成下周三完成”,模型再认真也只能在重复的原文上制造重复纪要。
“智会行动”的第三篇只处理转写层:把识别回调归并成一个稳定、可追溯、能支持人工更正的文本版本。Core Speech Kit 的官方能力说明涉及中文、离线模型与识别时长限制,相关支持场景要按当前文档和设备确认;如果改用云侧 ASR,其事件字段与时序约定可能完全不同。本文定义一套自己的标准化回调协议,避免把不同引擎的回调类型直接传到业务层。
一、别把 partial 当成最终文字
一个转写片段至少需要包含 sessionId、seq、text、type、startMs 和 endMs。其中 type 用于区分用于实时预览的 interim 与可以持久化的 final。seq 不是文字长度,也不是发送时的系统时间,而是识别适配器给同一会话的一段稳定编号。每个具体引擎的原生回调不一定有这些字段,缺少时需在适配层按协议构造,不能假装这些字段就是官方输出。
例如用户说“把设计稿发到项目群”,引擎先给出 seq=7 的临时文本“把设计改发到”,随后给出同一段的最终文本。UI 只能替换第 7 段内容,不能追加新一段。正式存档时只保留最终文本,或者明确标注未完成片段;否则用户把预览误当成会议原文,后续需要逐句排重。录音中断时,最后一个预览段是保留为“待核对”还是丢弃,应让用户看到决策。
二、为什么序号和会话代际缺一不可
有些开发者给每个片段一个数组下标,收到回调就根据下标更新。问题在于上一段的 final 有可能比下一段的 interim 晚到。更糟的是用户重新开始一次识别,旧回调仍在路上:新会话刚刚清空数组,旧会话的事件又进入,结果出现一半旧会议、一半新会议。解决方式是双层标识:meetingId 识别会议,sessionId 识别本次识别任务,旧代际事件直接拒绝。
片段编号不应靠全局变量简单自增;当接口重新连接时需要明确服务端与客户端谁负责产生稳定序号。若云识别服务提供 offset、resultId 等信息,就在适配层转成内部 seq;如果只能得到完整转写快照,可以用“替换当前快照”策略而不是强行发明逐片段事件。不同接入方式走同一个 UI,却未必能复用同一个事件归并算法,这是工程接口设计必须承认的现实。
三、用两个 Map 保持预览和终稿隔离
// 来源:示例源码/src/transcript.mjs(独立可测试的业务模块)
export function makeTranscriptStore() {
const finalBySeq = new Map();
const interimBySeq = new Map();
function ingest(event) {
if (!Number.isInteger(event.seq) || event.seq < 0 ||
!['interim', 'final'].includes(event.type)) throw TypeError('bad event');
const text = String(event.text ?? '').trim();
if (event.type === 'final') {
if (!finalBySeq.has(event.seq)) finalBySeq.set(event.seq, text);
interimBySeq.delete(event.seq);
} else if (!finalBySeq.has(event.seq)) {
interimBySeq.set(event.seq, text);
}
}
function snapshot() {
const rows = [...new Set([...finalBySeq.keys(), ...interimBySeq.keys()])].sort((a,b)=>a-b);
return rows.map(seq => ({seq, text: finalBySeq.get(seq) ?? interimBySeq.get(seq),
final: finalBySeq.has(seq)}));
}
return { ingest, snapshot };
}
示例通过 finalBySeq 和 interimBySeq 两个 Map 保存状态:某个序号一旦收到最终文本,之后抵达的旧预览不可覆盖它;生成快照时将序号排序。这个实现故意没有合并成一整段字符串,因为排序、说话人标注和人工校订都需要保留片段边界。代码位于 示例源码/src/transcript.mjs,可直接配合单元测试验证重复和乱序情况。

图:识别片段合并的开发环境样式示意;非 DevEco Studio 实际运行截图,日志为界面示例内容。
要注意上面的算法只提供单个会话内的局部一致性,并不解决时间戳重叠、分段拆分和说话人漂移。如果引擎把原来一段拆成两段,新事件协议必须显式提供替换范围或修订号;不能指望两个 Map 自动猜测哪段需要删除。对于支持完整快照的引擎,最稳妥的方式是保存全量版本并在提交终稿时替换整个转写集合。
四、识别准确率问题与程序重复问题要分开
看到文字不准,第一反应可能是调整模型参数;看到重复内容,第一反应可能是加强去重。两者其实要分开检查。识别准确率受采样质量、方言、噪音、语速、场景词影响,业务层不该凭空“修正”原话;程序重复则通常表现为同一个 seq 多次出现、一个 final 被拼接、切换会话后旧事件进入。先用带序号的事件日志验证流程是否正确,才决定是不是需要优化音频质量或引入词汇表。
日志可以记录 sessionId 的短哈希、片段序号、事件类型、到达顺序以及长度,而不必记录全文。否则本来是为了调试文字问题,结果在系统日志里留下完整会议记录,反而引入新的隐私风险。遇到需要复现的语音错误,建议使用事先获得同意的专门测试素材,且在测试结束后删除;不要把用户真实会议的数据复制到任意共享群或问题单附件。
五、人工更正必须产生新版本
识别完成后用户常会修正人名、产品名或时间,例如把“后天”改成明确日期。此时仅修改屏幕上的字符串是不够的。应把校订后的文本写成独立的 transcriptRevision,保存修改人和修改时间,并将来源标注为“人工更正”。下游摘要读取指定版本,避免在用户校订过程中读取到前后不一致的一半内容。每次修改都覆盖数据库唯一字段的做法会让审计和撤销非常困难。
说话人分离也不能和文字识别混为一谈。某些服务提供说话人编号,但说话人编号通常只表示聚类,而不是现实身份。不能因为识别结果写着“说话人2”,就自动归属到通讯录中的真实同事。任何涉及人名的归属都应该有人工确认入口,特别是会议行动项后续要形成具体责任人时,更不能让一次错误说话人判断直接生成正式任务。

图:实时转写的手机界面设计示意,页面数据用于说明交互,非真机截图。
六、回归测试要覆盖“慢”和“乱”
最有价值的一组验证不是念一段标准普通话,而是主动打乱回调到达顺序:先发 seq=3 的临时文本,再发 seq=2 的最终文本,再发 seq=3 的最终文本,最后补一个过期 seq=3 预览。稳定快照应该按顺序呈现二、三段,第三段内容不能被旧预览覆盖。随后重新开始一个新的 sessionId,再喂给系统上一会话的事件,应该完全忽略。
另外要测超长停顿、多次暂停、低音量、多人交替、设备旋转和应用切后台。这里并不是说每个引擎都天然支持这些输入,而是要求工程在不支持时明确给出合理状态:任务暂停、片段待确认或转写失败,不得悄悄标记完成。尤其在离线引擎和云端引擎之间切换时,必须重新核对采样格式、权限、模型约束和输出字段,不能只换一个 URL 或引擎名称。
七、别让下游模型读到一半的原文
摘要服务只应消费最终、已版本化的文本集合。若用户选择在转写过程中做“实时要点”,应将其视为临时建议,不能和最终纪要共用一个状态字段。因为识别结果会修正历史片段,早期生成的结论可能已经不成立,甚至产生错误行动项。一个安全策略是在转写完成后计算内容摘要校验值,传给 AI 请求并在响应时核对来源版本,拒绝把旧版本结论覆盖到新文本上。
最终写入建议采用批次提交,而不是每个字符都落盘。高频预览只保存在内存,最终片段按节流或固定窗口写入,后台切换之前尽量完成已收到的稳定事件持久化;但是也不能把关键写入都推迟到 onBackground,官方建议不要在这一短暂回调内做耗时事务。需要实时可靠性时,可考虑使用轻量日志与恢复队列,但必须明确写入失败和磁盘空间耗尽的处理方式。
八、再往下挖:识别的时间边界怎样与会议事实对齐
转写事件即使按 seq 正确排序,也可能在时间区间上有重叠。例如一个识别服务在静音处重新切分片段,上一段结束在 38.2 秒,下一段却从 37.9 秒开始。若业务强行把所有时间段首尾相接,就会错配录音定位。内部应保存识别器原始时间字段和经校正的展示时间,两者不能相互覆盖。出现异常重叠时,可以标注“时间范围待复核”,而不是无声删除重复音频片段。
专有名词也是容易复盘失败的来源。产品名、英文缩写、部门代号在语音识别里可能被分成多个同音字;若用户手动修正,应建立本次会议的词汇更正表,而不是替换所有历史文档中的相同字串。全局搜索替换可能把真实姓名误改成产品代号,损害资料可信度。对于模型或识别 SDK 支持的自定义词表,也需要在官方约束范围内使用,并将词表版本关联到转写任务记录。
当服务分阶段返回“第 10 段完成”而“第 9 段仍在修订”时,是否允许用户进入纪要生成?建议区分完整转写和部分可用状态:只有所有应结束的段都稳定,才提供正式纪要生成;若用户希望先看当前内容,应明确标注“仅根据已识别内容形成草稿”。这比让模型猜测缺失部分要诚实。断网或引擎退出时,尚未最终确认的片段可保留在待核对栏,但不能混入正式证据集合。
最后,真正的稳定来源不是屏幕上展示出来的一长串字,而是每条最终片段的版本、时间范围和来源文件。摘要层引用片段 ID,回放层引用音频时间,人工校订层记录修改历史。三条链路互相独立又能够关联,遇到争议时才有能力回答“这句话最早来自哪里、何时被改过、哪个结论依赖了它”。
对于自动标点和数字格式化,同样不要把展示文本与证据原文混成一份数据。识别器可能将“二点五”规范化为“2.5”,这对阅读有帮助,却可能影响金额和日期的精确性。建议把识别原始文本、规范化展示文本和用户校订版本分开保存;用于生成正式纪要的应是用户可见且已冻结的版本,而不是后续仍会被算法静默修订的字段。
对外分享时还应在转写末尾附上“自动识别、未经逐字核对”的状态说明,除非用户已经完成审阅。语音识别具有统计误差,即使界面没有出现重复字符,也不代表人名与数值一定准确。将识别结果展示为可修改的工作底稿,而不是具有法律效力的完整记录,有助于控制误用风险。
本篇结论:转写的核心不是“让文字不断增长”,而是区分预览、终稿、会话代际和人工修订。下一篇将把较长的最终文本送入模型,重点解决切片时丢上下文、重叠时重复总结,以及会议原文可能包含不可信指令的问题。
资料核对说明:本系列部分涉及 HarmonyOS 原生能力,应以当前开发套件与华为官方文档为准;项目中的纯 JavaScript 代码属于业务示例,不等同于已完成端侧 SDK 对接。相关链接见根目录《官方资料索引.md》。
更多推荐


所有评论(0)