本篇封面

系列主题:AI 姿态练习镜|第 07/09 篇;主线为视频时序、骨架证据与端侧可信反馈。开发环境与应用界面由 AI 生成,图片数据用于说明文章场景。

开篇:把看似偶然的问题变成可测的工程条件

“换了更小的模型,整体准确率提高却更难用了?”看似是单个功能的问题,实际上牵涉采集、模型与业务规则之间的边界。本文围绕项目“姿态练习镜”拆解这一故障:先提出可复现的失败条件,再确定拒绝错误结论的门禁,最后给出能够在没有真实模型时独立运行的业务测试。文章中的阈值用于解释算法取舍,不表示适合所有身体条件或所有机型。

1. “准确率上升”不足以支持模型替换

姿态模型升级后,团队可能发现总体关键点误差降低,却收到更多用户说“偶尔突然不计数”。原因在于离线帧级评测和实际动作事件不是同一目标:模型在清晰正面图像上的位置精度略有提高,不代表在侧面深蹲、遮挡和转身期间的关键点连续性更好。应用最终依赖的是稳定的人体关联、及时的相位变化和可信的拒绝策略,因此模型升级必须经过从点位到事件再到体验的分层评估。拿一个总体分数决定上线,很容易让高频场景的改进掩盖少数重要场景的退化。

2. 先固定评测单元,而不是收集更多帧

同一段视频内相邻帧高度相关,如果把同一个人的连续视频随机切成训练集与测试集,模型可能“见过”近乎相同的背景、衣服和体型,测得的指标会过分乐观。更合理的切分至少以参与者或完整录制会话为单位,必要时再按设备和拍摄地点做外部验证。文章不提供虚构的样本数量或准确率结果,而是要求先写清楚数据使用许可、标注协议、参与者多样性和剔除规则,确保未来的数字有可解释的分母。

3. 把关键点、追踪和动作事件分开评分

关键点层可以计算点位误差与缺失率;追踪层要统计身份交换、轨迹中断和重新选择次数;事件层则看完整动作的误计数、漏计数与时延。它们有因果联系,却不能彼此替代。一个膝点只错了几像素,若恰好在计数阈值附近,可能直接多算一次;反过来一些远离阈值的坐标误差可能不会改变业务结果。通过错误链路归因才能知道该优化模型、滤波器、追踪器,还是调整业务门禁。

4. 置信分数并不自动等于概率

模型输出的 score 常被 UI 原样乘一百,展示为“95% 可信”,但很多模型分数并没有在目标设备与目标人群上进行概率校准。比如分数 0.9 的一组关键点中,真正满足标注误差门槛的比例未必就是九成。可使用分桶的期望校准误差 ECE、可靠性曲线和分组统计衡量偏差。阈值是否采用 0.55,不应由工程师的个人感觉决定,而应结合误报成本、拒绝率和验证数据选择。

DevEco Studio 风格代码与诊断界面

图 2:AI 生成的开发环境画面,代码以正文与源码为准。

5. 区分模型误差与业务规则误差

当动作漏计数时,回看模型输出并不总能发现问题。也可能是关键点已经准确,但计数状态机的最小底部停留时间过长,或者最大允许帧间断与实际设备帧率不匹配。建议建立可重放的结构化推理结果集:保存时间戳、关键点、置信度、变换参数、模型标识和人工标注事件,并在不必保存原始影像的前提下复跑业务规则。模型升级与规则升级分别建立实验版本,避免两个变量同时改动导致无法归因。

6. 按设备和拍摄条件分组

至少把评估结果按设备档次、前后置镜头、正面/侧面、室内光照、画面中人物数量与服装遮挡情况分组。总体正确率相同的两个版本,可能在低端设备或侧身场景呈现相反走势。分组时还要报告样本量与置信区间;如果某组仅有几个片段,任何百分比都很不稳定。若不愿公布敏感个人数据,可以公开清晰的评估流程和聚合指标,同时把原始影像留在合法授权的内部测试环境。

7. 部署版本必须像代码一样具有清单

模型文件只用 pose.onnx 这样的文件名会让排查困难。一个版本清单应写明模型哈希、输入分辨率、颜色顺序、归一化规则、关键点顺序、推理后端、量化类型、输出分数语义和所依赖的后处理版本。所谓“模型升级”并不只是替换权重文件,任何预处理变动都可能让输出发生漂移。线上记录只需保留版本标识与必要指标,不应因为想追踪模型而默认上传人体视频。

姿态练习镜应用界面

图 3:AI 生成的姿态练习应用画面,界面数据用于说明功能。

8. 失败时应回退策略而不一定回退模型

若新模型在某些设备上速度过慢,可以先降低分析帧率或关闭高成本反馈,但这不代表模型结论仍然可信。若是关键点输出语义不兼容,则必须拒绝使用旧的阈值和索引映射,必要时回退到已验证的模型与规则组合。模型和规则的回退应作为一个版本集合测试,不能让新后处理拿旧数据结构盲跑。上线策略还要考虑用户已保存的历史动作记录如何解释,避免同一数字在新旧版本之间含义突然变化。

9. 离线评测用例为什么要保存失败样本

只持续追加成功样本,评测集会越来越符合当前模型的能力边界,难以发现退化。每次真实使用中出现误判,若获得许可,应将其抽象成可匿名复现的测试条件,标注错误类型和期望行为。没有影像授权时也可以保存纯结构化边界用例,例如某个膝点缺失、时间戳倒退或 trackId 变化。将失败固化为自动化回归,才会让“模型更小”变成可量化的工程收益而非主观感受。

可以复制运行的关键业务代码

以下代码摘自压缩包 核心源码/src/evaluation.mjs,属于我们定义的纯业务逻辑,不是 HarmonyOS 系统提供的同名 API。它可以在 Node.js 18+ 下通过仓库测试调用;相机采集和模型推理仍需按官方文档另行接入。

export function confusion(items,positive='good'){
  const c={tp:0,tn:0,fp:0,fn:0};
  for(const x of items){
    const gt=x.truth===positive,pred=x.prediction===positive;
    if(gt&&pred)c.tp++;else if(!gt&&!pred)c.tn++;else if(!gt&&pred)c.fp++;else c.fn++;
  }
  return {...c, precision:c.tp/(c.tp+c.fp||1), recall:c.tp/(c.tp+c.fn||1)};
}
export function expectedCalibrationError(items,bins=5){
  let err=0;
  for(let i=0;i<bins;i++){
    const b=items.filter(x=>x.confidence>=i/bins && (i===bins-1?x.confidence<=1:x.confidence<(i+1)/bins));
    if(!b.length)continue;
    const conf=b.reduce((s,x)=>s+x.confidence,0)/b.length;
    const accuracy=b.filter(x=>x.correct).length/b.length;
    err+=b.length/items.length*Math.abs(conf-accuracy);
  }
  return err;
}
export function groupMetrics(records, key){
  const groups=new Map();for(const r of records){const k=r[key]??'unknown';if(!groups.has(k))groups.set(k,[]);groups.get(k).push(r);}
  return Object.fromEntries([...groups].map(([k,rs])=>[k,confusion(rs)]));
}

阅读这段代码时要特别区分输入的契约是否可靠与输出的数值是否能支持动作结论:部署中的评测不应把“好看的平均值”放在最后一页作为唯一证据。用户更容易感受到特定场景里的极端错误,例如多人遮挡时突增次数、低端设备上动作延迟明显。分组指标可以把这些异常单独暴露,模型版本清单则保证团队知道每个结果对应哪套预处理与规则。项目在没有真实标注集时不能宣称某模型准确率达到具体数值;应先交付可执行评测框架。

深一层:那些会让简单修补再次失败的细节

数据分桶:高样本量不等于高独立性

从一段连续视频里抽出几千帧,表面上评估样本很多,但它们共享同一个人、光照、服装和背景。若训练与验证都混入这些相邻帧,很容易得到无法推广的结果。分组评测应以独立的参与者、录制会话和设备环境为基础,标注人员与规则也需要记录。对某组只有极少会话的结果,应该提示置信不足,避免把少量错误折算成看似精确的百分比。测试集的设计不是“越多帧越好”,而是看能否覆盖部署时真的会遇到的变化。

误差分层:从像素问题找到业务后果

一次多算可能来源于模型在关键时间点预测了错误膝位,也可能是身份交换、滤波时间异常或状态机门槛错误。建立中间产物重放机制后,可以固定模型输出只更新业务规则;也能固定规则比较两份模型输出的事件差异。如果不区分层级,团队容易在模型已准确时继续训练模型,或者用调高阈值掩盖某个设备上的采样问题。将每次故障标记为输入、空间、时间、身份或业务错误,能让优化投入真正指向根因。

阈值校准:拒绝率也是一条曲线

提高关键点置信门槛通常可以减少一部分误判,却会增加“无法评估”的比例。不能只报告被接受样本中的准确率,因为只保留最容易的片段就可以让这个数字很好看。正确报告至少包含接受覆盖率、接受条件下的错误率、拒绝原因分布和重要子群体的表现。产品可以选择保守门槛,但必须知道这意味着多少场景被放弃。这个取舍要由实际使用目标、风险和评测数据决定,而不是让一个看起来漂亮的数字替业务决策。

模型清单:预处理也属于版本的一部分

若新权重采用不同颜色顺序或归一化尺度,即使关键点语义仍是相同的左右膝,输出也可能全面漂移。部署清单必须包括输入图像旋转、镜像策略、分辨率、颜色格式、归一化、模型权重哈希、后处理与阈值版本。系统升级或更换设备加速后端时,也要确认推理结果格式是否一致。模型与业务逻辑不能分别维护“最新”而没有兼容关系;一旦发生误判,需要能够准确复原使用的是哪一套组合。

回归门禁:除了最好的一组,还要关注最差的一组

一个新模型在多数明亮场景有明显进步,但在背光侧身场景出现系统性漏计数,这种退化可能被总体成绩掩盖。上线审核应重点盯住高风险分组与已知失败集,而不是每次只看平均数是否提升。对尚未覆盖的人群和设备,报告未知而不是默认通过;对于缺少可靠证据的场景,产品应暂停高级评分。这样可以把模型升级从“团队感觉更好”变成可追溯的质量决策。

更改回滚:应恢复整套模型与规则组合

假设只回退模型文件,仍保留新版本阈值或关键点映射,旧模型输出可能被错误解释,反而制造新问题。应将权重、预处理、点位顺序、滤波参数和状态机门槛作为一个可版本化集合进行发布与回滚。持久记录还要保存当时的规则版本,使历史次数不会在界面重新打开时被新规则暗中重算。不能因为业务代码测试通过就宣称端侧模型已经兼容,真机推理与目标场景的评测仍是独立关口。

故障注入与可回放验收

举一个有意设计的统计反例:一组模型在容易场景中正确次数较多,但在侧面遮挡场景漏掉数次完成事件;另一模型总体点位误差略大,却较少丢失关键膝点。只看全量帧级准确率可能选择前者,然而在计数产品上后者也许更合适。我们用 groupMetrics 把记录按 group 分组并分别计算精确率、召回率,再用 expectedCalibrationError 检查置信值的可信程度。这些函数只验证统计计算,不等于项目已经收集或验证了真实训练数据。

为了让排查结果可以交给下一位开发者,建议每次故障记录至少包括会话版本、输入边界、期望输出、实际输出、受影响模块和复现步骤。这里的自动化用例验证的是规则与状态转换,不能据此声称某型号 HarmonyOS 手机已经实现了对应推理 FPS、姿态准确率或功耗收益。完整的 Node.js 测试位于压缩包 核心源码/tests/core.test.mjs,可以离线复跑。

适用条件与技术边界

ECE 依赖分桶数量,样本少时会很不稳定,不能单独当作模型可信证明。分组评估也可能因为样本组成差异而出现误导,必须记录采集方式和足够数量的独立会话。给某个人或某个设备评分低并不意味着其练习动作差,可能只是模型对该场景的观察能力弱。上线前必须明确这一差别,并以拒绝推断而不是错误指责来处理证据不足的情况。

本篇实施小结

经过这一轮排障,部署中的评测不应把“好看的平均值”放在最后一页作为唯一证据。工程交付不应止于界面显示正确,还必须能解释在输入缺失、设备降频或用户切换页面时为何拒绝或接受一次结论。下一篇关注长时间运行、设备发热和推理调度,在降频时维持动作结论的可信度。

发布前核对清单

  • 测试集按参与者或会话隔离;保存关键点语义和模型哈希;按设备/视角/遮挡分组报告;同时检查误报、漏报和拒绝率;比较业务结果而不只比较帧级误差;每次版本更新对失败用例做回归。

官方核对方向:相机帧率控制;本仓库评测代码。具体 API 调用与权限以所用 DevEco Studio/HarmonyOS SDK 版本为准,相关官方链接统一列于压缩包根目录《官方技术依据与适用边界.md》。

Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐