原论文题名:KG-RAG: Enhancing GUI Agent Decision-Making via Knowledge Graph-Driven Retrieval-Augmented Generation

团队信息:华为香港研究中心、香港大学、香港城市大学与西安电子科技大学等联合团队

发表信息:EMNLP 2025 Main Conference，DOI：10.18653/v1/2025.emnlp-main.274

研究对象与核心方法:把移动应用的界面跳转图整理为知识图谱与向量库，再用意图引导检索为GUI Agent提供可执行导航路径。

摘要导读

现实问题:GUI Agent能够看懂屏幕，却常在复杂App里点错入口、重复探索，原因之一是模型缺少应用内部的结构化路径知识。

研究目标:论文希望让Agent在执行任务前检索“这个意图通常经过哪些页面和控件”，减少只靠截图即时猜测带来的失误。

方法框架:KG-RAG离线抽取并清洗UI Transition Graph，将导航路径写入结构化向量库；在线阶段根据用户意图检索路径，再把证据送入决策链。

量化结果:论文报告任务成功率达到75.8%，较AutoDroid提高8.9个百分点；决策准确率为84.6%，平均任务步数由4.5降至4.1。

结论边界:结果说明结构化应用记忆能够补足大模型的局部观察，但它仍依赖图谱质量、界面更新频率和应用覆盖范围。

研究背景与目的

手机Agent真正困难的地方，并不只是识别按钮文字。一个App往往有多层页面、隐藏入口、动态弹窗和相似控件，同一个目标还可能存在多条操作路线。模型每一步只看到当前屏幕时，容易把局部线索误当成完整地图。

论文原文插图｜论文首页与摘要，展示KG-RAG研究问题、联合团队及核心实验结果。

以“关闭某项自动续费”或“找到订单中的某个设置”为例，截图能够告诉模型眼前有哪些按钮，却不能直接告诉它上一层页面从哪里进入、某个开关是否位于二级菜单、返回操作会不会丢失状态。论文因此把问题改写为：能否提前建立应用路径知识，并在决策时快速取回。

研究方法

研究者以DroidBot式自动探索为起点，抽取页面状态、控件和跳转关系，随后对重复节点、碎片路径和低质量描述进行整理。这样得到的UI Transition Graph不再只是测试日志，而是能够表达“页面—动作—下一页面”关系的应用知识图谱。

在线执行时，系统先解析用户意图，再从向量库检索相关导航片段。检索结果不是一段泛化说明，而是与当前任务相关的候选路径。Agent把这条路径与实时屏幕信息结合，选择下一步动作，并在界面变化后继续校正。

论文还构建KG-Android-Bench与KG-Harmony-Bench，用来覆盖中文移动生态中的Android与HarmonyOS任务，观察方法在不同应用和任务复杂度下是否仍能保持收益。

主要发现

核心结果表明，给Agent补一份可检索的“App内部地图”，能够同时提高任务完成率和单步判断质量。75.8%的任务成功率不仅对应更少的失败，也对应更短的平均操作链。

论文原文插图｜KG-RAG方法相关页面，包含UI跳转图、知识组织与在线检索决策链。

84.6%的决策准确率说明，收益并非只来自偶然走通，而是路径证据帮助模型在关键分叉口减少误选。平均步数从4.5降至4.1，幅度看似不大，但对包含多个页面的移动任务而言，少一次错误点击往往意味着少一次回退和状态恢复。

对RAG系统而言，这篇论文还给出一个重要提醒：检索对象不一定是文本段落，也可以是状态图、动作序列与结构化路径。真正影响Agent表现的，是检索证据能否进入下一步决策。

结论与意义

KG-RAG把GUI Agent的“记忆”从历史对话扩展到应用结构。它不要求大模型在每次任务中重新摸索，而是让离线探索结果成为可复用资产。对于重复性高、流程相对稳定的移动任务，这种设计比单纯扩大模型参数更直接。

更广泛地看，Agent系统正在从“模型会不会操作”转向“模型能否调用可靠的环境知识”。知识图谱、向量检索和实时观察并不是三套孤立模块，而是需要围绕动作决策形成闭环。

局限性与未来方向

方法的上限取决于UI图谱是否完整。频繁改版、个性化推荐、登录状态差异和临时弹窗都可能让离线路径过期；若检索到的路径与当前版本不一致，结构化知识也可能成为误导。

论文基准集中在移动应用任务，尚不能直接外推到桌面软件、网页多标签环境或跨设备工作流。未来还需要研究增量更新、路径置信度、失败恢复与安全权限控制。

参考文献

1. Guan Z, Li JCL, Hou Z, et al. KG-RAG: Enhancing GUI Agent Decision-Making via Knowledge Graph-Driven Retrieval-Augmented Generation. EMNLP 2025. DOI: 10.18653/v1/2025.emnlp-main.274.