(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211035841.7 (22)申请日 2022.08.27 (71)申请人 杭州格沃智能科技有限公司 地址 311100 浙江省杭州市余杭区瓶窑镇 观山路11号1幢一楼1 130室 (72)发明人 任浙东　 (74)专利代理 机构 杭州中成专利事务所有限公 司 33212 专利代理师 朱莹莹 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/30(2020.01) (54)发明名称 一种自主或辅助操作软件系统、 硬件设备功 能的系统及其使用方法 (57)摘要 本发明属于计算机领域， 具体的提供一种自 主或辅助 操作软件系统、 硬件设备功能的系统及 其使用方法， 由场景动作链库、 场景动作意图理 解、 场景动作执行三部分组成。 本方法具有高效、 精准、 普适的特点， 可以让机器帮助人从繁杂重 复的操作工作中脱离出来， 也可以让机器引导人 进行正确操作， 等等。 本方法可 以广泛应用在人 工智能助手、 机器人流程自动化、 工业机器人自 动化控制、 RPA软件机 器人等场景。 权利要求书2页 说明书13页 附图2页 CN 115526164 A 2022.12.27 CN 115526164 A 1.一种自主或辅助操作软件系统、 硬件设备功能的系统， 其特征在于： 由场景动作链 库、 场景动作意图理解、 场景动作执 行三部分组成； 场景动作链库用于存 储一系列场景与动作链； 场景动作意图理解用于理解用户语音、 文本等方式输入的意图， 并定位到链库上具体 的场景或动作上； 场景动作执行根据用户现在所处的场景， 以及意图理解后得到的具体场景或动作， 计 算出最短到 达场景与动作的动作执 行集合， 然后依次执 行集合里的动作。 2.根据权利要求1所述的系统， 其特征在于： 场景是指用户所处的操作环境， 通常指软 件系统、 硬件设备的操作界面， 当软件系统、 硬件设备第一次被 打开或操作时就会有一个默 认的场景， 例如软件的登录页、 首页； 动作是指用户可执行的行为， 例如点击界面上的按钮、 下拉选择界面上的下拉框 。 3.根据权利要求1所述的系统， 其特征在于： 所述场景动作链库的生成方法包括如下3 种方法： (1)自动收集:浏览器网页形式的软件系统， 通过在页面上引入自动收集的脚本， 或者 通过浏览器自动化工具可以控制与操作浏览器页面来完成动作执行， 从而自动地完成场景 动作链库的收集； 软件系统或硬件设备通过自主收集程序或者外挂控制程序来控制与操作 软件系统、 硬件设备操作界面来完成动作执行， 从而自动地完成场景动作链库的收集； 软件 系统或硬件设备通过图像识别加自动 操作来控制或操作软件系统、 硬件设备操作界面来完 成动作执 行， 从而自动地完成场景动作链库的收集； (2)手工录入： 直接手工 录入场景与动作， 维护场景动作链库； (3)接口管理： 第 三方通过接口形式来自动管理自己软件系统、 硬件设备的场景动作链 库。 4.根据权利要求1所述的系统， 其特征在于： 场景动作意图理解的方法主要使用自然语 言处理技术， 其中语音可以通过语音识别技术转换成文本后再通过自然语言理解方法来识 别用户的意图。 5.根据权利要求4所述的系统， 其特征在于： 场景动作意图理解中若意图理解无法识别 出用户的场景与动作， 此时进一步询问用户并继续理解直至识别出具体的场景与动作， 或 者让用户直接 选择近似的场景与动作； 若意图理解识别多个场景与动作， 此时进一步询问用户来并继续理解直至识别出具体 的场景与动作， 或者让用户直接 选择其中一个场景与动作； 意图理解过程中可以结合当前用户所处的场景， 也可以引入用户特征画像即用户属 性、 兴趣、 行为等特征， 从而可以快速个性化定位， 或者对多个识别出来的场景与动作进行 优先排序， 或者让用户可以从最近操作过的场景与动作中选择。 6.根据权利要求4所述的系统， 其特征在于： 使用基于概念 网络的自然语言理解方法来 实现场景动作意图理解:场景、 对象、 动作、 属性、 值形成概念网络中的概念， 场景与场景之 间、 场景与对象之间、 场景与动作之间、 对象与动作之间、 场景与属性之间、 对象与属性之 间、 动作与属性之间、 属性与值之间形成概念网络中的概念连接； (1)理解时依次通过切分句、 切 分概念词、 概念定义(DEF)依存分析、 概念定义(DEF)运 行等过程识别出用户的场景与动作意图。权　利　要　求　书 1/2 页 2 CN 115526164 A 27.根据权利要求1所述的系统， 其特征在于： 场景动作执行的动作执行集合计算方法 是: (1)把场景动作链库看成树， 最上层为根节点， 用户现在所处的场景为节点1， 具体要达 到的场景或动作为节点2； (2)使用树上最近公共祖先算法(Lowest  Common Ancestor， LCA)， 寻找该两个节点的 最近公共 祖先； 寻找时的条件约束是： 只能通过动作来完成场景切换； 当无法找到公共祖先 时则公共祖 先就默认为 根节点； (3)如果公共祖先是根节点时将 从根节点到达节点2的动作记录到动作执行集合内； 如 果公共祖先不是根节点则先将从节点1到达公共祖先 的动作记录到动作执行集合内， 然后 再将从公共祖 先到节点2的动作记录 到动作执 行集合内。 8.根据权利要求7所述的系统， 其特征在于： 场景动作执行中， 依次执行动作执行集合 里的动作时， 监视场景切换情况， 如果不能正常切换场景或者场景中动作所属的对 象不存 在时则中断动作执行， 并提示用户； 当动作被执行且场景被切换后 都要重新记录用户现在 所处的场景。 9.根据权利要求1所述的系统， 其特征在于： 本系统用于第 三方软件系统或硬件设备本 系统用于第三方 软件系统或硬件设备的过程如下 所述： (1)第三方可以通过接口形式动态管理场景动态链库， 当然也可以通过脚本或者自动 化工具或自主采集程序或外挂程序或 图像识别与自主操作或手工录入等多种方式事先完 成场景动态 链库； (2)第三方接收用户语音、 文本等方式输入意图， 并将该意图以及 当前用户现在所在的 场景通过接口形式发送给场景动作意图理解模块； 场景动作意图理解模块识别出用户具体 的场景与动作； 如果无法识别或识别出多个， 则响应给第三方， 由第三方根据识别结果完成 与用户的交 互， 并把用户确定的场景与动作通过接口形式发送给场景动作执 行模块； (3)场景动作执行模块， 根据当前用户现在所处的场景， 以及用户具体的场景或动作， 计算出最短到达场景与动作的动作执行集合， 并将动作执行集合响应给第三方， 由第三方 根据动作执 行集合进行执行操作。 10.根据权利要求9所述的系统， 其特征在于： 所述的接口形式也包含SDK包提供的API 方式， 即通过开发集成工具环境调用API 来完成上述接口形式的信息交 互。权　利　要　求　书 2/2 页 3 CN 115526164 A 3