(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210342525.8 (22)申请日 2022.03.31 (71)申请人 思必驰科技股份有限公司 地址 215123 江苏省苏州市苏州工业园区 新平街38 8号腾飞创新园14栋 (72)发明人 俞凯　陈露　孙良泰　陈星宇　 戴天乐　 (74)专利代理 机构 北京商专永信知识产权代理 事务所(普通 合伙) 11400 专利代理师 黄谦　侯晓艳 (51)Int.Cl. G06F 9/451(2018.01) G06F 3/0484(2022.01) G06F 40/35(2020.01) (54)发明名称 基于交互界面的对话方法及模型 (57)摘要 本发明实施例提供一种基于交互界面的对 话方法。 该方法包括： 将用户的对话指令输入至 动作执行器； 由动作执行器基于对话历史以及图 形交互界面判断对话指令的操作步骤； 基于动作 执行器对各操作步骤的执行， 控制图形交互界面 基于执行的各步骤变化； 直至各操作步骤完成 时， 对话生成模块基于完成各操作步骤的图形交 互界面生 成对话指令的回复。 本发 明实施例还提 供一种基于交互界面的对话模型。 本发明实施例 提出了基于GU I的面向任 务的对话模型， 对GU I界 面进行通用的语义建模， 不依赖于特定的操作步 骤， 即便GUI界面发生变化， 也可以自动化地在 GUI界面中执 行各种用户指令 。 权利要求书2页 说明书10页 附图5页 CN 114895999 A 2022.08.12 CN 114895999 A 1.一种基于交 互界面的对话模型， 包括： 动作执行器， 用于对输入的对话指令以及图形交互界面语义理解， 基于对话历史至少 预测所述对话指令在所述图形交互界面中操作的目标项目和/或滑动方向， 得到所述对话 指令在所述图形交 互界面中预测操作轨 迹， 作为所述对话指令的操作步骤进行 执行； 对话生成模块， 用于利用完成所述操作步骤的图形交互界面生成所述对话指令的回 复。 2.根据权利要求1所述的对话模型， 其中， 所述动作执 行器的训练过程包括： 将对话历史和与所述对话历史相关联的带有基准操作轨迹的图形交互界面中的多个 项目作为动作执 行器的输入， 其中， 所述项目包括： 文本内容、 项目类别； 对所述对话历史和所述文本 内容语义理解， 基于多个不同的分类器判断在所述图形交 互界面中操作的项目类别、 目标项目、 滑动方向， 得到预测操作轨 迹； 基于所述基准操作轨迹和所述预测操作轨迹对所述多模态对话模型进行训练， 直至所 述预测操作轨 迹趋近于所述基准操作轨 迹。 3.根据权利要求2所述的对话模型， 其中， 所述多个不同的分类器包括： 预测任务、 预测 目标项目、 预测方向分类 器。 4.根据权利要求2所述的对话模型， 其中， 在所述将对话历史和与所述对话历史相关联 的带有基准操作轨迹的图形交互界面中的多个项目作为动作执行器的输入之前， 所述方法 还包括： 收集所述对话历史和与所述对话历史相关联的基准操作轨 迹， 包括： 生成第一对话领域的第 一对话指令， 以供注释者在所述对话在图形交互界面中完成所 述第一对话指 令的操作步骤， 并记录注释者完成所述第一对话指 令每次操作的第一轨迹标 注， 以及每次操作后的图形交 互界面； 接收由对话编写者编写的限制对话回合数、 对话行为的第二对话领域的对话指令， 以 供注释者在所述对话在图形交互界面中完成所述第二对话指令， 并记录注释者完成所述第 二对话指令每次操作的第二轨 迹标注， 以及每次操作后的图形交 互界面； 将所述第一轨 迹标注、 所述第二轨 迹标注作为基准操作轨 迹。 5.根据权利要求 4所述的对话模型， 其中， 所述轨 迹标注由光学字符识别确定 。 6.根据权利要求2所述的对话模型， 其中， 所述项目类型包括： 文本视图、 图像视 图、 线 性布局、 图像按钮、 按钮、 编辑文本、 切换视图、 视图组、 选中文本视图、 相对布局、 网络视图、 图像、 切换按 钮、 列表视图、 框架 布局、 单选按 钮、 复选框。 7.根据权利要求1所述的对话模型， 其中， 所述对话生成模块的编码器与所述动作 执行 器共享相同的编码器， 所述对话 生成模块的解码器为多层的t ransformer解码器。 8.一种基于交互界面的对话方法， 应用于包含根据权利要求1 ‑7中任一项所述的对话 模型的电子设备， 包括： 将用户的对话指令 输入至动作执 行器； 由所述动作执 行器基于对话历史以及图形交 互界面判断所述对话指令的操作步骤； 基于所述动作 执行器对各操作步骤的执行， 控制所述图形交互界面基于执行的各步骤 变化； 直至所述各操作步骤完成时， 对话生成模块基于完成所述各操作步骤的图形交互界面 生成所述对话指令的回复。权　利　要　求　书 1/2 页 2 CN 114895999 A 29.一种电子设备， 其包括： 至少一个处理器， 以及与所述至少一个处理器通信连接的存 储器， 其中， 所述存储器存储有 可被所述至少一个处理器执行的指 令， 所述指 令被所述至少 一个处理器执行， 以使所述至少一个处 理器能够执 行权利要求8所述方法的步骤。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时实现 权利要求8所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114895999 A 3