(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210652316.3 (22)申请日 2022.06.09 (71)申请人 日立楼宇 技术 （广州） 有限公司 地址 510660 广东省广州市广州高新 技术 产业开发区科 学城南翔三路2号 (72)发明人 杜卉然　唐其伟　陈涛　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 蔡舒野 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/46(2022.01) G06T 7/73(2017.01)G06T 7/50(2017.01) G06Q 10/00(2012.01) (54)发明名称 基于设备维护的过程跟踪方法、 装置、 设备 及存储介质 (57)摘要 本申请公开了一种基于设备维护的过程跟 踪方法、 装置、 设备及存储介质,其中方法包括： 获取维护人员在维护场景中的人员相关数据， 所 述人员相关数据包括所述维护人员的姿态类别 以及所述维护人员所在的第一空间相对位置； 获 取所述维护场景中的部件相关数据， 所述部件相 关数据包括部件类别以及所述部件类别对应的 部件所在的第二空间相对位置； 根据所述人员相 关数据以及所述部件相关数据， 确定所述维护人 员对所述部件的局部行为信息； 基于所述局部行 为信息， 对所述维护场景进行维护过程跟踪。 实 现维保过程的全流程监控， 提高了对维护人员的 工作监督， 从而更好 地保障了设备的安全运行。 权利要求书3页 说明书12页 附图2页 CN 115019394 A 2022.09.06 CN 115019394 A 1.一种基于设备维护的过程跟踪方法， 其特 征在于， 所述方法包括： 获取维护人员在维护场景中的人员相关数据， 所述人员相关数据包括所述维护人员的 姿态类别以及所述维护人员所在的第一空间相对位置； 获取所述维护场景中的部件相关数据， 所述部件相关数据包括部件类别以及所述部件 类别对应的部件所在的第二空间相对位置； 根据所述人员相关数据以及所述部件相关数据， 确定所述维护人员对所述部件的局部 行为信息； 基于所述局部行为信息， 对所述维护场景进行维护过程跟踪。 2.根据权利要求1所述的方法， 其特征在于， 所述获取维护人员在维护场景中的人员相 关数据， 包括： 获取包含所述维护人员的第一图像数据 序列； 从各第一图像数据中提取 出所述维护人员所在的第一区域图像； 对连续的第一区域图像序列进行姿态 识别， 以确定所述维护人员的姿态类别。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一图像数据由设置于所述维护场景 中的第一采集设备采集； 所述获取维护人员在维护场景中的人员相关数据， 还 包括： 从所述第一区域图像中确定所述维护人员的关键点； 获取所述第 一采集设备采集的第 一深度图像， 并将所述第 一区域图像以及所述第 一深 度图像进行像素匹配， 以确定各 所述关键点在相机坐标系下的三维坐标； 获取所述第一采集设备的第一角度信息， 并根据所述第一角度信息， 将各所述关键点 在相机坐标系下的三 维坐标转换成世界坐标系下的三 维坐标， 所述世界坐标系以所述第一 采集设备投影到地 面的位置为原点构建； 根据各关键点在所述世界坐标系下的三维坐标， 计算各关键点与所述第 一采集设备的 距离与角度， 作为所述第一空间相对位置 。 4.根据权利要求1所述的方法， 其特征在于， 所述获取所述维护场景中的部件相关数 据， 包括： 获取包含所述部件的第二图像数据 序列； 从各第二图像数据中提取 出所述部件所在的第二区域图像； 对连续的第二区域图像序列进行部件识别， 以确定所述部件的部件类别。 5.根据权利要求4所述的方法， 其特征在于， 所述部件相关数据还包括部件状态， 所述 获取所述维护场景中的部件相关数据， 还 包括： 对所述第二区域图像序列进行部件状态检测， 以确定所述部件的部件状态， 所述部件 状态包括工作状态。 6.根据权利要求4所述的方法， 其特征在于， 所述部件相关数据还包括部件质量， 所述 获取所述维护场景中的部件相关数据， 还 包括： 对所述第二区域图像序列进行部件质量检测， 以确定所述部件的部件质量， 所述部件 质量包括所述部件表面是否存在缺陷。 7.根据权利要求4 ‑6任一项所述的方法， 其特征在于， 所述第二图像数据由设置于所述 维护场景中的第二采集设备采集；权　利　要　求　书 1/3 页 2 CN 115019394 A 2所述获取 所述维护场景中的部件相关数据， 还 包括： 从所述第二区域图像中确定所述部件的关键点； 获取所述第 二采集设备采集的第 二深度图像， 并将所述第 二区域图像以及所述第 二深 度图像进行像素匹配， 以确定 部件的各 所述关键点在相机坐标系下的三维坐标； 获取所述第二采集设备的第二角度信息， 并根据所述第二角度信息， 将所述部件的各 所述关键点在相机坐标系下的三 维坐标转换成世界坐标系下的三 维坐标， 所述世界坐标系 以所述第二采集设备投影到地 面的位置为原点构建； 根据所述部件的各关键点在所述世界坐标系下的三维坐标， 计算各关键点与 所述第二 采集设备的距离与角度， 作为所述第二空间相对位置 。 8.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 所述根据 所述人员相关数据以及 所述部件相关数据， 确定所述维护人员对所述部件的局部行为信息， 包括： 根据所述第 一空间相对位置与所述第 二空间相对位置， 确定所述维护人员与 所述部件 的相对位置关系； 根据所述姿态类别、 所述部件类别与所述相对位置关系生成待匹配信息， 并将所述待 匹配信息与预先生成的多个局部行为模板进 行匹配， 以将匹配成功的局部行为模板作为所 述待匹配信息的局部行为信息， 其中， 各所述局部行为模板包括模板姿态类别、 模板部件类 别以及模板相对位置关系。 9.根据权利要求8所述的方法， 其特征在于， 所述第 一空间相对位置包括设置于维护场 景的第一采集设备与维护人员之间的距离和角度； 所述第二空间相对位置包括设置于所述 维护人员身上的第二采集设备与部件之间的角度和距离； 所述根据 所述第一空间相对位置与 所述第二空间相对位置， 确定所述维护人员与 所述 部件的相对位置关系， 包括： 将所述部件与 所述第二采集设备之间的距离和角度， 作为所述部件与 所述维护人员之 间的距离和角度。 10.根据权利要求1所述的方法， 其特征在于， 所述基于所述局部行为信 息， 对所述维护 场景进行维护过程跟踪， 包括： 获取所述维护人员在所述维护场景中已执行的一个或多个局部行为信 息， 并将所述一 个或多个局部行为信息按时间顺序组织成局部行为列表； 将所述局部行为列表与在先生成的一个或多个工序模板进行匹配， 并将匹配成功的工 序模板作为所述局部行为列表对应的工序类别。 11.根据权利要求10所述的方法， 其特征在于， 所述工序模板包括多个工序步骤， 所述 基于所述局部行为信息， 对所述维护场景进行维护过程跟踪， 还 包括： 根据所述局部行为列表， 判断所述匹配成功的工序模板中的所有工序步骤是否均已完 成； 若是， 则判定当前工序类别全部 完成； 若否， 则判定当前工序类别未完成。 12.一种基于设备维护的过程跟踪装置， 其特 征在于， 所述装置包括： 人员数据获取模块， 用于获取维护人员在维护场景中的人员相关数据， 所述人员相关 数据包括所述维护人员的姿态类别以及所述维护人员所在的第一空间相对位置；权　利　要　求　书 2/3 页 3 CN 115019394 A 3