(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211228721.9 (22)申请日 2022.10.08 (71)申请人 浪潮软件集团有限公司 地址 250100 山东省济南市高新区科航路 2877号 (72)发明人 李淑圣　段京峰　卢则兴　刘毅　 梁翔宇　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 陈婷婷 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于视觉系统的机械臂多类型物品抓 取方法、 系统及装置 (57)摘要 本发明公开了一种基于视觉系统的机械臂 多类型物品抓取方法、 系统及装置， 属于视觉系 统应用技术领域， 该方法通过高清摄像机和深度 相机获取高清图像和深度信息建立视觉系统， 通 过标定摄像机的图像坐标系与机械臂末端的空 间坐标系， 得到图像坐标系与空间坐标系的转换 关系， 同时标定深度信息与空间坐标系的转换关 系， 精准确定物体位置； 针对高清图像进行物体 识别， 获取物体信息； 针对物体识别的结果与视 觉系统处理得到的物体准确坐标信息， 定位到机 械臂末端需要到达的位置， 规划运动轨迹并选择 相对应末端类型， 对相应物体进行跟踪； 抓取物 体到指定位置， 完成对多类型物体的抓取。 本发 明能够保证抓取的准确性， 提高流水线物体的抓 取效率。 权利要求书2页 说明书7页 附图1页 CN 115446839 A 2022.12.09 CN 115446839 A 1.一种基于视觉系统的机械臂多类型物品抓取方法， 其特征在于， 通过高清摄像机和 深度相机获取高清图像和深度信息 建立视觉系统， 通过标定摄像机的图像坐标系与机械臂 末端的空间坐标系， 得到图像坐标系与空间坐标系的转换关系， 同时标定深度信息与空间 坐标系的转换关系， 精准确定物体位置； 针对高清图像进行物体识别， 获取物体信息； 针对物体识别的结果与视觉系统处理得 到的物体准确 坐标信息， 定位到机械臂末端需要到达的位置， 规划 运动轨迹并选择相对应 末端类型， 对相应物体进行跟踪； 抓取物体到指定位置， 完成对多类型物体的抓取。 2.根据权利要求1所述的一种基于视觉系统的机械臂多类型物品抓取方法， 其特征在 于， 所述高清摄 像机和深度相机均放置在机 械臂外部， 即眼在手外； 根据眼在手外的标定原理， 对摄像机的图像坐标系与机械臂末端的空间坐标系进行标 定， 标定过程中机械臂末端坐标系和标定板保持不变， 求解出图像坐标系与机械臂末端空 间坐标系的转换关系； 深度相机的深度信 息也与末端空间坐标系 进行标定， 确定深度信 息与末端空间坐标系 的转换关系， 从而在处 理图像信息时得到末端应该运动的位置坐标。 3.根据权利要求1或2所述的一种基于视觉系统 的机械臂多类型物品抓取方法， 其特征 在于， 在物体经 过高清摄 像机的视野范围时， 使用YOLOV3 ‑Tiny网络对图像进行物体识别。 4.根据权利要求1或2所述的一种基于视觉系统 的机械臂多类型物品抓取方法， 其特征 在于， 根据KCF算法对相应物体进行跟踪。 5.根据权利要求1所述的一种基于视觉系统的机械臂多类型物品抓取方法， 其特征在 于， 所述针对物体识别的结果与视 觉系统处理得到的物体准确坐标信息， 当视觉系统获取高清图像信息之后， 通过坐标转换得到物体的实 际位置， 并通过深度 相机获取的深度信息进行坐标校正和准确获取物体距离机械臂末端的距离， 从而准确获取 到物体所在位置坐标。 6.根据权利要求5所述的一种基于视觉系统的机械臂多类型物品抓取方法， 其特征在 于， 获取到物体的具体坐标信息后， 转换为末端坐标系下的坐标， 结合深度信息确定物体距 离末端的距离以及流水线的运动速度， 确定末端将要达到的具体位置， 得到末端将要运动 的具体位置之后， 通过机械臂逆运动学算法求解机械臂的运动轨迹， 根据末端类型和物体 运动轨迹对物体进行抓取放置 。 7.根据权利要求6所述的一种基于视觉系统的机械臂多类型物品抓取方法， 其特征在 于， 所述机 械臂为六轴机 械臂， 所述逆运动学求 解为TracIK运动学求 解器。 8.根据权利要求6所述的一种基于视觉系统的机械臂多类型物品抓取方法， 其特征在 于， 所述根据末端类型和物体运动轨迹对物体进行抓取放置， 对多种物体抓取设计不同形 态的末端抓取装置， 根据 物体识别的结果， 程序判定使用哪种形态的末端抓取装置， 在规划 运动轨迹时会针对不同的末端进行规划， 使用最合适抓取 的末端装置； 在末端装置对物体 进行抓取之后， 根据不同物体放置 到不同的终点 位置， 完成物体的识别抓取 过程。 9.一种基于视觉系统 的机械臂多类型物品抓取系统， 其特征在于， 包括高清摄像机、 深 度相机和用于物品抓取的机械臂， 通过高清摄像机和深度相机获取高清图像和深度信息建 立视觉系统， 通过标定摄像机的图像坐标系与机械臂末端的空间坐标系， 得到图像坐标系 与空间坐标系的转换关系， 同时标定深度信息与空间坐标系的转换关系， 精准确定物体位权　利　要　求　书 1/2 页 2 CN 115446839 A 2置； 针对高清图像进行物体识别， 获取物体信息； 针对物体识别的结果与视觉系统处理得 到的物体准确 坐标信息， 定位到机械臂末端需要到达的位置， 规划 运动轨迹并选择相对应 末端类型， 对相应物体进行跟踪； 抓取物体到指定位置， 完成对多类型物体的抓取； 该系统实现权利要求1 ‑8任一项所述的基于 视觉系统的机 械臂多类型物品抓取 方法。 10.一种基于视觉系统的机械臂多类型物品抓取装置， 其特征在于， 包括高清摄像机、 深度相机和用于物品抓取的机械臂， 通过高清摄像机和深度相机获取高清图像和深度信息 建立视觉系统， 通过标定摄像机的图像坐标系与机械臂末端的空间坐标系， 得到图像坐标 系与空间坐标系的转换关系， 同时标定深度信息与 空间坐标系的转换关系， 精准确定物体 位置； 针对高清图像进行物体识别， 获取物体信息； 针对物体识别的结果与视觉系统处理得 到的物体准确 坐标信息， 定位到机械臂末端需要到达的位置， 规划 运动轨迹并选择相对应 末端类型， 对相应物体进行跟踪； 抓取物体到指定位置， 完成对多类型物体的抓取； 该装置实现权利要求1 ‑8任一项所述的基于 视觉系统的机 械臂多类型物品抓取 方法。权　利　要　求　书 2/2 页 3 CN 115446839 A 3