(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210922342.3 (22)申请日 2022.08.02 (71)申请人 中国科学院沈阳自动化研究所 地址 110016 辽宁省沈阳市沈河区南塔街 114号 (72)发明人 骆海涛　高鹏宇　孙嘉泽　曹轩　 孔祥峰　 (74)专利代理 机构 沈阳科苑专利商标代理有限 公司 210 02 专利代理师 周宇 (51)Int.Cl. B25J 9/16(2006.01) B25J 19/00(2006.01) (54)发明名称 一种基于视觉机械臂抓取工件方法 (57)摘要 本发明公开了一种基于视觉机械臂抓取工 件方法， 包括以下步骤： 步骤1、 拍摄图像， 输入 YOLOV5网络进行目标识别， 定位待抓取目标工 件； 步骤2、 利用ggcnn2网络模型计算抓取点， 输 出目标工件的像素抓取信息； 步骤3、 根据像素抓 取信息和手眼变换矩阵， 计算机械臂末端的实际 抓取位姿； 步骤4、 控制机械臂按照抓取位姿对目 标工件进行抓取。 本发明可以实现基于视觉的机 械臂抓取工件。 权利要求书2页 说明书8页 附图4页 CN 115319739 A 2022.11.11 CN 115319739 A 1.一种基于 视觉机械臂抓取工件方法， 其特 征在于， 包括以下步骤： 步骤1、 拍摄图像， 输入YOLOV5网络进行目标识别， 定位待抓取目标工件； 步骤2、 利用g gcnn2网络模型计算 抓取点， 输出目标工件的像素抓取信息； 步骤3、 根据像素抓取信息和手眼变换矩阵， 计算机 械臂末端的实际抓取位姿； 步骤4、 控制机 械臂按照抓取位姿对目标工件进行抓取。 2.根据权利 要求1所述的一种基于视觉机械臂抓取工件方法， 其特征在于， 所述YOLOV5 网络为预 先训练好的网络结构， 训练步骤 包括： 步骤1.1、 拍摄多张目标图像， 进行定位标注， 获取被标注的图像及定位标签信息； 步骤1.2、 对目标图像进行剪 裁和数据增强， 制作定位数据集； 步骤1.3、 将定位数据 集中的图像和定位标签信息输入YOLOV5 网络进行训练， 训练网络 权重参数， 获取优化的YOLOV5网络， 所述该网络用于对未知目标进行框 选定位和类别识别。 3.根据权利要求2所述的一种基于视觉机械臂抓取工件方法， 其特征在于， 所述定位标 注为： a.在图像上框 选标画出目标物体的外 接轮廓； b.备注定位标签信息： 当前目标工件物体的类别名称。 4.根据权利 要求1所述的一种基于视觉机械臂抓取工件方法， 其特征在于， 所述ggcnn2 网络模型为预 先训练好的网络结构， 训练步骤 包括： 步骤2.1、 拍摄多张待抓取目标工件图像， 进行人工抓取点标注， 获取被抓取标注的图 像及抓取 标签信息； 步骤2.2、 对目标图像进行剪 裁和归一 化处理， 制作抓取 数据集； 步骤2.3、 将数据 集中的图像和标签信息输入ggcnn2网络模型进行训练， 训练网络权重 参数， 获取优化的ggcnn2网络模型， 所述该网络用于对 未知的待抓取目标， 计算符合置信度 要求的抓取点， 并标注像素抓取信息 。 5.根据权利要求4所述的一种基于视觉机械臂抓取工件方法， 其特征在于， 所述人工抓 取点标注为： a.在图像上标画出： 待抓取目标物体的抓取点集构成的线、 抓取角度、 抓取宽度； 所述 抓取角度为夹爪连线与图像任意边构成的角度； 所述抓取宽度为夹爪执行闭合的初始距 离； b.存储像素抓取信息： 抓取点像素坐标， 抓取角度， 抓取宽度； 其中， 已知抓取视角为俯视； 夹爪为 二指夹爪。 6.根据权利要求4所述的一种基于视觉机械臂抓取工件方法， 其特征在于， 是根据以下 置信度要求输出3种类型的像素抓取信息配置： a.选择来置信度为峰值的像素抓取信息配置； b.选择所有置信度超过阈值的像素抓取信息配置； c.选择置信度最大的像素抓取信息配置 。 7.根据权利要求4所述的一种基于视觉机械臂抓取工件方法， 其特征在于， 所述手眼变 换矩阵为： 权　利　要　求　书 1/2 页 2 CN 115319739 A 2其中， 标定板到相机的位姿变换 通过相机标定或者标签检测的方法得到， 相机 到机械臂基座的位姿变换 机械臂基座到机械臂末端的位姿变换 通过正运 动学解算求得； 目标工件的像素抓取信息为相机坐标系下的： 抓取点像素坐标， 抓取角度， 抓取宽度， 带入手眼变换矩阵计算得到 机械臂末端的实际抓取位姿； 机械臂末端的实 际抓取位姿为目标工件在机械臂末端坐标系下的： 抓取点坐标， 抓取 角度， 抓取宽度。权　利　要　求　书 2/2 页 3 CN 115319739 A 3