(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211142870.3 (22)申请日 2022.09.19 (71)申请人 安阳工学院 地址 455000 河南省安阳市黄河大道安阳 工学院 (72)发明人 赵凯　韩毅　王伟　魏胜利　周晏　 王林林　胥亚涛　刘昱陇　 (74)专利代理 机构 南京睿之博知识产权代理有 限公司 32 296 专利代理师 杨晓玲 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于视觉的二指机械手工件抓取方法 及系统 (57)摘要 本发明公开了一种基于视觉的二指机械手 工件抓取方法， 采用图像配准方法确定被抓取工 件的粗略位置， 并提取目标区域， 控制二指机械 手移动到被抓取工件上方； 根据提取目标区域与 预设的遮罩模板匹配， 根据遮罩图像确定被抓取 工件的精确位置和最优的抓取位姿； 采用贝塞尔 曲线确定二指机械手运动轨迹， 将 工件从工件抓 取区放置在 目标位置； 重复上述步骤， 直至检测 不到待抓取工件。 本发明使用图像配准的方法估 计被抓取工件的粗略位置， 有效的提高了定位的 速度； 进而在估计最优抓取位姿时， 使用遮罩模 板的方法再一次精确估计工件的定位； 在二指机 械手移动时采用时间最优的规划方法， 能够有效 提高抓取的效率。 权利要求书3页 说明书7页 附图3页 CN 115533895 A 2022.12.30 CN 115533895 A 1.一种基于 视觉的二指机 械手工件抓取 方法， 其特 征在于： 包括以下步骤： 采用图像配准方法确定被抓取工件的粗略位置， 并提取目标区域， 控制二指机械手移 动到被抓取工件上 方； 根据提取目标区域与 预设的遮罩模板匹配， 根据遮罩图像确定被抓取工件的精确位置 和最优的抓取位姿； 采用贝塞尔曲线确定二指机 械手运动轨 迹， 将工件从工件抓取区放置在目标位置； 重复上述 步骤， 直至检测不到待抓取工件。 2.根据权利要求1所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 图像配准方法包括深度相机拍摄工件抓取区后输出RGB ‑D图像后， 结合给定工件的图像， 提 取ORB特征， 并提取目标区域， 进 而实现图像 配准； 所述图像 配准方法具体过程 为： 深度相机拍摄工件抓取区后输出RGB ‑D图像； 对RGB‑D图像进行ORB特征识别； 在ORB算法中引入图像金字塔技术， 对RGB ‑D图像进行 ORB特征识别； 提取目标区域： 确定待抓取工件的几何中心后提取目标区域； 根据工件在机械臂坐标系中的几何中心坐标， 控制机械臂的末端执行器二指机械手移 动至该工件上 方。 3.根据权利要求1所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 根据提取目标区域与预设的遮罩模板匹配， 根据遮罩图像确定被抓取工件的精确位置和最 优的抓取位姿； 包括： 根据预设阈值生成被抓取工件的二值化图像， 构建遮罩图像集合； 根 据二值化图像和遮罩图像集 合确定被抓取工件的精确位置和最优的抓取位姿。 4.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 根据预设阈值生成被抓取工件的二值化图像， 包括： 设定深度相 机距离工件的表面距离阈 值为h， 根据h及提取目标区域生成待抓取工件的二值化图像M， 二值化图像M的每个像素值 计算公式为： 其中， H(x， y)为图像坐标系(x， y)处的深度信息 。 5.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 构建遮罩图像 集合过程为： 按照二指机械手剖面俯视图制作遮罩图像A0， 将遮罩图像A0旋转 π i/N(i＝1，…， N)， 产生遮罩图像集 合Ai(i＝0，…N)。 6.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 根据二值化图像和遮罩图像集 合确定被抓取工件的精确位置和最优的抓取位姿， 包括： 根据遮罩图像集 合Ai(i＝0，…N)以及待抓取工件区域 二值化图像M， 卷积运 算公式为： Gi＝(Ai·M)·g 其中，·代表卷积运算， g代表高斯卷积核， Gi为第i个遮罩图像与抓取目标形成的目标 函数； 根据卷积运 算公式构造目标函数权　利　要　求　书 1/3 页 2 CN 115533895 A 2其中， [x*， y*]T即为最优抓取位置在图像坐标系下的坐标， i*为获取最优抓取坐标时对 应的遮罩图像编号， G＝{G0， G1，…， GN}为集合形式的目标函数； 计算出来的最大值参数[x*， y*， i*]， 由图像坐标系坐标[x*， y*]T和内参矩阵得到相机坐 标系下的坐标 进而计算得到机械臂坐标系下的最优抓取坐标， 根据α ＝π i*/N得到机械臂末端二指机 械手旋转的角度， 即α ＝ π i*/N为最优的抓取位姿。 7.根据权利要求6所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 采用贝塞尔曲线确定二指 机械手运动轨迹， 将 工件从工件抓取区放置在目标位置， 包括： 根 据被抓取工件的精确 位置和最优的抓取位姿， 二指机械手抓取工件， 根据贝塞尔曲线确定 的二指机械手运动轨迹， 将 工件从工件抓取区放置在目标位置， 即传送带上， 采用能量最小 的五次贝塞尔曲线， 将抓取位置和目标位置之间的线 段使用一次贝塞尔曲线描述， 为g(u)， u∈[0， 1]， 计算该线段的中点Z0， 设定能量 最小的目标函数为： 其中， f(u)为待优化贝塞尔曲线， f(1)(u)为待优化贝塞尔曲线的一次导数， α1， α2， α3为 权重因子， 满足α1+α2+α3＝1； 求解目标函数， 得到最优能量的五阶贝 塞尔曲线。 8.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 根据二值化图像和遮罩图像集 合确定被抓取工件的精确位置和最优的抓取位姿， 包括： 根据遮罩图像集合Ai(i＝0，…N)以及待抓取工件区域二值化图像M， 按位与运算公式 为： Gi＝(Ai*M)·g 其中， *表示按 位与运算， g代表高斯卷积 核， Gi为第i个遮罩图像与抓取目标形成的目标 函数； 根据按位与运 算公式构造目标函数 其中， [x*， y*]T即为最优抓取位置在图像坐标系下的坐标， i*为获取最优抓取坐标时对 应的遮罩图像编号， G＝{G0， G1，…， GN}为集合形式的目标函数； 计算出来的最大值参数[x*， y*， i*]， 由图像坐标系坐标[x*， y*]T和内参矩阵得到相机坐 标系下的坐标 进而计算得到机械臂坐标系下的最优抓取坐标， 根据α ＝π i*/N得到机械臂末端二指机 械手旋转的角度， 即α ＝ π i*/N为最优的抓取位姿。 9.根据权利要求8所述的一种基于视觉的二指机械手工件抓取方法， 其特征在于： 所述 采用贝塞尔曲线确定二指 机械手运动轨迹， 将 工件从工件抓取区放置在目标位置， 包括： 根 据被抓取工件的精确 位置和最优的抓取位姿， 二指机械手抓取工件， 根据贝塞尔曲线确定 的二指机械手运动轨迹， 将 工件从工件抓取区放置在目标位置， 即传送带上， 采用能量最小 的五次贝塞尔曲线， 将抓取位置和目标位置之间的线 段使用一次贝塞尔曲线描述， 为g(u)， u∈[0， 1]， 计算该线段的中点Z0， 在参数域u∈[0， 1]上均匀采样Ω次， 设定能量最小的目标 函数为：权　利　要　求　书 2/3 页 3 CN 115533895 A 3