(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211077521.8 (22)申请日 2022.09.05 (71)申请人 大连交通大 学 地址 116028 辽宁省大连市沙河口区黄河 路794号 申请人 大连理工大 学 (72)发明人 杜宇　刘冬　吴敏杰　李泳耀　 田小静　丛明　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于深度学习的刚软仿人手自主抓取 方法 (57)摘要 本发明提供一种基于深度学习的刚软仿人 手自主抓取方法， 属于机器人智能控制技术领 域。 抓取方法包括： 使用深度相机获取物 体的RGB 图像； 将RGB图像输入进基于深度神经网络模型 的YOLOv3目标检测算法， 输出物 体的抓取模式和 抓取区域； 将RGB图像输入进基于OpenCV的图像 处理方法， 输 出物体的抓取角度； 根据抓取模式、 抓取区域和抓取角度控制刚软仿人手抓取物体。 本发明能够同时实现抓取模式预测和抓取位姿 估计， 避免了复杂的抓取规划并允许刚软仿人手 与桌面发生轻微接触； 可以实现对刚软仿人手的 精确控制， 使刚软仿人手能够准确有力地抓取物 体。 权利要求书2页 说明书5页 附图1页 CN 115446835 A 2022.12.09 CN 115446835 A 1.一种基于深度学习的刚软仿人手自主抓取方法， 其特征在于， 所述方法基于深度学 习方法与欠驱动自适应抓取 的互补性， 利用深度学习网络学习不同物体抓取模式的分类， 并通过物体检测和图像处理， 识别物体抓取模式、 抓取区域和抓取角度， 简化仿人手的抓取 规划与控制； 所述方法基于获取模块、 第一控制模块、 第二控制模块、 抓取模块 实现， 包括以 下步骤： 第一步， 使用深度相机获取物体的RGB图像， 并对 模型进行训练具体的： 获取模块用于使用深度相机获取物体的RGB图像， 建立数据集； 将数据集分为测试集和 训练集， 训练集用于训练YOLOv3目标检测算法识别抓取模式， 测试集用于有效检测YOLOv3 目标检测算法的训练成果； 通过第一控制模块将RGB图像输入进基于深度神经网络模型 的 YOLOv3目标检测算法， 输出物体的抓取模式和抓取区域； 第二步， 利用第二控制模块将第一步得到的RGB图像输入进opencv软件库， 并基于 OpenCV图像处 理方法对其进行处 理， 输出物体的抓取角度； 第三步， 抓取模块根据第三步中所获取的抓取角度， 第二步获取的抓取模式、 抓取区 域， 通过电机控制刚软仿人手抓取物体， 具体的： 3.1)在已设计完成的刚软仿人手空载的情况下进行初始化， 设置电机的初始位置标 记； 3.2)根据抓取区域和抓取角度， 控制与刚软仿人手连接的机械臂运动到抓取点正上方 20厘米处的准备位置； 3.3)控制电机的转动圈数， 使刚软仿人手的手指达 到预抓取位置； 3.4)根据抓取模式控制刚软仿人手做出预抓取模式构型， 例如当抓取某一物体时， 手 部需要转动90度， 此时需要刚软仿人手预 先转动30度， 实现预抓取模式构型； 3.5)根据抓取高度， 控制机 械臂竖直向下运动使刚软仿人手抓取末端点到 达桌面； 3.6)刚软仿人手完成自适应抓取并保持抓握， 机械臂向上运动抓起物体； 其中， 抓取高 度通过深度相机获得。 2.根据权利要求1所述的一种基于深度 学习的刚软仿人手自主抓取方法， 其特征在于， 所述的第一 步中， 训练集训练YOLOv3目标检测算法识别抓取模式的具体过程 为； 将物体分为四种抓取模式， 分别为柱形包络、 球形包络、 精细捏取和宽型捏取； 并结合 目标检测算法进行训练； 训练分为两部份： 一是使用卷积神经网络提取查的图片特征， 输出特征图； 二是原始得 到的RGB图像划分为小方块并以每个小方块为中心分别生成一系列锚框， 以锚框为基础生 成预测框， 设定锚框的中点为抓取点， 并根据物体真实框的位置对其进 行位置和类别标注； 最后建立输出 的特征图与预测框标签的关联， 创建损失函数并完成训练， 根据初始设定好 的标准， 得到相对应的抓取模式、 抓取区域； 在对第一步中测试训练完成后的YOLOv3物体检测算法进行测试， 可以识别物体的抓取 模式和抓取区域。 3.根据权利要求2所述的一种基于深度 学习的刚软仿人手自主抓取方法， 其特征在于， 在物体抓取模式的划分同时考虑了物体的形状和大小， 具体划分参数有物体的厚度和宽 度； 当物体厚度小于30mm且宽度小于30 mm时， 物体属于精细捏取； 当物体厚度小于30mm且宽 度大于30 mm时， 物体属于宽型捏取； 当物体厚度大于30mm且 形状偏于柱形时， 物体属于柱形权　利　要　求　书 1/2 页 2 CN 115446835 A 2包络； 当物体厚度大于 30mm且形状偏于球形时， 物体属于球形包络 。权　利　要　求　书 2/2 页 3 CN 115446835 A 3