(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211266756.1 (22)申请日 2022.10.17 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县乌龙江 北大道2号 (72)发明人 张震宇　邓震　何炳蔚　金潇娴　 卢良骏　 (74)专利代理 机构 北京东方盛凡知识产权代理 有限公司 1 1562 专利代理师 高天星 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于抓取手势检测的机械手灵巧抓取 规划方法和系统 (57)摘要 本发明公开了一种基于抓取手势检测的机 械手灵巧抓取规划方法和系统。 本抓取规划方法 包括以下步骤： 获取当前的图像信息； 检测图像 中运动物体并获取物体位置； 机械臂 基于视觉伺 服控制算法实时跟踪动态物体； 当物体停止运动 后， 基于训练的手势网络获取物体预测抓取手 势， 同时， 基于交叉熵方法获取物体抓取位姿； 最 后基于预测抓取手势和物体抓取位姿， 机械臂和 机械手执行抓取规划。 其系统由图形工作站、 深 度相机、 工作台、 多自由度机械臂及灵巧手组成。 本发明的机械手的灵巧抓取规划方法和系统， 能 够适应未知 物体和不同的手爪尺 寸， 能够有效地 实时跟踪运动目标物体， 实现类人的精细化抓取 操作。 权利要求书2页 说明书5页 附图2页 CN 115401698 A 2022.11.29 CN 115401698 A 1.一种基于抓取手势检测的机 械手灵巧抓取规划方法， 其特 征在于， 包括以下步骤： 采集场景RGBD图像， 基于所述场景RGBD图像获得运动中的目标物体的RGBD图像， 其 中， 所述RGBD图像包括RGB图像和深度图像； 基于场景RGBD图像获取 所述目标物体实际位置； 机械手根据目标物体的实际位置实时跟踪目标物体； 基于深度神经网络建立抓取手势检测模型， 基于机械手的抓取手势数据集和不同目标 物体的RGB图像数据集， 对所述抓取手势检测模 型进行训练， 完成训练后获得目标抓取手势 检测模型； 判断所述目标物体状态， 将静止状态的所述目标物体的RGB图像输入到所述目标抓取 手势检测模型中， 获取抓取所述 目标物体的预测抓取手势； 同时， 基于所述深度图像， 获得 所述目标物体的抓取位姿； 基于所述预测抓取手势和所述 抓取位姿， 所述机 械手执行抓取。 2.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法， 其特征在于， 计算所述目标物体实际位置的过程包括： 基于YOLOv3建立目标检测器， 输入所述场景的RGB图像， 得到实时运动物体的检测框； 通过检测框 中心的深度图像像素值得到目标物体的深度值， 并基于所述深度值获取所 述目标物体的3D目标位置 。 3.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法， 其特征在于， 所述实时跟踪目标物体的过程中， 采用视 觉伺服控制算法进行实时跟踪， 包括以下步骤： 将机械手的基坐标系作为参考坐标系， 基于所述参考坐标系计算机械手与目标物体之 间的欧式距离； 基于视觉伺服控制算法实时计算交互矩阵， 基于所述交互矩阵获得距离误差， 基于所 述距离误差计算固定在机 械臂末端的机 械手的速度； 通过所述机械手的速度得到机械臂各关节的速度， 基于机械臂各关节的速度驱动机械 臂运动。 4.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法， 其特征在于， 获取所述目标物体的预测抓取手势， 过程包括： 获取若干种不同类型的目标物体以及机械臂 的手势数据集， 所述手势数据集包括： 握 类、 两指尖接触、 三指尖接触、 四指尖接触、 拇指与其余手指平行闭合， 拇指与食指侧面闭 合； 基于深度神经网络建立端到端的抓取手势检测模型， 将若干种不同类型的目标物体以 及机械臂的手势数据集输入所述抓取手势检测模型进 行训练， 直至所述抓取手势检测模型 损失值最小， 则完成训练， 得到目标抓取手势检测模型； 判断物体是否停止运动， 若停止， 则读取当前时刻目标物体的RGB图像， 将当前时刻的 所述RGB图像输入到完成训练的目标抓取手势检测模型， 得到所述目标物体的预测抓取手 势。 5.根据权利要求4所述的基于抓取手势检测的机械手灵巧抓取规划方法， 其特征在于， 判断所述目标物体是否停止运动的过程中包括： 当物体相对参 考坐标系的位置在三秒钟内的变化 值小于0.05m， 则认为物体停止运动。 6.根据权利要求1所述的基于抓取手势检测的机械手灵巧抓取规划方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 115401698 A 2所述机械手执行抓取的过程包括： 与所述获取所述目标物体的预测抓取手势过程同时进行， 若目标物体停止运动， 获取 此时静止状态下目标物体的深度图像， 通过深度值梯度计算表面 点的法向； 随机采样两个表面 点， 形成表面 点对； 基于所述表面点对的距离以及所述表面点对的距离连线分别和所述两个表面点的法 向构成的两个角度， 得到抓取候选项； 采用交叉熵方法优化 抓取候选项， 得到目标物体的抓取中心和抓取角； 基于所述 抓取中心的深度值获取 所述目标物体的抓取位姿； 基于所述预测抓取手势和所述 抓取位姿， 所述机 械手执行抓取。 7.根据权利要求6所述的基于抓取手势检测的机械手灵巧抓取规划方法， 其特征在于， 所述抓取候选项的获取同时满足： 所述表面 点对的距离小于最大抓取宽度； 两个所述角度均小于摩擦锥角， 其中， 摩擦锥角为 π/2。 8.一种基于抓取手势检测的机械手灵巧抓取规划系统， 其特征在于， 包括图形工作站， UR5多自由度机械臂， 工作台， 固定在所述UR5多自由度机械臂末端的RealSense深度相机以 及固定在所述UR5多自由度机 械臂末端的机 械手。权　利　要　求　书 2/2 页 3 CN 115401698 A 3