(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210811688.6 (22)申请日 2022.07.12 (65)同一申请的已公布的文献号 申请公布号 CN 114872055 A (43)申请公布日 2022.08.09 (73)专利权人 广东隆崎机 器人有限公司 地址 528300 广东省佛山市顺德区陈村镇 赤花社区广隆工业园兴业4路17栋二 层2099号 (72)发明人 高帆　寇慧　杜润鸣　宁南北　 代剑锋　 (74)专利代理 机构 广东广盈专利商标事务所 (普通合伙) 44339 专利代理师 李俊(51)Int.Cl. B25J 9/16(2006.01) B25J 13/08(2006.01) (56)对比文件 CN 213323425 U,2021.0 6.01 CN 110648361 A,2020.01.0 3 CN 106204656 A,2016.12.07 US 2007007924 A1,20 07.01.11 US 2020101593 A1,2020.04.02 CN 113814986 A,2021.12.21 审查员 李祥亮 (54)发明名称 SCARA机器人装配控制方法及系统 (57)摘要 本发明公开了SCARA机器人装配控制方法及 系统； 属于机器人控制技术领域， 所述方法包括： 基于设置在传送带上方的视觉传感器实时进行 传送带上的视频采集处理， 获得实时采集视频； 进行视频关键帧提取处理， 获得实时视频关键 帧； 对在传 送带移动的移动装配目标进行三维目 标定位跟踪处理， 获得移动装配目标的三维定位 跟踪结果； 对移动装配目标的装配 关键点进行提 取处理， 获得装配关键点信息； 进行装配关键点 的三维空间转换处理， 获得装配关键点对应的三 维定位跟踪结果； 生成SCARA机器人的装配规划 指令， 并基于装配规划指令控制SCARA机器人进 行装配操作。 在本发明实现了SCARA机器人对移 动目标的精确装配控制。 权利要求书3页 说明书10页 附图2页 CN 114872055 B 2022.11.18 CN 114872055 B 1.一种基于移动装配目标的SCARA机器人装配控制方法， 其特 征在于， 所述方法包括： 基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理， 获得实时采 集视频； 对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理， 获得实时视频关键 帧； 基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟 踪处理， 获得移动装配目标的三维定位跟踪结果； 基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理， 获得装配 关键点信息； 基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三 维空间转换处 理， 获得装配关键点对应的三维定位跟踪结果； 基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令， 并 基于所述装配规划指令控制所述SCARA机器人进行装配操作。 2.根据权利要求1所述的SCARA机器人装配控制方法， 其特征在于， 所述基于设置在传 送带上方的视觉传感器实时进行传送带 上的视频采集处 理， 获得实时采集视频， 包括： 将所述视觉传感器固定设置在所述传送带的侧上方， 且所述视觉传感器所采集的视频 范围覆盖所述SCARA机器人作业范围； 基于设置在所述传送带侧上方的视觉传感器实时进行传送带上的视频采集处理， 获得 实时采集视频。 3.根据权利要求1所述的SCARA机器人装配控制方法， 其特征在于， 所述对所述实时采 集视频按照预设时间 间隔进行视频关键帧提取处 理， 获得实时视频关键帧， 包括： 对所述实时采集视频按照预设时间 间隔进行视频帧提取处 理， 获得提取视频帧； 基于感兴趣区域 算法对所述移动装配目标在所述 提取视频帧中进行目标识别处 理； 基于目标识别结果对所述 提取视频帧进行筛 选处理， 形成实时视频关键帧。 4.根据权利要求3所述的SCARA机器人装配控制方法， 其特征在于， 所述基于目标识别 结果对所述 提取视频帧进行筛 选处理， 形成实时视频关键帧， 包括： 判断所述提取视频帧中的识别目标结果中是否存在移动装配目标， 若不存在， 则舍弃 所述提取视频帧； 若存在则保留所述提取视频帧， 由保留的所述提取视频帧按顺序构建， 形成实时视频 关键帧。 5.根据权利要求1所述的SCARA机器人装配控制方法， 其特征在于， 所述基于所述实时 视频关键帧对在所述传送带移动的移动装配目标进行三 维目标定位跟踪处理， 获得移动装 配目标的三维定位跟踪结果， 包括： 将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带 移动时的三 维空间进 行三维空间特征提取 处理， 获得所述移动装配目标的三 维空间特征信 息； 基于所述移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift 目标跟踪算法进行目标定位跟踪处 理， 获得移动装配目标的三维定位跟踪结果； 所述三维目标定位模型为训练收敛的Visi on Transformer模型。权　利　要　求　书 1/3 页 2 CN 114872055 B 26.根据权利要求5所述的SCARA机器人装配控制方法， 其特征在于， 所述将所述实时视 频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间 进行三维空间特 征提取处 理， 包括： 将所述实时视频关键帧中的每一帧图像划分为不重叠的分块， 并将不重叠的分块依次 输入所述三 维目标定位模型中的编 码器， 并基于所述编 码器的线性投影将不重叠的分块展 平为一系列图片的特 征向量； 采用多层串联的多头自注意模块逐层提取所述特征向量中的图片特征信 息， 建立每个 不重叠的分块之间的关联关系； 基于所述关联关系将多头自注意模块的不同层之间的输出进行组合， 形成具有多个分 辨率的图片特 征， 并经过解码器的融合处 理， 形成每一帧图像的图像特 征； 基于三维目标定位模型中的卷积解码器对所述图像特征解码为与所述每一帧图像尺 寸相同的深度图像， 其中所述深度图像中不同像素点的取值对应位置距离视觉传感器的距 离； 结合所述视觉传感器的内参矩阵， 通过所述视觉传感器成像逆变换将所述深度图像转 换为视觉传感器坐标矩阵中的一系列空间坐标点集， 获得所述移动装配目标的三 维空间特 征信息。 7.根据权利要求1所述的SCARA机器人装配控制方法， 其特征在于， 所述基于所述实时 视频关键帧对所述移动装配目标的装配关键点进行提取处 理， 获得装配关键点信息， 包括： 提取所述实时视频关键帧中的每一帧对应的移动装配目标图像； 对每一帧对应的移动装配目标图像进行灰度化处理， 并将灰度化处理结果进行低 通滤 波处理， 形成滤波后的每一帧对应的移动装配目标图像； 对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理， 获得 确定上下左右边界的每一帧对应的移动装配目标图像； 基于确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理， 获得每一帧对应的移动装配目标图像的装配关键点； 利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理， 并基于加 权叠加结果 提取装配关键点信息 。 8.根据权利要求1所述的SCARA机器人装配控制方法， 其特征在于， 所述基于所述装配 关键点信息和移动装配目标的三 维定位跟踪 结果进行装配关键点的三维空间转换 处理， 获 得装配关键点对应的三维定位跟踪结果， 包括： 获得所述装配关键点信息在对应的实时视频关键帧中的像素坐标信息； 结合所述视觉传感器的内参矩阵， 在所述移动装配目标的三维定位跟踪结果中通过视 觉传感器逆变换将所述像素坐标信息转换为三维空间位置信息， 获得装配关键点对应的三 维定位跟踪结果。 9.根据权利要求1所述的SCARA机器人装配控制方法， 其特征在于， 所述基于所述装配 关键点对应的三维定位跟踪结果 生成SCARA机器人的装配规划指令， 包括： 基于所述装配关键点对应的三维定位跟踪结果预测所述移动装配目标中的装配关键 点到达预定装配区域的位置及时间； 基于到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令 。权　利　要　求　书 2/3 页 3 CN 114872055 B 3