(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210758035.6 (22)申请日 2022.06.29 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 刘达新　王祺德　刘振宇　谭建荣　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/73(2017.01) G06F 17/16(2006.01) G06T 7/13(2017.01) G06T 7/277(2017.01) G06T 7/80(2017.01) (54)发明名称 一种鲁棒的面向复杂形状目标物的轮廓视 觉伺服控制方法 (57)摘要 本发明公开了一种鲁棒的面向复杂形状目 标物的轮廓视觉伺服控制方法。 手眼视觉伺服系 统下， 利用准均匀B样条曲线对目标物轮廓图像 拟合并构造出期望图像特征； 对实时获取的当前 图像中提取出目标物的待伺服图像轮廓， 同样提 取出初步图像特征； 对初步图像特征进行最优估 计获得准确图像特征和特征深度， 计算当前图像 对应的交互矩阵， 处理获得用于控制相机运动的 矢量输出速度， 结合手眼矩阵将 矢量输出速度转 化为机器人末端的矢量控制速度驱动机器人运 动。 本发明用准均匀B样条曲线特征实现了基于 复杂目标物轮廓的机器人视觉伺服控制， 同时设 计了基于扩展卡尔曼滤波与李代数优化的图像 特征实时估计模块， 提高了视觉伺服系统对动态 遮挡干扰环境的鲁棒 性。 权利要求书2页 说明书6页 附图7页 CN 115147485 A 2022.10.04 CN 115147485 A 1.一种鲁棒的面向复杂形状目标物的轮廓视觉伺 服控制方法， 其特征在于包括如下步 骤： S1、 在手眼视觉伺服系统下， 给定相机内参、 手眼矩阵以及给定机器人期望位姿下的目 标物轮廓图像， 利用准均匀B样条曲线对目标物轮廓图像处理， 从目标物轮廓图像中提取轮 廓并构造出用于控制机器人运动的期望图像特 征及其图像坐标； S2、 从机器人当前位姿下实时获取的当前图像中提取出目标物 的待伺服图像轮廓， 针 对待伺服图像 轮廓用准均匀B样条曲线提取 出当前图像的初步图像特 征及其图像坐标； S3、 根据图像特征实时估计模块对当前图像的初步图像特征及其图像坐标处理， 实现 当前图像的准确图像特 征和特征深度的最优 估计； S4、 根据当前图像的准确图像特 征和特征深度计算当前图像对应的交 互矩阵； S5、 根据当前图像的图像特征及其图像坐标与期望图像特征及其图像坐标之间的偏差 以及S4中得到的交互矩阵， 处理获得用于控制相 机运动的矢量输出速度， 结合手眼矩阵将 矢量输出速度转 化为机器人末端的矢量控制速度， 进 而驱动机器人运动； S6、 重复执行S2～S5， 直到S5中的偏差收敛至预设范围内， 则认为机器人到达期望位 姿。 2.根据权利要求1所述的一种鲁棒的面向复杂形状目标物的轮廓视觉伺服控制方法， 其特征在于： 所述的步骤S1中， 用一条具有n个控制顶点的准均匀B样条曲线对目标物轮廓 图像中的轮廓进行拟合， 获得n个控制顶点， 以n个控制顶点作为视 觉伺服的期望图像特 征。 3.根据权利要求1所述的一种鲁棒的面向复杂形状目标物的轮廓视觉伺服控制方法， 其特征在于： 所述步骤S2中， 通过Canny边缘检测算法和Rosenfeld骨架细化算法从相机拍 摄到的当前图像中获取目标物的图像轮廓， 再用准均匀B样条曲线对目标物轮廓图像拟合 获得当前图像的初步图像特 征及其图像坐标。 4.根据权利要求1所述的一种鲁棒的面向复杂形状目标物的轮廓视觉伺服控制方法， 其特征在于： 所述 步骤S3中， 图像特 征实时估计模块具体处 理为： 根据S2得到的当前图像中目标物 的图像轮廓的完整性， 判断目标物是否被遮挡， 并对 应执行准确图像特 征和特征深度的实时最优 估计： A、 如果目标物没有被遮挡， 则直接采用拓展卡尔曼滤波(EKF)对初步 图像特征的图像 坐标进行最优 估计滤波处 理， 获得准确图像特 征的图像坐标及其特 征深度； B、 如果目标物发生遮挡， 则： 首先， 根据当前图像中初步图像特征对应的不完整的图像轮廓， 对当前图像的相机位 姿Mk进行预测， 具体是通过求 解以下目标函数 得到： ΔM＝exp(Δ ξ ^) 其中， ΔM为上一时刻与当前时刻间的相机相对 位姿， Kc为相机内参， Mk‑1为第k‑1时刻的 相机位姿， 为第k时刻下当前图像中被部分遮挡的不完整图像轮廓的采样点， P(ui)为采 样点 在目标物的CAD模型中的对应点； Δξ表示李代数表示的相机位姿变换向量， Δξ^表 示将李代数表 示的位姿变换向量Δξ转换为一个齐次变换矩阵； M表 示相机的位姿， k表 示时 刻的序号， i表示控制顶点的序号， m表示控制顶点的总数。权　利　要　求　书 1/2 页 2 CN 115147485 A 2对上述目标函数进行优化求解， 获得最优的李代数表示的相机位姿变换向量Δξ， 在通 过公式Mk‑1exp(Δ ξ ^)计算获得当前图像下 预测得到的预测相机位姿Mk； 然后， 利用预测相机位姿Mk并根据预设相机的投影关系和目标物的CAD 模型预测得到当 前图像中的目标物完整轮廓， 对目标物完整轮廓用准均匀B样条曲线进行拟合获得初步图 像特征及其图像坐标， 再对初步图像特征的图像坐标采用拓展卡尔曼滤波(EKF)进行最优 估计滤波处 理， 获得准确图像特 征的图像坐标及其特 征深度。 5.根据权利要求1所述的一种鲁棒的面向复杂形状目标物的轮廓视觉伺服控制方法， 其特征在于： 所述步骤S4中， 先按照以下公式处理获得当前图像对应的准均匀B样条曲线中 单个控制顶点的交 互矩阵： 其中， (xi,yi)为第i个控制顶点的图像坐标， Zi为第i个控制顶点的特征深度， Li表示第i 个控制顶点的交 互矩阵； 再由各个控制顶点的交 互矩阵构建图像特 征中所有控制顶点整体的交 互矩阵： LBF＝[L1 L2...Ln]T 其中， LBF表示图像特征的交互矩阵， Ln表示图像特征中第n个控制顶点的交互矩阵， T表 示矩阵转置 。权　利　要　求　书 2/2 页 3 CN 115147485 A 3