(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211132649.X (22)申请日 2022.09.17 (71)申请人 上海交通大 学 地址 200030 上海市徐汇区华 山路1954 号 (72)发明人 刘超　骆研　刘海旭　柴子奇　 熊振华　 (74)专利代理 机构 南通德恩斯知识产权代理有 限公司 32698 专利代理师 王纯富 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于多种图像特征信息混合的视觉伺 服方法 (57)摘要 本发明涉及视觉伺服技术领域， 具体涉及一 种基于多种图像特征信息混合的视觉伺服方法， 包括： S1、 采集并处理图像： 固定2D相机， 使其工 作视野能覆盖工件移动范围； 打开相机设备采集 图像并进行图像处理； S2、 设置工件目标位姿参 数： 通过示教器控制机器人抓取工件移动到目标 位置下， 识别此状态下工件的图像特征参数信 息； S3、 构建深度映射比例因子， 识别提取多种图 像特征信息： 多次移动示教器， 获取图像空间特 征信息与笛卡尔空间坐标的映射 关系。 本发明通 过单个2D相机获取图像， 并实现对多种不同图像 特征信息的提取、 处理以及融合， 从而控制机械 臂的移动， 并到达指定位置， 完成视觉伺服下的 工件位姿调整任务， 计算量小， 且定位精度高， 实 时性好。 权利要求书2页 说明书6页 附图4页 CN 115446836 A 2022.12.09 CN 115446836 A 1.一种基于多种图像特 征信息混合的视 觉伺服方法， 其特 征在于， 包括以下步骤： S1、 采集并处理图像： 固定2D相机， 使其工作视野能覆盖工件移动范围； 打开相机设备 采集图像并进行图像处 理； S2、 设置工件目标位姿参数： 通过示教器控制机器人抓取工件移动到目标位置下， 识别 此状态下工件的图像特 征参数信息； S3、 构建深度映射比例因子， 识别提取多种图像特征信息： 多次移动示教器， 获取图像 空间特征信息与笛卡尔空间坐标的映射关系； S4、 构建图像雅可比矩阵， 将图像雅可比矩阵与深度映射信息融合， 得到控制率： 对机 器人和相机进行 标定， 获得图像雅可比矩阵； S5、 基于上述控制率得到机器人的运动控制量， 从而达到指定位置： 结合图像雅可比矩 阵， 设计控制率 算法， 得到对应的各自由度控制量， 进行伺服 运动， 到达目标位姿； 其中， 视觉伺服控制基于6自由度的笛卡尔空间坐标系， 分别为X、 Y、 Z、 RX、 RY、 RZ； 其中 X、 Y、 Z三个方向是机器人在三维坐标系下的轴线方向， RX、 RY、 RZ三个方向是机器人末端关 节分别绕X、 Y、 Z轴的旋转方向。 2.根据权利要求1所述的一种基于多种图像特征信息混合的视觉伺服方法， 其特征在 于， 在步骤1 中， 工件的图像特征具体为： 连通区域的面积值、 几何重心 点(u0， v0)、 工件四个 特征点(u1， v1)、 (u2， v2)、 (u3， v3)、 (u4， v4)的像素坐标， 以及四个特征点连线的长度， 具体 包括以下分步骤： S11、 开启相机设备， 获取目标图像； S12、 将所述目标图像转 为灰度图， 并通过二 值化处理， 得到二 值化图片； S13、 对所述 二值化图片进行双边滤波， 并进行图像可视化。 3.根据权利要求2所述的一种基于多种图像特征信息混合的视觉伺服方法， 其特征在 于， 在步骤2中， 具体包括以下分步骤： S21、 示教器调整机器人末端抓取工件到 达目标位姿； S22、 通过相机获取 标此时目标态下图像处 理后的图像； S23、 根据BLOB连通区域检测算法， 识别出此时工件 的图像特征信息， 包括连通区域几 何重心P0(u0， v0)、 面积大小S、 四个角点特征像素坐标P1(u1， v1)、 P2(u2， v2)、 P3(u3， v3)、 P4(u4， v4)以及其连线长度l1、 l2、 l3、 l 4， 定义LRX＝l1‑l3， LRY＝ l2‑l4。 4.根据权利要求3所述的一种基于多种图像特征信息混合的视觉伺服方法， 其特征在 于， 在步骤3中， 具体包括以下分步骤： S31、 保持其他轴线不动， 在S21的基础上通过示教器沿RX、 RY、 Z轴各个方向分别进行若 干次小幅度测试运动； S32、 每次运动 后， 通过相机采集当前位置下的工件图像信息， 并提取其图像特 征； S33、 每次运动后， 记录沿Z轴移动ΔZi量时图像中工件连通区域面积值ΔS、 沿RX轴转 动ΔRX度时所对应的ΔLRX的值、 沿RY轴转动ΔRY度时所对应的ΔLRY的值； 其中， ΔS、 ΔLRX、 ΔLRY是两次运动中， 图像识别到的工件面积、 对边之差的偏差； Δ Zi、 ΔRX、 ΔRY是两次运动中工件在笛卡尔坐标系下的Z轴高度、 RX轴转角、 RY轴转角的偏 差；权　利　要　求　书 1/2 页 2 CN 115446836 A 2S34、 将得到的数值通过曲线拟合， 构建映射方程 得到对应特征 的映射比例因子kx、 ky、 ai、 bi、 ci； 通过ΔLRX、 ΔLRY的值调整RX、 RY旋转角， 使之与目标位姿 平行， 再参 考所识别的面积值S来估计工件距离相机的深度值Zi。 5.根据权利要求4所述的一种基于多种图像特征信息混合的视觉伺服方法， 其特征在 于， 在步骤4中， 具体包括以下分步骤： S41、 根据特征点P1和 P2所在直线确定末端相对于目标物体的期望姿态偏转角度， 具体 采用以下公式： S42、 基于特征点确定图像雅可比矩阵； 特征点P0在相机坐标系下的移动 速度即末端执 行机构在相机坐标系下的移动速度为V＝[Tx Ty Tz ωx ωy ωz]T， 其向量分别为沿着X、 Y、 Z轴方向的线速度和角速度量； 再求得 特征点P(u， v)在X、 Y、 Z轴方向上的速度： 得到平面点的速度与点在相机坐标系下的速度之间的相对关系， 即基于图像的控制率 为： 其中λ代表相机焦距， u代表图像像素的横 坐标值， v代表图像像素的纵坐标值， z代表目标点在相机坐标系下的深度值， J0为图像雅可 比矩阵； S43、 再将S34所估计出来的深度信息值Z i带入图像雅可比矩阵J0中进行融合， 得到控制 率： 其中J1即为深度图像雅可比矩阵。 6.根据权利要求5所述的一种基于多种图像特征信息混合的视觉伺服方法， 其特征在 于， 在步骤5中， 具体包括以下分步骤： S51、 基于图像像素误差， 根据视觉特征e＝(s ‑s*)返回向量形式的误差， 依次表示X、 Y、 Z 三个维度上的视 觉特征误差； S52、 基于图像像素误差得到机械臂末端速度vc＝λJ1Ve， 其中λ表示控制机械臂移动速 度系数， e表示视 觉特征误差向量， J1V为控制率； S53、 机器人末端 按照指定 速度移动， 直到图像 像素误差小于设定值完成伺服任务。权　利　要　求　书 2/2 页 3 CN 115446836 A 3