(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210592106.X (22)申请日 2022.05.27 (71)申请人 聚时科技 （上海） 有限公司 地址 200090 上海市杨 浦区杨树浦路23 00 号3B层B02- 59室 (72)发明人 王剑涛　罗长志　李诗　杨庆研　 郑军　 (74)专利代理 机构 武汉天领众智专利代理事务 所(普通合伙) 42300 专利代理师 谢非 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G01C 21/20(2006.01) (54)发明名称 基于机器视觉的行车目标物定位方法 (57)摘要 本发明属于行车自动化技术领域， 具体涉及 一种基于机器视觉的行车目标物定位方法， 行车 上的相机获取目标物的场景图片， 采用神经网络 获取场景图片中目标物的中心 像素坐标信息， 再 通过相机到地面的高度和相机的内参矩 阵计算 行车与目标物之间的距离。 本发 明主要应用于旧 行车改造时目标物的定位， 结合神经网络中识别 目标物和homography标定相机， 准确计算目标物 在3D空间的相对位置， 实现在复杂场景下能精准 的定位目标物。 权利要求书2页 说明书5页 附图2页 CN 114913231 A 2022.08.16 CN 114913231 A 1.一种基于机器视觉的行车目标物定位方法， 其特征在于： 行车上的相机获取目标物 的场景图片， 采用神经网络获取场景图片 中目标物的中心像素坐标信息， 再通过相 机到地 面的高度和相机的内参矩阵计算行 车与目标物之间的距离 。 2.根据权利要求1所述的基于机器视觉的行车目标物定位方法， 其特征在于： 所述行车 与目标物之间的距离(dx,dy)： dx＝(u‑cx)*d/fx dy＝(v‑cy)*d/fy 其中， 已知目标物的中心像素坐标信息为(u， v)， 相机距离地面的高度 为d， 相机的内参 矩阵为: 3.根据权利要求2所述的基于机器视觉的行车目标物定位方法， 其特征在于： 该定位方 法还包括对相机的垂 直标定： 假设所述相机垂 直向下， 获取假设中心像素坐标信息， 建立假 设中心像素坐标信息与真实中心像素坐标信息的映射关系； 通过所述映射关系计算真实中 心像素坐标信息所对应的假设中心像素坐标信息， 即为目标物的中心像素坐标信息为(u， v)。 4.根据权利要求3所述的基于机器视觉的行车目标物定位方法， 其特征在于： 所述映射 关系的建立包括： (1)记录行 车的初始位置信息(x0,y0)， (2)在假设的相机的视野范围内放置四个目标物， 移动行车到第一个目标物正上方， 记 录行车位置信息(x1,y1)， 行车初始位置与第一个目标物之间的距离记为： dx1＝x1 ‑x0,dy1＝y1 ‑y0； 利用内参矩阵和相机距离地 面的高度d计算得到： ui1＝dx1*fx/d+cx vi1＝dy1*fy/d+cy 点(ui1,vi1)为 假设的相机下第一个目标物的中心像素坐标； (3)真实的相机在行车初始位置获取目标物 的场景图片， 利用神经网络识别出第一个 目标物的中心像素坐标(ur1,vr1)； (4)重复上述过程可以得到四对点(ui1,vi1)和(ur1,vr1)、 (ui2,vi2)和(ur2,vr2)、 (ui3,vi3)和(ur3,vr3)、 (ui 4,vi4)和(ur4,vr4)； (5)通过上述四对点计算出真实相机视角和假设相机视角之间的homo graphy矩阵H， 即 为所述映射关系。 5.根据权利要求4所述的基于机器视觉的行车目标物定位方法， 其特征在于： 所述 四个 目标物分别位于假设的相机的视野范围四个角处。 6.根据权利要求4所述的基于机器视觉的行车目标物定位方法， 其特征在于： 神经网络 识别出目标物的中心 像素坐标(ur,vr)， 写成齐次坐标(ur,vr,1)， 记homography矩阵H的各 项为hij,其中i和j从1取到 3， 则计算： ui＝(h11*ur+h12*vr+h13)/(h 31*ur+h32*vr+h33) vi＝(h21*ur+h2 2*vr+h23)/(h 31*ur+h32*vr+h33)权　利　要　求　书 1/2 页 2 CN 114913231 A 2则(ui， vi)为假设的相机下目标物的中心像素坐标， 利用相机到地面的高度d和内参矩 阵， 计算行 车到目标物中心的距离为： dx＝(ui‑cx)*d/fx dy＝(vi‑cy)*d/fy 根据(dx,dy),控制行 车移动到相应位置 。 7.根据权利要求1所述的基于机器视觉的行车目标物定位方法， 其特征在于： 所述神经 网络为关键点检测网络或正框识别网络 。 8.根据权利要求1所述的基于机器视觉的行车目标物定位方法， 其特征在于： 所述神经 网络为关键点检测网络和正框识别网络， 其中关键点检测网络的优先级要高于正框识别网 络。 9.根据权利要求8所述的基于机器视觉的行车目标物定位方法， 其特征在于： 所述定位 方法还包括 实时修正， 所述 实时修正包括： 在行车向目标物 运行过程中持续采集场景图片， 对每张场景图片先进 行关键点检测网络检测获取目标物的中心像素坐标信息， 当关键点检 测网络无法检测时再采用正框识别网络检测。 10.根据权利要求7 ‑9任一所述的基于机器视觉的行车目标物定位方法， 其特征在于： 所述关键点检测网络的训练包括： 通过相机获取目标物的场景图片， 截取roi， 使得目标物 出现在中心部 分， 标注关键点， 之后使用关键点检测网络进 行训练； 所述正框识别网络的训 练包括： 通过相机获取目标物的场景图片， 标注场景图片中目标物的正框， 之后使用正框识 别网络进行训练。权　利　要　求　书 2/2 页 3 CN 114913231 A 3