(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210529748.5 (22)申请日 2022.05.16 (71)申请人 北京铁科时代科技有限公司 地址 101300 北京市顺 义区赵全营镇兆丰 产业基地 东盈路19号 (72)发明人 方志军　蔡润轩　 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/60(2017.01) G06T 7/13(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于单目视觉的障碍物类型和距离识别方 法、 装置、 介质和设备 (57)摘要 本申请涉及基于单目视觉的障碍物类型和 距离识别方法， 其距离识别方法包括： 获取由单 目摄像机拍摄的含有障碍物和参照物的目标图 像， 所述参照物与所述摄像机的距离等于所述障 碍物与所述摄像机的距离， 基于所述目标图像得 到所述参照物在图片中的宽度， 基于所述参照物 在图片中的宽度、 所述参照物的实际宽度和摄像 机的焦距， 计算得到所述参照物与所述摄像机的 距离， 进而得到所述障碍物与所述摄像机的距 离， 只需要利用单目摄像机获取目标图像， 利用 距离计算方法分析目标图像即可计算出障碍物 与摄像机之间的距离， 本发明可实现高效的单目 地铁障碍物类型与距离 检测。 权利要求书2页 说明书8页 附图3页 CN 114943767 A 2022.08.26 CN 114943767 A 1.基于单目视觉的障碍物类型和距离识别方法， 其特征在于： 所述距离识别方法包括 如下步骤： 获取由单目摄像机拍摄的含有障碍物和参照物的目标图像， 所述参照物与 所述摄像机 的距离等于所述障碍物与所述摄 像机的距离， 基于所述目标图像得到所述 参照物在图片中的宽度， 基于所述参照物在图片中的宽度、 所述参照物的实 际宽度和摄像机的焦距， 计算得到 所述参照物与所述摄 像机的距离， 进 而得到所述障碍物与所述摄 像机的距离 。 2.根据权利要求1所述的基于单目视觉的障碍物类型和距离识别方法， 其特征在于： 所 述参照物为铁轨， 所述障碍物位于所述铁轨上， 所述基于所述 目标图像得到所述参照物在 图片中的宽度包括如下步骤： 获取所述障碍物在所述图片的矩形框最下方的边上的一个点 的坐标a （Xa， Ya） ， 输出所述参照物的第一个特征点坐标b （Xb， Ya） 和第二个特征点坐标c （Xc， Ya） ， 计算所述 参照物在图片中的宽度bc为Xb ‑Xc的绝对值。 3.根据权利要求2所述的基于单目视觉的障碍物类型和距离识别方法， 其特征在于： 所 述获取所述障碍物在所述图片的矩形框最下方的边上的一个点的坐标a （Xa， Ya） 包括如下 步骤： 建立目标检测模型， 将所述目标图像输入所述目标检测模型， 所述目标检测模型基于所述目标图像得到所述 坐标a （Xa， Ya） ， 所述建立目标检测模型包括如下步骤： 数据准备： 采集铁轨可能出现的障碍物类型， 制作数据集， 将数据集随机分为测试集， 训练集， 验证集； 深度学习算法训练： 采用深度学习yolov5系列模型， 使用所述数据集进行训练， 在验证 集上验证， 取测试集上分数最高的模型为所 得到的目标检测模型。 4.根据权利要求3所述的基于单目视觉的障碍物类型和距离识别方法， 其特征在于： 所 述采集铁轨可能出现的障碍物类型， 制作数据集包括如下步骤： 使用数据集coco为基础， 删 减不需要检测的障碍物类型， 增 加需要检测的障碍物类型， 形成所述数据集。 5.根据权利要求3所述的基于单目视觉的障碍物类型和距离识别方法， 其特征在于： 所 述深度学习算法训练包括如下步骤： 使用yolov5系列模型用作训练网络， 采用余弦退火优 化算法进 行梯度下降优化， 使用训练集作为输入， 测试集与验证集作为评估标准， 当测试集 和验证集 Loss指定epoc hs不再下降时停止训练。 6.根据权利要求2所述的基于单目视觉的障碍物类型和距离识别方法， 其特征在于： 所 述获取所述障碍物在所述图片的矩形框最下方的边上的一个点的坐标a （Xa， Ya） ， 输出所述 参照物的特 征点坐标b （Xb， Ya） 和特 征点坐标c （Xc， Ya） 包括如下步骤： 使用opencv库作为检测工具,使用Sobel边缘检测检测出所述参照物的边缘特征点， 使 用轮廓查找函数查找出 所述参照物在图片坐标系中的特 征点分布， 根据所述坐标a （Xa， Ya） 和所述参照物特征点， 输出所述参照物的特征点坐标b （Xb， Ya） 和c （Xc， Ya） 。 7.根据权利要求1所述的基于单目视觉的障碍物类型和距离识别方法， 其特征在于： 基 于所述参照物在图片 中的宽度、 所述参照物的实际宽度和摄像机的焦距， 计算得到所述参权　利　要　求　书 1/2 页 2 CN 114943767 A 2照物与所述摄 像机的距离具体是： 利用相似三角形模型计算出z  = f*(ad/bc),其中， z为现实世界坐标系参照物与所述 摄像机的距离， f为摄像机的焦距， ad为参照物的实际宽度， bc为所述参照物在图片中的宽 度。 8.根据权利要求2至7任一项所述的基于单目视觉的障碍物类型和距离识别方法， 其特 征在于： 基于所述目标检测模型 得到所述障碍物的类型。 9.基于单目视 觉的障碍物 距离识别装置， 其特 征在于： 包括如下模块： 目标图像获取模块： 用于获取由单目摄像机拍摄的含有 障碍物和参照物的目标图像， 所述参照物与所述摄 像机的距离等于所述障碍物与所述摄 像机的距离， 参照物宽度计算模块： 用于基于所述目标图像得到所述 参照物在图片中的宽度， 距离计算模块： 用于基于所述参照物在图片中的宽度、 所述参照物的实 际宽度和摄像 机的焦距， 计算得到所述参照物与所述摄像机的距离， 进而得到所述障碍物与所述摄像机 的距离。 10.计算机可读存储介质， 用于存储计算机程序， 其特征在于： 所述计算机程序被调用 时执行权利要求1至8任意 一项所述的基于单目视 觉的障碍物类型和距离识别方法的步骤。 11.计算机设备， 包括存储器和处理器， 所述存储器用于存储计算机程序， 其特征在于： 所述计算机程序被所述处理器调用时执行权利要求1至8任意一项所述的基于单目视觉的 障碍物类型和距离识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114943767 A 3