(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111666239.9 (22)申请日 2021.12.31 (71)申请人 中国兵器科 学研究院 地址 100089 北京市海淀区车道沟十号院 中国兵器科 学研究院 (72)发明人 刘冰　百晓　陈科　薛姬荣　李军　 周雷　王晨　张亮　江金寿　 田建辉　王晓悦　叶金华　安辰　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 代理人 王丽莉 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种图像识别模型训练方法、 装置、 设备及 介质 (57)摘要 本申请实施例提供了一种图像识别模型训 练方法、 装置、 设备及介质， 由于本申请中， 原始 图像识别模型输出了每个样本图像对中参考图 像样本对应的第一预估图像及第二预估图像， 并 分别根据第一预估图像中对应像素点的像素值 确定了第一子损失值， 根据第二预估图像中对应 像素点的像素值， 确定第二损失值， 进行了像素 级对比学习， 还输出了每个样 本图像对中参考图 像样本对应的第一特征向量及每个样本图像对 中目标图像样本对应的第二特征向量， 并分别根 据第一特征向量以及第二特征向量， 确定第三子 损失值， 进行了图像级对比学习， 由于进行了像 素级对比和图像级对比学习， 提高了图像识别模 型的精度， 及图像识别模型提取出的图像中物体 特征的显著性或区分性。 权利要求书5页 说明书22页 附图2页 CN 114359547 A 2022.04.15 CN 114359547 A 1.一种图像识别模型训练方法， 其特 征在于， 所述方法包括： 将样本图像集中的每个样本图像对依次输入到原始图像识别模型中， 输出每个样本图 像对中参考图像样本对应的第一预估图像、 第二预估图像及第一特征向量， 并输出每个样 本图像对中目标图像样本对应的第二特征向量； 其中， 同一样本图像对中的参考图像样本 与目标图像样本归属于相同的视频； 不同样本图像对中的参考图像样本归属于不同的视 频； 根据每个参考图像样本及对应的第 一预估图像中对应像素点的像素值， 确定第 一子损 失值； 根据每个参考图像样本及对应的第二预估图像中对应像素点的像素值， 确定第二子 损失值； 根据每个样本图像对对应的所述第一特征向量以及所述第二特征向量， 确定第三 子损失值； 根据所述第一子损失值、 所述第二子损失值以及所述第三子损失值， 确定目标损 失值； 根据所述目标损失值， 对所述原 始图像识别模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 确定所述样本图像集中的每个样本图像对 包括： 针对预先保存的每个视频， 获取归属于该视频的参考图像以及目标图像； 将所述参考 图像以及所述目标图像输入到预先训练完成的前景区域 获取模型中， 输出所述参考图像对 应的第一前景图像， 以及所述 目标图像对应的第二前景图像； 针对所述第一前景图像以及 所述第二前景图像中的每个前景图像， 确定所述前景图像中包含的物体对应的子前景图 像； 将所述第一前景图像的所述子前景图像确定为样本图像对中的参考图像样本， 将所述 第二前景图像的所述子前 景图像确定为所述样本图像对中的目标图像样本 。 3.根据权利要求1所述的方法， 其特征在于， 将样本图像集中的每个样本图像对依次输 入到原始图像识别模型中， 输出每个样本图像对中参考图像样本对应的第一预估图像包 括： 所述原始图像识别模型针对输入的每个样本图像对中的参考图像样本和目标图像样 本进行卷积操作， 确定每个像素点对应的特征向量； 针对每个样本图像对， 针对 该样本图像 对中参考图像样本中的每个第一像素点， 根据该第一像素点在该样本图像对中目标图像样 本中对应的第二像素点， 以及预设的范围， 确定包含该第二像素点的该设定的范围内的每 个第三像素点； 根据该第一像素点及每个第三像素点特征向量之间的相似度， 构建第一相 似度矩阵； 根据所述第一相似度矩阵以及预设的归一化函数， 确定每个第三像素点对应的 第一权重值， 根据每个第三像素点的像素值及对应的所述第一权重值， 确定该第一像素点 的第一预估像素值； 根据该参考图像样本中每个第一像素点的第一预估像素值， 确定该参 考图像样本对应的第一预估图像。 4.根据权利要求3所述的方法， 其特征在于， 将样本图像集中的每个样本图像对依次输 入到原始图像识别模型中， 输出每个样本图像对中参考图像样本对应的第二预估图像包 括： 针对每个样本 图像对， 针对该样本 图像对中参考图像样本中的每个第一像素点， 根据 该第一像素点在该样本图像对中目标图像样本、 预设数量的除该样本图像对以外的其他样 本图像对中目标图像样本对应的第四像素点， 以及预设的范围， 确定包含该第四像素点的权　利　要　求　书 1/5 页 2 CN 114359547 A 2该设定的范围内的每个第五像素点； 根据该第一像素点及每个第五像素点特征向量之 间的 相似度， 构建第二相似度 矩阵； 根据所述第二相似度 矩阵以及所述预设的归一化函数， 确定 每个第五像素点对应的第二权重值， 根据每个第五像素点的像素值及 对应的所述第二权重 值， 确定该第一像素点的第二预估像素值； 根据该参考图像样本中每个第一像素点的第二 预估像素值， 确定该参 考图像样本对应的第二预估图像。 5.根据权利要求1所述的方法， 其特征在于， 将样本图像集中的每个样本图像对依次输 入到原始图像识别模型中， 输出每个样本图像对中参考图像样本对应的第一特征向量包 括： 所述原始图像识别模型针对输入的每个样本图像对， 对该样本图像对中的参考图像样 本进行采样， 获得目标特征图块； 将所述目标特征图块进行池化处理， 获得该参考图像样本 对应的第一特 征向量。 6.根据权利要求5所述的方法， 其特征在于， 将样本图像集中的每个样本图像对依次输 入到原始图像识别模型中， 输出每个样本图像对中目标图像样本对应的第二特征向量包 括： 所述原始图像识别模型针对所述目标特征图块中包含的每个第六像素点， 根据 该第六 像素点在参考图像样本中的位置， 确定目标样本图像中包含该位置的预设的范围内的每个 第七像素点； 根据该第六像素点的特征向量与每个第七像素点对应的特征向量的相似度， 构建第三相似度矩阵； 根据所述第三相似度矩阵以及所述预设的归一化函数， 确定每个第 七像素点对应的第三权重； 根据所述每个第七像素点对应的第三权重以及每个第七像素点 对应的第三 位置信息， 确定该第六像素点在目标图像样本中对应的预估位置； 根据每个第六像素点对应的预估位置， 确定平均预估位置， 根据所述平均预估位置以 及所述目标 特征图块大小， 确定目标图像样本上对应的预估特 征图块； 将所述预估特 征图块进行池化操作， 获得目标图像样本对应的第二特 征向量。 7.根据权利要求1所述的方法， 其特征在于， 所述根据每个参考图像样本及对应的第 一 预估图像中对应 像素点的像素值， 确定第一子损失值包括： 针对参考图像样本 中的每个像素点， 确定该像素点在第 一预估图像中对应像素点的像 素值与该像素点的像素值的第一差值； 确定所述第一差值是否小于预设的差值阈值， 若是， 则将所述第一差值的平方与预设的数值之间的第一乘积， 确定为该像素点对应的损失值； 若否， 则将所述第一差值的绝对值与所述预设的数值之间的第二差值， 确定为该像素点对 应的损失值； 根据所述参考图像样本 中的每个像素点对应的损失值的第 一平均损失值， 确定第 一子 损失值。 8.根据权利要求1所述的方法， 其特征在于， 所述根据每个参考图像样本及对应的第 二 预估图像中对应 像素点的像素值， 确定第二子损失值包括： 针对参考图像样本 中的每个像素点， 确定该像素点在第 二预估图像中对应像素点的像 素值与该像素点的像素值的第三差值； 确定所述第三差值是否小于预设的差值阈值， 若是， 则将所述第三差值的平方与预设的数值之间的第二乘积， 确定为该像素点对应的损失值； 若否， 则将所述第三差值的绝对值与所述预设的数值之间的第四差值， 确定为该像素点对 应的损失值；权　利　要　求　书 2/5 页 3 CN 114359547 A 3