(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550272.3 (22)申请日 2022.05.20 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼6层 601 (72)发明人 潘滢炜　姚霆　梅涛　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 孙玉　许蓓 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 20/70(2022.01)G06T 7/73(2017.01) (54)发明名称 图像处理方法、 场景图生 成模型的训练方法 以及电子设备 (57)摘要 本公开涉及一种图像处理方法、 场景图生成 模型的训练方法以及电子设备， 涉及图像处理领 域。 本公开的方法包括： 从图像中提取一个或多 个目标对以及每个目标对的信息， 其中， 每个目 标对的信息包括： 第一目标的特征信息， 位置信 息和分类信息， 第二目标的特征信息， 位置信息 和分类信息； 根据每个目标对的信息确定每个目 标对的视觉关系特征； 根据每个目标对的视觉关 系特征确定每个目标对的关系显著度； 根据每个 目标的特征信息， 每个目标对的视觉关系特征以 及每个目标对的关系显著度， 生成图像对应的带 有关系显著度的场景图。 权利要求书6页 说明书18页 附图5页 CN 114821188 A 2022.07.29 CN 114821188 A 1.一种图像处 理方法， 包括： 从图像中提取一个或多个目标对以及每个目标对的信息， 其中， 每个目标对的信息包 括： 第一目标的特征信息， 位置信息和分类信息， 第二目标的特征信息， 位置信息和分类信 息； 根据每个目标对的信息确定每 个目标对的视 觉关系特 征； 根据每个目标对的视 觉关系特 征确定每 个目标对的关系显著度； 根据每个目标的特征信息， 每个目标对的视觉关系特征以及每个目标对的关系显著 度， 生成所述图像对应的带有关系显著度的场景图。 2.根据权利要求1所述的图像处理方法， 其中， 所述根据每个目标对的信 息确定每个目 标对的视 觉关系特 征包括： 针对每个目标对， 根据所述第一目标的位置信息和所述第二目标的位置信息， 确定包 含所述第一 目标和所述第二 目标的最小矩形区域， 作为并集区域， 确定所述第一 目标和所 述第二目标的交叉区域， 作为交集区域； 确定所述并集区域的特 征信息和位置信息， 所述交集区域的特 征信息和位置信息； 根据该目标对的信息， 所述并集区域的特征信息和位置信息， 所述交集区域的特征信 息和位置信息， 确定该目标对的视 觉关系特 征。 3.根据权利要求2所述的图像处理方法， 其中， 所述根据该目标对的信息， 所述并集区 域的特征信息和位置信息， 所述交集区域的特征信息和位置信息， 确定该目标对的视觉关 系特征包括： 根据所述第一目标的特征信息， 所述第二目标的特征信息， 所述并集区域的特征信息 和所述交集区域的特 征信息， 确定该目标对 对应的外观特 征； 根据所述第一目标的位置信息， 所述第二目标的位置信息， 所述并集区域的位置信息 和所述交集区域的位置信息， 确定该目标对 对应的空间特 征； 根据所述第 一目标的分类信 息和所述第 二目标的分类信 息， 确定该目标对对应的语义 特征； 根据该目标对 对应的外观特 征， 空间特 征和语义特 征， 确定该目标对的视 觉关系特 征。 4.根据权利要求3所述的图像处理方法， 其中， 所述根据所述第一目标的特征信息， 所 述第二目标的特征信息， 所述并集区域的特征信息和所述交集区域的特征信息， 确定该目 标对对应的外观特 征包括： 分别将所述第一目标的特征信息， 所述第二目标的特征信息， 所述并集区域的特征信 息和所述交集区域的特征信息输入外观特征提取器， 映射成预设维度的特征向量， 分别得 到所述第一 目标的外观特征， 所述第二 目标的外观特征， 所述并集区域的外观特征和所述 交集区域的外观特 征； 将所述第一目标的外观特征， 所述第二目标的外观特征， 所述并集区域的外观特征和 所述交集区域的外观特 征进行拼接， 得到该目标对 对应的外观特 征。 5.根据权利要求2所述的图像处理方法， 其中， 针对所述第一目标的边界框区域， 第二 目标的边界框区域， 所述并集区域和所述交集区域中的每个区域， 从所述图像的特征图中 提取每个区域的特征， 分别作为所述第一目标的特征信息， 所述第二目标的特征信息， 所述 并集区域的特 征信息和所述交集区域的特 征信息。权　利　要　求　书 1/6 页 2 CN 114821188 A 26.根据权利要求3所述的图像处 理方法， 其中， 所述第一目标的位置信 息包括所述第 一目标的边界框的顶点坐标， 所述第 二目标的位 置信息包括所述第二目标的边界框的顶点坐标， 所述并集区域的位置信息包括所述并集区 域的顶点坐标， 所述交集区域的位置信息包括所述交集区域的顶点坐标， 所述根据所述第 一目标的位置信息， 所述第二 目标的位置信息， 所述并集区域的位置信息和所述交集区域 的位置信息， 确定该目标对 对应的空间特 征包括： 针对所述第一目标的边界框区域， 第二目标的边界框区域， 所述并集区域和所述交集 区域中的每 个区域， 确定中心点的坐标， 宽度和高度； 根据该区域的中心点的坐标， 顶点坐标， 宽度， 高度以及所述图像的宽度和高度， 确定 表示该区域在所述图像中位置和占比的空间特 征； 将所述第一目标的边界框区域的空间特征， 所述第二目标的边界框区域的空间特征， 所述交集区域的空间特征和所述并集区域的空间特征进行拼接， 得到该目标对对应的空间 特征。 7.根据权利要求3所述的图像处理方法， 其中， 所述分类信 息包括： 类别名称， 所述根据 所述第一目标的分类信息和所述第二目标的分类信息， 确定该目标对对应的语义特征包 括： 将所述第一目标的类别名称编码后输入词嵌入矩阵， 得到所述第一目标的词嵌入向 量； 将所述第二目标的类别名称编码后输入词嵌入矩阵， 得到所述第二目标的词嵌入向 量； 将所述第一目标的词嵌入向量和所述第 二目标的词嵌入向量进行拼接， 得到该目标对 对应的语义特 征。 8.根据权利要求1所述的图像处理方法， 其中， 所述根据每个目标对的视觉关系特征确 定每个目标对的关系显著度包括： 针对每个目标对， 将该目标对的视觉关系特征输入关系显著度估计器中的各个子分类 器， 得到各个子 分类器输出的关系显著度级别的预测概率， 其中， 每个子 分类器对应一种关 系显著度级别； 根据各个关系显著度级别对应的预测概 率， 确定该目标对的关系显著度。 9.根据权利要求1所述的图像处理方法， 其中， 所述根据每个目标的特征信息， 每个目 标对的视觉 关系特征以及每个目标对的关系显著度， 生成所述图像对应的带有关系显著度 的场景图包括： 将各个目标分别作为场景图中的节点， 针对每个节点， 根据 该节点的特征信息， 该节点 的各个邻居节点的特征信息以及该节点与各个邻居节点组成的目标对的关系显著度， 更新 该节点的特 征信息； 针对所述场景图中的每条边， 根据该边连接的两个节点的特征信息， 该边连接的两个 节点组成的目标对的视 觉关系特 征， 确定该边的特 征信息； 根据各个节点的特征信 息确定各个节点的目标类别， 根据 各条边的特征信 息确定各条 边的谓语 类别， 以生成所述图像对应的带有关系显著度的场景图。 10.根据权利要求9所述的图像处理方法， 其中， 所述针对每个节点， 根据 该节点的特征权　利　要　求　书 2/6 页 3 CN 114821188 A 3