(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210606241.5 (22)申请日 2022.05.31 (71)申请人 杭州群核信息技 术有限公司 地址 310000 浙江省杭州市江干区九环路9 号3幢2楼208室 (72)发明人 郑佳　朱一凡　汪可涵　邹强　 周子寒　 (74)专利代理 机构 北京众元弘策知识产权代理 事务所(普通 合伙) 11462 专利代理师 李超 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/50(2017.01) G06T 7/73(2017.01) G06T 15/20(2011.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06F 30/27(2020.01) G06F 113/08(2020.01) (54)发明名称 从单幅二 维线框图重建三维模 型的方法、 装 置和电子设备 (57)摘要 本发明提供从单幅二维线框图重建三维模 型的方法、 装置和电子设备。 所述方法包括： 获取 建模对象的一张二维线框图； 将所述二维线框图 输入至约束检测网络， 以得到边之间的几何约 束； 将所述二维线框图输入至深度预测 网络， 以 得到顶点深度值； 以预测得到的顶 点深度值作为 优化初始值， 利用预测得到的边之间的几何约束 对顶点深度值进行优化； 根据优化后的顶点深度 值构建所述 建模对象的三维模型。 本发明利用深 度学习算法在二维线框图中检测三维物体中边 之间的几何关系， 并预测顶点深度值， 最终通过 几何约束求解来优化顶点深度值。 在大型CAD模 型数据集上的实验表明， 在几何约束求解流程中 利用深度学习可以大幅提高基于优化的三维重 建算法的成功率。 权利要求书3页 说明书11页 附图5页 CN 114842153 A 2022.08.02 CN 114842153 A 1.一种从单幅二维线框图重建三维模型的方法， 其特 征在于， 包括： 获取建模 对象的一张二维线框图； 将所述二维线框图输入至约束检测网络， 以得到边之间的几何约束； 将所述二维线框图输入至深度预测网络， 以得到顶点的深度值； 以预测得到的顶点深度值作为优化初值， 利用预测得到的边之间的几何约束对顶点深 度值进行优化； 根据优化后的顶点深度值构建所述建模 对象的三维模型。 2.根据权利要求1所述的方法， 其特 征在于： 所述建模 对象是一个流形物体； 所述二维线框图是该流形物体在一般视角下的透视投影， 其中建模对象的所有边和顶 点可见。 3.根据权利要求1所述的方法， 其特 征在于： 所述几何约束包括： 平行约束、 垂直约束和共面约束。 4.根据权利要求1所述的方法， 其特 征在于： 所述约束检测网络和深度预测网络均经 过预先训练。 5.根据权利要求1所述的方法， 其特 征在于： 所述约束检测网络包括串联 的多层感知器(MLP)、 Transformer编码器和Transformer 解码器； 将所述二维线框图输入至约束检测网络， 以得到边之间的几何约束包括： 多层感知器(MLP)根据所述 二维线框图中所有边的坐标值获得每条边的值嵌入； 将每条边的值嵌入和位置嵌入相加得到每条边的输入嵌入； 通过Transformer编码器根据所有的边的输入嵌入得到上 下文嵌入； 由约束索引序列对上下文嵌入进行索引， 生成约束序列， 作为Transformer解码器的输 入； Transformer解码器输出指针嵌入； 通过点积将所述的指针嵌入与上下文嵌入进行比较， 使用softmax操作对比较结果进 行归一化， 选取概 率最大的边， 将该边的索引添加至约束索引序列。 6.根据权利要求1所述的方法， 其特 征在于： 所述深度预测网络包括： 卷积神经网络(CNN)、 多层感知器(MLP)和Transformer解码 器； 将所述二维线框图输入至深度预测网络， 以得到顶点的深度值包括： 通过卷积神经网络(CN N)提取所述二维线框图的图像特 征； 通过多层感知器(MLP)从所述 二维线框图获得每 个顶点的值嵌入； 将每个顶点的值嵌入和位置嵌入相加得到每 个顶点的输入嵌入； 将图像特 征和每个顶点的输入嵌入输入Transformer解码器， 输出每 个顶点的深度值。 7.根据权利要求 4所述的方法， 其特 征在于： 约束检测网络和深度预测网络经由ABC数据集训练。 8.根据权利要求1所述的方法， 其特 征在于： 在利用预测得到的边之间的几何约束对顶点深度值进行优化之前， 还包括选择非冗余权　利　要　求　书 1/3 页 2 CN 114842153 A 2且一致的几何约束。 9.根据权利要求8所述的方法， 其特 征在于： 所述选择非冗余且一 致的几何约束包括： 步骤S41、 为约束系统添加一个新的约束； 步骤S42、 判断是否存在二分图的最大匹配； 若不存在， 则约束是冗余或者不一致的； 如 存在， 则进入步骤S43； 步骤S43、 约束是否满足当前约束系统的解？ 如是， 则跳入步骤S45； 如否， 则进入步骤 S44； 步骤S44、 对约束系统利用最小二乘法进行求解， 是否可解？ 若不可解， 则约束为不一 致； 若可解， 则进入步骤S45； 步骤S45、 对约束系统的雅可比矩阵做QR分解， 若R(m， m)为0， 约束是冗余的， 否则约束 是非冗余且一 致的， 即可以添加进当前的约束系统。 10.一种从单幅二维线框图重建三维模型的装置， 其特 征在于， 包括： 获取模块， 用于获取建模 对象的一张二维线框图； 约束检测模块， 用于将所述二维线框 图输入至约束检测网络， 以得到边之间的几何约 束； 深度估计模块， 用于将所述 二维线框图输入至深度预测网络， 以得到顶点的深度值； 优化模块， 用于以预测得到的顶点深度值作为优化初值， 利用预测得到的边之间的几 何约束对顶点深度值进行优化； 建模模块， 用于根据优化后的顶点深度值构建所述建模 对象的三维模型。 11.根据权利要求10所述的装置， 其特 征在于： 所述约束检测网络包括串联 的多层感知器(MLP)、 Transformer编码器和Transformer 解码器； 其中， 多层感知器(MLP)的输入是所述二维线框图中所有的边的坐标值， 输出是每条边 的值嵌入； Transformer编码器的输入是所有的边的输入嵌入， 每条边的输入嵌入由多层感知器 得到的值嵌入和位置嵌入构成； Transformer编码器的输出 是上下文嵌入； Transformer解码器的输入是通过约束索引序列对上下文嵌入进行索引得到的约束序 列； Transformer解码器的输出为指针嵌入。 12.根据权利要求10所述的装置， 其特 征在于： 所述深度预测网络用于输出顶点的深度初始值， 包括： 卷积神经网络(CNN)、 多层感知 器(MLP)和Transformer解码器； 卷积神经网络(CN N)用于对所述 二维线框图提取图像特 征； 多层感知器(MLP)用于从所述二维线框图获得顶点的多维输入嵌入， 输入是顶点的坐 标值， 输出为顶点的值嵌入； Transformer解码器的输入为图像特征和每个顶点的输入嵌入， 输出为每个深度 值； 其 中， 每个顶点的输入嵌入由顶点的值嵌入和位置嵌入相加得到 。 13.一种电子设备， 其特征在于， 其包括处理器和存储器， 其中， 所述存储器存储有计算权　利　要　求　书 2/3 页 3 CN 114842153 A 3