(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210980239.4 (22)申请日 2022.08.16 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 侯朝晖　詹明捷　梁鼎　程龙　 曾中超　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 崔晓岚　徐川 (51)Int.Cl. G06V 30/42(2022.01) G06V 30/414(2022.01) G06F 40/30(2020.01) G06F 40/289(2020.01) (54)发明名称 文档分析方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例公开了一种文档分析方法、 装 置、 设备及存储介质， 所述方法包括： 获取待分析 文档中目标文字的文字信息和二维位置信息； 对 所述文字信息和所述二维位置信息进行多模态 信息融合处理， 得到所述目标文字对应的分析向 量； 根据所述待分析文档中的全部文字对应的所 述二维位置信息， 对相应的所述 分析向量进行序 列化处理， 得到待分析向量序列； 根据所述分析 向量在所述待分析向量序列中的序列位置信息， 对所述待分析向量序列的每一分析向量进行分 类处理， 得到每一分析向量对应文字的类别属 性； 根据所述目标文字的类别属性， 对所述待分 析文档进行文档分析。 权利要求书3页 说明书16页 附图3页 CN 115294594 A 2022.11.04 CN 115294594 A 1.一种文档分析 方法， 其特 征在于， 所述方法包括： 获取待分析文档中目标文字的文字信息和二维位置信息； 对所述文字信 息和所述二维位置信 息进行多模态信 息融合处理， 得到所述目标文字对 应的分析向量； 根据所述待分析文档中的全部文字对应的所述二维位置信 息， 对相应的所述分析向量 进行序列化处 理， 得到待分析向量序列； 根据所述分析向量在所述待分析向量序列中的序列位置信 息， 对所述待分析向量序列 的每一分析向量进行分类处 理， 得到每一分析向量对应文字的类别属性； 根据所述目标文字的类别属性， 对所述待分析文档进行文档分析。 2.根据权利要求1所述的方法， 其特征在于， 所述获取待分析文档中目标文字的文字信 息和二维位置信息， 包括： 响应于所述待分析文档中第 一文字段落的文字数量小于第 一预设数量， 对所述第 一文 字段落进行文本识别处 理， 得到所述第一文字段落中目标文字对应的文字信息和识别框； 根据每一识别 框在所述待分析文档上的位置， 确定所述目标文字对应的所述二维位置 信息。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 响应于所述待分析文档中第 二文字段落的文字数量大于第 二预设数量， 从所述第 二文 字段落的起始位置起， 以第一长度为滑动步长， 通过具有第二长度的滑 窗对所述第二文字 段落进行切割， 得到 至少两个文字序列； 其中， 所述第一长度小于或等于所述第二长度； 对所述至少两个文字序列进行文本识别处理， 确定出所述至少两个文字序列中目标文 字的所述文字信息和所述识别框 。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 响应于所述第一长度小于所述第二长度， 确定相邻两个文字序列之间具有重合文字； 针对具有重合文字的相邻 两个文字序列， 去除任一文字序列中与另一文字序列相同的 重合文字， 得到清除后的文字序列； 对应地， 所述对所述至少两个文字序列进行文本识别处理， 确定出所述至少两个文字 序列中目标文字的所述文字信息和所述识别框， 包括： 对所述清除后的文字序列进行文本识别处理， 确定出所述清除后的文字序列中目标文 字的所述文字信息和所述识别框 。 5.根据权利要求4所述的方法， 其特征在于， 任一相邻 两个文字序列包括第 一文字序列 和第二文字序列； 所述方法还 包括： 针对任一具有重合文字的相邻 两个文字序列， 确定所述第 一文字序列或所述第 二文字 序列中重合文字的重合数量； 根据所述重合数量， 将所述重合文字分为第一重合文字和第二重合文字； 响应于所述第 一重合文字与 所述第一文字序列的序列中心之间的距离， 小于所述第 一 重合文字与所述第二文字序列的序列中心， 去除所述第一文字序列中的第二重合文字； 响应于所述第 二重合文字与 所述第二文字序列的序列中心之间的距离， 小于所述第 二 重合文字与所述第一文字序列的序列中心， 去除所述第二文字序列中的第一重合文字； 将清除后的全部第一文字序列和全部第二文字序列， 确定为清除后的文字序列。权　利　要　求　书 1/3 页 2 CN 115294594 A 26.根据权利要求1至5任一所述的方法， 其特征在于， 所述待分析文档至少包括多页文 档； 所述二维位置信息 至少包括第一方向位置信息； 所述方法还 包括： 对每一所述目标文字的二维位置信息进行归一化处理， 得到归一化后的二维位置信 息； 根据所述多页文档的页码顺序， 依次对每一页文档中目标文字对应的所述归一化后的 二维位置信息中的第一方向位置信息添加权重信息， 得到所述多页文档中目标文字对应的 第一方向位置信息 。 7.根据权利要求1至6任一所述的方法， 其特征在于， 所述对所述文字信息和所述二维 位置信息进行多模态信息融合处 理， 得到每一文字对应的分析向量， 包括： 对所述目标文字对应的所述文字信息进行文字特 征提取， 得到文字特 征向量； 对所述目标文字对应的所述二维位置信息进行位置特征提取， 得到二维位置特征向 量； 对同一文字分别对应的所述文字特征向量和所述二维位置特征向量进行多模态特征 融合处理， 得到所述目标文字对应的分析向量。 8.根据权利要求7所述的方法， 其特征在于， 所述二维位置信 息至少包括第 一方向位置 信息和第二方向位置信息； 对所述目标文字对应的所述二维位置信息进行位置特征提取， 得到二维位置特征向 量， 包括： 分别对所述目标文字对应的所述第一方向位置信息和所述第二方向位置信息进行编 码处理， 得到第一方向注意力矩阵和第二方向注意力矩阵； 将所述第一方向注意力矩阵和所述第 二方向注意力矩阵进行叠加处理， 得到所述目标 文字对应的二维位置矩阵； 对所述二维位置矩阵进行 特征提取， 得到所述 二维位置特 征向量。 9.根据权利要求1至8任一所述的方法， 其特 征在于， 所述方法还 包括： 对所述待分析文档进行图像切割处 理， 得到至少两个切割图像； 对至少两个切割图像进行图像特 征提取， 得到 至少两个图像特 征向量； 对应地， 所述根据所述待分析文档 中的全部文字对应的所述二维位置信息， 对相应的 所述分析向量进行序列化处 理， 得到待分析向量序列， 包括： 根据所述待分析文档中的全部文字对应的所述二维位置信 息， 对相应的所述分析向量 进行序列化处 理， 得到初始向量序列； 将所述至少两个图像特 征向量添加至所述初始向量序列中， 得到待分析向量序列。 10.根据权利要求1至9任一所述的方法， 其特征在于， 所述根据每一分析向量在所述待 分析向量序列中的序列位置信息， 对所述待分析向量序列的每一分析向量进行分类处理， 得到每一分析向量对应文字的类别属性， 包括： 根据每一分析向量在所述待分析向量序列中的序列位置信 息， 依次对所述待分析向量 序列中的每一分析向量进行分类处 理， 得到分类序列； 对所述分类序列进行归一 化处理， 得到每一分析向量对应文字的类别属性。 11.根据权利要求1至10任一所述的方法， 其特征在于， 所述根据所述目标文字的类别权　利　要　求　书 2/3 页 3 CN 115294594 A 3