(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026746.0 (22)申请日 2022.08.25 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼6层6 01 (72)发明人 张振羽　陈蒙　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 李阳　王安娜 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 一种信息融合方法和装置 (57)摘要 本发明公开了一种信息融合方法和装置， 涉 及计算机技术领域。 该方法的一具体实施方式包 括： 对待处理文本的单词进行单词嵌入， 对单词 在待处理文本的位置信息进行位置嵌入， 得到相 应的词向量和位置向量； 对词向量和位置向量进 行特征融合， 得到原始融合特征， 以及根据位置 向量， 抽取位置信息对应的卷积核； 使用卷积核 对原始融合特征进行卷积， 得到局部融合特征， 以基于局部融合特征， 获得融合有位置信息的新 词向量。 该实施方式通过提取局部信息， 实现局 部感知以及卷积核共享， 进而利用局部信息获取 融合有位置信息的新词向量， 能够高效、 充分的 融合位置信息和单词信息 。 权利要求书2页 说明书10页 附图5页 CN 115329888 A 2022.11.11 CN 115329888 A 1.一种信息融合方法， 其特 征在于， 包括： 对待处理文本的单词进行单词嵌入， 对所述单词在所述待处理文本的位置信 息进行位 置嵌入， 得到相应的词向量和位置向量； 对所述词向量和所述位置向量进行特征融合， 得到原始融合特征， 以及根据所述位置 向量， 抽取 所述位置信息对应的卷积核； 使用所述卷积核对所述原始融合特征进行卷积， 得到局部融合特征， 以基于所述局部 融合特征， 获得融合有所述 位置信息的新词向量。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述位置向量， 抽取所述位置信 息对应的卷积核， 包括： 对所述位置向量进行线性变换， 得到第一变换 结果； 采用第一激活函数， 对所述第一变换 结果进行非线性变换， 得到第二变换 结果； 采用第二激活函数， 将所述第二变换结果映射到设定区间， 获得所述位置向量的相应 位置信息所对应的卷积核。 3.根据权利要求1所述的方法， 其特征在于， 所述使用所述卷积核对所述原始融合特征 进行卷积， 得到局部融合特 征， 包括： 采用深度可分离卷积， 对一个或者多个输入通道对应的原始融合特征分别进行卷积， 得到所述输入通道对应的局部融合特 征； 其中， 所述多个输入通道共享所述卷积核。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述局部融合特征， 获得融合有 所述位置信息的新词向量， 包括： 对所述待处理文本的单词对应的局部 融合特征集进行线性变换， 得到融合有所述位置 信息的新词向量； 其中， 所述局部融合特征集包括所述一个或者多个输入通道对应的局部 融合特征。 5.根据权利要求1所述的方法， 其特征在于， 所述对所述词向量和所述位置向量进行特 征融合， 得到原 始融合特 征， 包括： 拼接所述词向量和所述 位置向量， 得到拼接向量； 采用Pointwise卷积， 对所述 拼接向量进行浅层特 征融合， 得到原 始融合特 征。 6.根据权利要求2所述的方法， 其特征在于， 所述第 一激活函数为不饱和非线性激活函 数， 所述第二激活函数为softmax函数。 7.根据权利要求1至 6的任一项所述的方法， 其特 征在于， 所述方法还 包括： 将所述新词向量输入至预训练语言模型， 通过所述预训练语言模型中的Transformer 结构， 得到所述待处 理文本中单词的语义表示。 8.一种信息融合装置， 其特 征在于， 包括： 嵌入模块， 用于对待处理文本的单词进行单词嵌入， 对所述单词在所述待处理文本的 位置信息进行位置嵌入， 得到相应的词向量和位置向量； 抽取模块， 用于对所述词向量和所述位置向量进行特征融合， 得到原始融合特征， 以及 根据所述 位置向量， 抽取 所述位置信息对应的卷积核； 融合模块， 用于使用所述卷积核对所述原始融合特征进行卷积， 得到局部 融合特征， 以 基于所述局部融合特 征， 获得融合有所述 位置信息的新词向量。 9.一种电子设备， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115329888 A 2一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7中任一所述的方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执 行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115329888 A 3