(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942562.2 (22)申请日 2022.08.08 (71)申请人 中国科学院微电子 研究所 地址 100029 北京市朝阳区北土城西路3号 申请人 上海翔盛悦信息技 术有限公司 (72)发明人 宗天禹　陈曙东　马荣　 (74)专利代理 机构 北京华沛德权律师事务所 11302 专利代理师 王瑞琳 (51)Int.Cl. G06N 5/04(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 40/30(2020.01) G06Q 40/00(2012.01) (54)发明名称 一种基于语义的智能推理方法及系统 (57)摘要 本发明公开了一种基于语义的智能推理方 法及系统， 所述方法包括： 采集自然类语料和金 融类语料； 将所述自然类语料和所述金融类语料 一并送入初始Bert预训练模型， 得到自然类语义 编码向量和金融类语义编码向量； 遍历计算所述 自然类语义编码向量和所述金融类语义编码向 量的语义相似度， 并将高于相似度阈值的自然类 语料迁移至所述金融类语料， 形成迁移后的训练 数据集； 将迁移后的训练数据集输入所述初始 Bert预训练模型， 并施加前馈神经网络进行有 监 督学习， 得到目标Bert预训练模型； 其中， 所述目 标Bert预训练模型用于对待推理金融类语料进 行语义推理。 权利要求书2页 说明书8页 附图1页 CN 115470906 A 2022.12.13 CN 115470906 A 1.一种基于语义的智能推理方法， 其特 征在于， 所述方法包括： 采集自然类 语料和金融类 语料； 将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型， 得到自然类语义 编码向量和金融类 语义编码向量； 遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度， 并将高 于相似度阈值的自然类 语料迁移至所述金融类 语料， 形成迁移后的训练数据集； 将迁移后的训练数据集输入所述初始Bert预训练模型， 并施加前馈神经网络进行有监 督学习， 得到目标Bert预训练模 型； 其中， 所述目标Bert预训练模 型用于对待推理金融类语 料进行语义推理。 2.如权利要求1所述的方法， 其特征在于， 所述将所述自然类语料和所述金融类语料一 并送入初始Ber t预训练模型， 得到自然类 语义编码向量和金融类 语义编码向量， 具体包括： 将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型， 得到所述自然类 语义编码向对应的第一编码矩阵和金融类 语义编码向量对应的第二编码矩阵； 其中， 所述第一编码矩阵的每一行向量为每句自然类语料的语义表示向量， 列向量表示自然 类语料的向量维度； 所述第二编码矩阵的每一行向量为每句金融类语料 的语义表示向量， 列向量表示金融类 语料的向量维度。 3.如权利要求2所述的方法， 其特征在于， 所述将高于相似度阈值的自然类语料迁移至 所述金融类 语料， 形成迁移后的训练数据集， 具体包括： 将高于相似度阈值的自然类语料迁移至所述金融类语料对应的语料类矩阵中逐行排 列， 形成所述训练数据集。 4.如权利要求1所述的方法， 其特征在于， 所述将迁移后的训练数据集输入所述初始 Bert预训练模 型， 并施加前馈神经网络进 行有监督学习， 得到目标Bert预训练模 型， 具体包 括： 将迁移后的训练数据集输入所述初始Bert预训练模型， 得到对应的微调语义编码向 量； 将所述微调语义编码向量输入到前馈神经网络， 得到预测值； 将所述预测值和所述训练数据集的原始标签一并送入交叉熵损失函数中计算损失， 并 反向传播回所述初始Ber t预训练模型进行梯度更新， 得到所述目标Ber t预训练模型。 5.如权利要求4所述的方法， 其特征在于， 将所述微调语义编码向量输入到前馈神经网 络， 得到预测值， 具体包括： 将所述微 调语义 编码向 量输入到所述前馈 神经网 络的 非 线性激活函数 逐层进行递推， 得到所述预测值； 其中， 非线性激活函数表示第j+1层 前馈神经网络和第 j层前馈神经网络的递推 关系， j表 示前馈神经网络的层数， 1≤j ≤k,k表 示前馈神经网络的总层数； 表示在第j层中的第h行语义编码向量， 表示在第j层中的 第h行语义编码向量中的第i维编码特征， 表示在第j+1层中的第h行语义编码向量， h表 示任意行 数， i表示向量维度， i∈n， n表示向量维度总数， wi表示权重， bj表示第j层的系数。 6.如权利要求1所述的方法， 其特征在于， 所述得到目标Bert预训练模型之后， 所述方权　利　要　求　书 1/2 页 2 CN 115470906 A 2法还包括： 获得所述待推理金融类 语料； 将所述待推理金融类语料和 将推理备选项语料集一并输入所述目标Bert预训练模型， 得到所述待推理金融类语料对应的待推理语义编码向量和所述推理备选项语料集对应的 语义编码向量组； 遍历计算所述待推理语义编码向量与所述语义编码向量组中每 个向量的语义相似度； 从所述语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量； 将所述目标编码向量所属语料作为所述待推理金融类 语料对应的推理语料。 7.如权利要求6所述的方法， 其特征在于， 所述从所述语义编码向量组中确定出语义相 似度高于预设阈值的目标编码向量， 具体包括： 从所述语义编码向量组中确定出相似度最高的编码向量作为所述目标编码向量； 或者 从语义相似度高于预设阈值的语义编码向量中确定任一一个语义编码向量作为所述 目标编码向量。 8.一种基于语义的智能推理系统， 其特 征在于， 包括： 采集模块， 用于采集自然类 语料和金融类 语料； 模型处理模块， 用于将所述自然类语料和所述金融类语料一并送入初始Bert预训练模 型， 得到自然类 语义编码向量和金融类 语义编码向量； 迁移模块， 用于遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义 相似度， 并将 高于相似度阈值的自然类语料迁移至所述金融类语料， 形成迁移后的训练数 据集； 训练模块， 用于将迁移后的训练数据集输入所述初始Bert预训练模型， 并施加前馈神 经网络进 行有监督学习， 得到目标Bert预训练模 型； 其中， 所述目标Bert预训练模 型用于对 待推理金融类 语料进行语义推理。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现权利要求1 ‑7任一项所述方法的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求 1‑7任一项所述方法的步 骤。权　利　要　求　书 2/2 页 3 CN 115470906 A 3