(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211047077.5 (22)申请日 2022.08.30 (71)申请人 北京龙智数 科科技服务有限公司 地址 100020 北京市朝阳区北 苑小街8号6 号楼五层5 305 (72)发明人 暴宇健　张文俊　袁子涵　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 陈美君 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 自然语言预训练模型训练方法、 装置、 设备 及存储介质 (57)摘要 本申请提供一种自然语言预训练模型训练 方法、 装置、 设备及存储介质。 该方法包括： 利用 词典对文本进行分词并将词转换为独热编码； 将 独热编码 输入到词嵌入层， 利用词嵌入层映射得 到每个词对应的静态词向量； 将每个词对应的静 态词向量、 段落嵌入向量和位置嵌入向量相加， 得到每个词的输入向量， 将输入向量作为自然语 言预训练模 型的输入， 得到每个词对应的动态词 向量； 计算每个词对应的静态词向量与动态词向 量之间的相似度， 将相似度计算结果作为约束 项； 利用约束项对自然语言预训练模 型的原始损 失函数进行调整， 并对调整原始损失函数后的自 然语言预训练模 型进行训练。 本申请提高了自然 语言预训练模 型的训练效果， 使模 型获得更好的 精度和泛化 性能。 权利要求书2页 说明书9页 附图3页 CN 115358231 A 2022.11.18 CN 115358231 A 1.一种自然语言预训练模型训练方法， 其特 征在于， 包括： 利用自然语言预训练模型的词典对文本进行分词， 并将所述文本 中的词转换为相应的 独热编码； 将所述文本对应的独热编码输入到词嵌入层， 利用所述词嵌入层映射得到每个词对应 的静态词向量； 将每个词对应的静态词向量、 段落嵌入向量和位置嵌入向量相加， 得到每个词对应的 输入向量， 将所述输入向量作为所述自然语言预训练模型 的输入， 得到每个词对应的动态 词向量； 计算每个词对应的所述静态词向量与所述动态词向量之间的相似度， 将相似度计算结 果作为约束 项； 利用所述约束项对所述自然语言预训练模型的原始损失函数进行调 整， 并对所述原始 损失函数调整后的自然语言预训练模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述文本对应的独热编码输入到词 嵌入层， 利用所述词嵌入层映射得到每 个词对应的静态词向量， 包括： 基于所述文本中每个词对应的独热编码， 生成所述文本对应的一系列独热编码， 将所 述一系列独热编码输入到所述词嵌入层， 利用所述词嵌入层对所述一系列独热编 码进行映 射， 得到每 个词对应的原 始向量表示， 将每 个词的原 始向量表示作为静态词向量。 3.根据权利要求1所述的方法， 其特征在于， 所述将每个词对应的静态词向量、 段落嵌 入向量和 位置嵌入向量相加， 得到每个词对应的输入向量， 将所述输入向量作为所述自然 语言预训练模型的输入， 得到每 个词对应的动态词向量， 包括： 获取每个词在所述文本中对应的段落嵌入向量和位置嵌入向量， 将所述静态词向量、 所述段落嵌入向量以及所述位置嵌入向量分别映射到同一维度空间内， 将同一维度空间内 的所述静态词向量、 所述段落嵌入向量以及所述位置嵌入向量进行相加， 得到每个词对应 的输入向量； 将所述输入向量输入到所述自然语言预训练模型中， 利用所述自然语言预训练模型进 行词遮掩任务和上 下句任务的训练， 并输出 所述文本中每 个词对应的动态词向量。 4.根据权利要求1所述的方法， 其特征在于， 所述计算每个词对应的所述静态词向量与 所述动态词向量之间的相似度， 将相似度计算结果作为约束 项， 包括： 计算每个词的所述静态词向量与 所述动态词向量之间的向量内积， 将所述向量内积作 为静态词向量与动态词向量之 间的相似度计算结果， 将所述相似度计算结果作为基于所述 静态词向量所构造的约束 项； 其中， 所述静态词向量与所述动态词向量之间具有相同维度。 5.根据权利要求1所述的方法， 其特征在于， 所述计算每个词对应的所述静态词向量与 所述动态词向量之间的相似度， 将相似度计算结果作为约束 项， 包括： 计算每个词的所述静态词向量与 所述动态词向量之间的余弦相似度或者曼哈顿距离， 将所述余弦相似度或者曼哈顿距离作为静态词向量与动态词向量之 间的相似度计算结果， 并将所述相似度计算结果作为约束 项。 6.根据权利要求4所述的方法， 其特征在于， 所述利用所述约束项对所述自然语言预训 练模型的原 始损失函数进行调整， 包括采用以下式子对所述原 始损失函数进行调整： loss＝(1‑α )·suploss‑α·regulati on权　利　要　求　书 1/2 页 2 CN 115358231 A 2其中， loss表示调整后的损失函数， suploss表示原始损失函数， α表示配分系数， 用于 调整模型训练精度， regulsti on表示基于所述静态词向量所构造的约束 项。 7.根据权利要求1至6中任一项所述的方法， 其特征在于， 所述自然语言预训练模型采 用基于BERT的自注意力预训练模型。 8.一种自然语言预训练模型训练装置， 其特 征在于， 包括： 转换模块， 被配置为利用自然语言预训练模型的词典对文本进行分词， 并将所述文本 中的词转换为相应的独热编码； 映射模块， 被配置为将所述文本对应的独热编码输入到词嵌入层， 利用所述词嵌入层 映射得到每 个词对应的静态词向量； 输入模块， 被配置为将每个词对应的静态词向量、 段落嵌入向量和位置嵌入向量相加， 得到每个词对应的输入向量， 将所述输入向量作为所述自然语言预训练模型 的输入， 得到 每个词对应的动态词向量； 计算模块， 被配置为计算每个词对应的所述静态词向量与所述动态词向量之间的相似 度， 将相似度计算结果作为约束 项； 调整模块， 被配置为利用所述约束项对所述自然语言预训练模型的原始损失函数进行 调整， 并对所述原 始损失函数调整后的自然语言预训练模型进行训练。 9.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115358231 A 3