(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210985832.8 (22)申请日 2022.08.15 (71)申请人 腾讯科技 （武汉） 有限公司 地址 430000 湖北省武汉市江夏经济开发 区庙山阳光五路特1号 (72)发明人 肖东凌　 (74)专利代理 机构 深圳翼盛智成知识产权事务 所(普通合伙) 44300 专利代理师 李玉婷 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/30(2020.01) G06F 16/242(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本分析模型训练方法、 装置、 电子设备和 存储介质 (57)摘要 本申请实施例公开了一种文本分析模型训 练方法、 装置、 电子设备和存储介质， 可以应用于 自然语言处理以及机器学习等人工智能领域、 数 据库等云技术领域， 如应用于云技术、 人工智能、 智慧交通、 辅助驾驶等场景； 本申请获取预设的 文本分析模 型、 训练文本以及由所述训练文本编 码得到的样 本； 根据样本的语义表 示与所述训练 样本的一致性， 确定全局对比损失； 根据样本在 预设的特征范围内的语义表示与所述训练样本 的一致性， 确定局部对比损失； 根据全局对比损 失以及局部对比损失， 训练预设的文本分析模 型， 得到训练后的文本分析模型。 本申请能够将 训练后的文本分析模型用于文本分析， 从全局语 义以及局部语义的角度， 提升文本分析模型的文 本分析能力。 权利要求书2页 说明书21页 附图7页 CN 115310551 A 2022.11.08 CN 115310551 A 1.一种文本分析模型训练方法， 其特 征在于， 包括： 获取预设的文本分析模型、 训练文本以及由所述训练文本编码得到的样本； 通过所述预设的文本分析模型， 根据所述样本的语义表示与所述训练样本的一致性， 确定全局对比损失； 通过所述预设的文本分析模型， 根据 所述样本在预设的特征范围内的语义表示与 所述 训练样本的一致性， 确定局部对比损失， 所述预设的特征范围包括任一所述样本的特征范 围； 根据所述全局对比损 失以及所述局部对比损 失， 训练所述预设的文本分析模型， 得到 训练后的文本分析模型， 以便将所述训练后的文本分析模型用于文本分析。 2.如权利要求1所述的文本分析模型训练方法， 其特 征在于， 所述方法， 还 包括： 通过所述预设的文本分析模型， 对所述训练文本进行编码， 得到编码向量； 根据所述编码向量， 对所述样本进行解码， 得到第一特 征序列； 根据所述第一特 征序列， 确定所述样本的语义表示。 3.如权利要求2所述的文本分析模型训练方法， 其特征在于， 所述样本以结构化查询语 句形式存储， 所述通过所述预设的文本分析模型， 对所述训练文本进行编码， 得到编码向 量， 包括： 通过所述预设的文本分析模型， 获取 预设的结构化数据； 根据所述预设的结构化数据， 对所述训练文本进行特征提取， 得到初始特征， 所述初始 特征包括所述预设的结构化数据与所述训练文本的匹配关系； 基于所述匹配关系， 对所述初始特 征进行注意力处 理， 得到编码向量。 4.如权利要求2所述的文本分析模型训练方法， 其特征在于， 所述样本以结构化查询语 句形式存 储， 所述根据所述编码向量， 对所述样本进行解码， 得到第一特 征序列， 包括： 组合编码向量和样本， 得到组合特 征； 将所述组合特 征转换为 树形结构化数据， 所述 树形结构化数据包括至少一个节点； 根据预设的解码顺序， 对所述树形结构化数据的所述节点进行解码， 得到第一特征序 列。 5.如权利要求2所述的文本分析模型训练方法， 其特征在于， 所述通过所述预设的文本 分析模型， 根据所述样本在预设的特征范围内的语义表示， 确定局部对比损失之前， 还包 括： 通过所述预设的文本分析模型， 确定所述第 一特征序列在所述预设的特征范围内的第 二特征序列； 根据所述第二特 征序列， 确定所述样本在预设的特 征范围内的语义表示。 6.如权利要求1所述的文本分析模型训练方法， 其特征在于， 所述根据 所述全局对比损 失以及所述局部对比损失， 训练所述预设的文本分析模型之前， 还 包括： 通过所述预设的文本分析模型， 根据所述样本的语义表示， 确定文本分析损失； 所述根据所述全局对比损 失以及所述局部对比损 失， 训练所述预设的文本分析模型， 得到训练后的文本分析模型， 包括： 结合所述全局对比损失、 所述局部对比损失以及所述文本分析损失， 得到总损失； 根据所述总损失， 训练所述预设的文本分析模型， 得到训练后的文本分析模型。权　利　要　求　书 1/2 页 2 CN 115310551 A 27.如权利要求1～6任一项所述的文本分析模型训练方法， 其特征在于， 所述样本包括 正样本和负 样本， 所述获取 预设的文本分析模型以及样本之前， 还 包括： 对任一训练文本， 根据 预设的构造方法， 构造多种子负样本， 所述预设的构造方法包括 噪声扰动、 概 率上下文无关文法采样、 生成器采样中的至少两种； 组合所述多种子负 样本， 得到对应所述任一训练文本的负 样本。 8.一种文本分析模型训练装置， 其特 征在于， 包括： 获取单元， 用于获取预设的文本分析模型、 训练文本以及由所述训练文本编码得到的 样本； 确定单元， 用于通过所述预设的文本分析模型， 根据所述样本的语义表示与所述训练 样本的一 致性， 确定全局对比损失； 确定单元， 还用于通过所述预设的文本分析模型， 根据所述样本在预设的特征范围内 的语义表示与所述训练样本的一致性， 确定局部对比损失， 所述预设的特征范围包括任一 所述样本的特 征范围； 训练单元， 用于根据所述全局对比损 失以及所述局部对比损 失， 训练所述预设的文本 分析模型， 得到训练后的文本分析模型， 以便将所述训练后的文本分析模型用于文本分析。 9.一种电子设备， 其特征在于， 包括处理器和存储器， 所述存储器存储有多条指令； 所 述处理器从所述存储器中加载指 令， 以执行如权利要求 1～7任一项 所述的文本 分析模型训 练方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有多条指 令， 所述指令适于处理器进行加载， 以执行权利要求1～7任一项所述的文本分析模型训练 方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115310551 A 3