(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221098617 7.8 (22)申请日 2022.08.17 (65)同一申请的已公布的文献号 申请公布号 CN 115062134 A (43)申请公布日 2022.09.16 (73)专利权人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 杨韬　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 毛丹 (51)Int.Cl. G06F 16/332(2019.01) G06F 40/211(2020.01)G06F 40/295(2020.01) G06F 40/30(2020.01) (56)对比文件 WO 2021218028 A1,2021.1 1.04 CN 111401066 A,2020.07.10 CN 111597804 A,2020.08.28 审查员 王爽 (54)发明名称 知识问答模 型训练及知识问答方法、 装置和 计算机设备 (57)摘要 本申请涉及一种知识问答模 型训练方法、 装 置、 计算机设备、 存储介质和计算机程序产品。 该 方法包括： 将训练询问语句输入初始知识问答模 型进行编解码， 得到初始实体、 初始询问属性以 及初始实体表征信息， 基于初始实体、 初始询问 属性以及初始实体表征信息得到初始答复语句， 并进行实体分类识别， 得到初始实体标注信息； 基于初始答复语句和训练答复语句得到答复损 失信息， 并基于训练实体标签和初始实体标注信 息得到实体标注损失信息； 基于答复损失信息和 实体标注损失信息更新初始知识问答模型， 得到 更新知识问答模 型并进行循环迭代， 得到目标知 识问答模型， 目标知识问答模型用于对询问语句 生成对应的答复语句。 采用本方法能够提高知识 问答的准确性。 权利要求书6页 说明书23页 附图10页 CN 115062134 B 2022.11.08 CN 115062134 B 1.一种知识问答模型训练方法， 其特 征在于， 所述方法包括： 获取训练询问语句、 训练答复语句和训练实体标签； 将所述训练询问语句输入到初始知识问答模型中进行语义表征编码， 得到问句初始表 征向量， 将预设起始向量和所述问句初始表征向量进行合并， 并通过初始解码网络进行解 码， 得到初始起始字表征向量， 将所述初始起始字表征向量和所述问句初始表征向量进行 合并， 并通过所述初始 解码网络进行解码， 得到初始中间字表征向量， 将所述初始中间字表 征向量和所述问句初始表征向量进行合并， 并通过所述初始解码网络进行解码， 得到初始 终止字表征向量， 使用所述初始 起始字表征向量、 所述初始中间字表征向量、 所述初始终止 字表征向量得到初始实体、 初始询问属性以及初始实体表征信息， 基于所述初始实体、 所述 初始询问属性以及初始实体表征信息获取所述初始询问属性对应的属性值， 根据所述初始 实体、 所述初始询问属 性对应的属 性值和所述初始实体表征信息得到初始答复语句， 并对 所述问句初始 表征向量进行实体分类识别， 得到初始实体标注信息； 基于所述初始答复语句和所述训练答复语句进行答复损 失计算， 得到答复损 失信息， 并基于所述训练实体标签和所述初始实体标注信息进 行实体标注损失计算， 得到实体标注 损失信息； 基于所述答复损失信 息和所述实体标注损失信 息更新所述初始知识问答模型， 得到更 新知识问答模型， 将所述更新知识问答模型作为初始知识问答模型， 并返回获取训练询问 语句、 训练答复语句和训练实体标签的步骤迭代执行， 直到达到训练完成条件时， 得到目标 知识问答模型， 所述目标知识问答模型用于对询问语句生成对应的答复语句。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述训练询问语句输入到初始知识 问答模型中进行语义表征编码， 得到 问句初始表征向量， 并对所述问句初始表征向量进行 解码， 得到初始实体、 初始询问属性以及 初始实体表征信息， 包括： 将所述训练询问语句转换为字符序列， 将所述字符序列输入到初始知识问答模型中； 通过所述初始知识问答模型提取所述字符序列对应的语义表征向量， 得到所述问句初 始表征向量； 通过所述初始知识问答模型对所述问句初始表征向量进行解码， 得到所述初始实体、 所述初始询问属性和待匹配实体表征信息， 并基于所述初始实体获取对应的各个实体描述 信息； 通过所述初始知识问答模型将所述待匹配实体表征信息与所述各个实体描述信息进 行信息匹配， 当匹配成功时， 将所述待匹配实体表征信息作为所述初始实体表征信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述通过所述初始知识问答模型对所述问 句初始表征向量进行解码， 得到初始实体、 初始询问属性和待匹配实体表征信息， 包括： 通过所述初始知识问答模型使用预设起始向量和所述问句初始表征向量进行解码， 得 到初始起始字表征向量； 通过所述初始知识问答模型对所述初始起始字表征向量和所述问句初始表征向量进 行解码， 得到初始中间字表征向量； 通过所述初始知识问答模型对所述初始中间字表征向量和所述问句初始表征向量进 行解码， 得到初始终止 字表征向量； 通过所述初始知识问答模型使用所述初始起始字表征向量、 所述初始中间字表征向权　利　要　求　书 1/6 页 2 CN 115062134 B 2量、 所述初始终止字表征向量确定所述初始实体、 所述初始询问属 性和所述待匹配实体表 征信息。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述初始答复语句和所述训练答 复语句进行答复损失计算， 得到答复损失信息， 包括： 使用所述初始起始字表征向量和所述训练答复语句计算所述初始起始字表征向量对 应的起始字损失信息； 使用所述初始中间字表征向量和所述训练答复语句计算所述初始中间字表征向量对 应的中间字损失信息； 使用所述初始终止字表征向量和所述训练答复语句计算所述初始终止字表征向量对 应的终止 字损失信息； 计算所述起始字损 失信息、 所述中间字损 失信息、 所述终止字损 失信息的损 失信息总 和， 得到所述 答复损失信息 。 5.根据权利要求2所述的方法， 其特征在于， 所述将所述训练询问语句转换为字符序 列， 将所述字符序列输入到初始知识问答模型中， 包括： 将所述训练询问语句进行字符划分， 得到各个问句字符； 获取起始标记符号和终止标记符号， 将所述起始标记符号、 终止标记符号和所述各个 问句字符按照所述训练询问语句的字符顺序进行拼接， 得到所述字符序列， 将所述字符序 列输入到初始知识问答模型中。 6.根据权利要求2所述的方法， 其特征在于， 所述通过所述初始知识问答模型将所述待 匹配实体表征信息与所述各个实体描述信息进行信息匹配， 当匹配成功 时， 将所述待匹配 实体表征信息作为所述初始实体表征信息， 包括： 使用所述各个实体描述信息生成实体描述信息结构树； 在所述实体描述信 息结构树中查询所述待 匹配实体表征信 息， 当查询到所述待 匹配实 体表征信息时， 将所述待匹配实体表征信息作为所述初始实体表征信息 。 7.根据权利要求1所述的方法， 其特征在于， 所述问句初始表征向量包括各个字符初始 表征向量； 所述对所述问句初始 表征向量进行实体分类识别， 得到初始实体标注信息， 包括： 从所述各个字符初始 表征向量中依次选取当前字符初始 表征向量； 将所述当前字符初始表征向量进行线性变换， 得到线性变换向量， 将所述线性变换向 量进行实体标注分类识别， 得到实体标注可能性； 基于所述实体标注可能性确定所述当前字符初始表征向量对应的当前字符初始标注 信息， 并返回从所述各个字符初始表征向量中依次选取当前字符初始表征向量的步骤迭代 执行， 直到所述各个字符初始表征向量中遍历完成时， 得到所述各个字符初始表征向量对 应的字符初始标注信息， 基于所述各个字符初始表征向量对应的字符初始标注信息得到所 述初始实体标注信息 。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述训练实体标签和所述实体标 注信息进行实体标注损失计算， 得到实体标注损失信息， 包括： 计算所述各个字符初始表征向量对应的字符初始标注信息与所述训练实体标签中对 应的字符标签之间的误差， 得到各个字符标注损失信息；权　利　要　求　书 2/6 页 3 CN 115062134 B 3