(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064264.4 (22)申请日 2022.09.01 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 申请人 中国人民大 学 (72)发明人 袁珺　王刚　董振华　徐君　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/33(2019.01) G06N 3/08(2006.01) (54)发明名称 多路召回模型训练方法、 多路召回方法、 装 置及电子设备 (57)摘要 一种多路召回模型训练方法、 多路召回方 法、 装置及电子设备， 涉及人工智能技术领域。 多 路召回模型包括M个单路召回模型， 该训练方法 包括获取多组训练数据， 每组训练数据包括检索 词对应的目标正样本和多个负样本； 通过第M ‑1 个单路召回模型获取各组训练数据中所有样本 的相关性分数， 然后根据该相关性分数以及第一 损失函数进行数据拟合， 确定第M个单路召回模 型的第一期望召回结果， 第一损失函数用于确定 第M‑1个单路召回模型的损失； 根据第一期望召 回结果及第二损失函数， 确定第M个单路召回模 型的损失； 以该损失最小为目标， 训练第M个单路 召回模型。 这样使得第M个单路召回模型能够尽 可能弥补第M个模型的损失， 以提升多路召回模 型的整体召回效果。 权利要求书4页 说明书22页 附图6页 CN 115374362 A 2022.11.22 CN 115374362 A 1.一种多路召回模型训练方法， 其特征在于， 所述多路召回模型包括M个单路召回模 型， M≥2， 所述训练方法包括： 获取多组训练数据， 每组训练数据包括检索词对应的目标正样本和多个负样本， 每个 样本包括所述检索词和对应文档； 通过第M‑1个单路召回模型， 获取各组训练数据中所有样本的相关性分数， 所述相关性 分数表征对应样本中的文档与所述检索词的匹配程度； 根据各组所述训练数据的相关性分数， 以及第一损 失函数， 进行数据拟合， 确定第M个 单路召回模型的第一期望召回结果， 所述第一损失函数用于确定所述第M ‑1个单路召回模 型在召回对应训练数据时与第二期望召回结果之间的偏差； 根据第一期望召回结果以及第 二损失函数， 确定第M个单路召回模型的损失， 所述损失 表示第M个单路召回模型在召回对应训练数据时与所述第一期望召回结果之间的偏差； 以所述损失最小为目标， 训练所述第M个单路召回模型。 2.根据权利要求1所述的训练方法， 其特征在于， 在所述以所述损 失最小为目标， 训练 所述第M个单路召回模型之后， 所述训练方法还 包括： 根据各组训练数据， 第一权重， 第 二权重以及代 理函数， 确定预设的神经网络模型的总 损失， 其中， 预设的神经网络模型包括所述M个单路召回模型， 所述总损失表征该神经网络 模型的输出数据与期望输出数据之间的误差， 第一权重包括M ‑1个， M‑1个第一权重分别为 第1至第M ‑1个单路召回模型的权 重， 第二权 重为所述第M个单路召回模型的权 重； 调节所述第二权 重的值， 以向着所述总损失最小的方向， 对该神经网络模型进行训练； 将停止训练时所述总损 失对应的第二权重的值， 确定为所述第M个单路召回模型的目 标权重。 3.根据权利要求2所述的训练方法， 其特征在于， 所述将停止训练时所述总损失对应的 第二权重的值， 确定为第M个单路召回模型的目标权 重， 包括： 将对所述神经网络模型每 轮训练过程中的总损失的值， 有序地 放入一个定 长序列； 当预设时长内， 所述定长序列中最大值和最小值的差值的变量率低于预设阈值， 停止 训练； 将停止训练时对应的第二权 重的值， 确定为所述目标权 重。 4.根据权利要求1 ‑3任一所述的训练方法， 其特征在于， 所述获取多组训练数据中， 包 括： 通过预设的召回模型， 获取基于所述检索词召回的多个文档的相关性分数， 其中， 所述 多个文档来自预设的数据集， 所述数据集为包括若干与所述检索词相关的文档的集合， 且 该集合中的部分文档是 标注为正样本的文档； 将所述多个文档按照其相关性分数由大到小的顺序排列后， 将排在前T位且未标注为 正样本的文档， 确定为第一负 样本； 利用多个所述第一负样本， 形成负样本集， 以根据负样本集和所述正样本得到所述训 练数据。 5.根据权利要求1 ‑3任一所述的训练方法， 其特征在于， 所述获取多组训练数据中， 还 包括： 利用第一模型， 获取基于所述检索词从数据集召回的所有文档的相关性分数， 其中， 所权　利　要　求　书 1/4 页 2 CN 115374362 A 2述数据集包括 正样本集和负 样本集， 其中， 负 样本集中包括多个负 样本； 根据召回的所有文档的相关性分数， 确定目标样本， 目标样本为根据其相关性分数达 到预设值且标注错 误的样本； 根据所述负样本集中所有负样本对应的文档的相关性分数， 获取所述所有负样本的概 率分布数据； 根据所述概率分布数据， 选取所述负样本集中分布于预设值域内的负样本， 作为第二 负样本， 以使第二负样本和所述正样本集形成所述训练数据， 其中第二负样本中不包括 目 标样本。 6.一种多路召回方法， 其特征在于， 所述方法通过多路召回模型实现， 所述多路召回模 型包括M个单路召回模型， M≥2， 所述多路召回方法包括： 将检索词分别 输入多路召回模型中的各个所述单路召回模型中， 得到各个所述单路召 回模型的第一召回结果； 利用各个单路召回模型对应的权重， 对各个所述第一召回结果进行融合， 得到第二召 回结果。 7.一种多路召回模型训练装置， 其特征在于， 所述多路召回模型包括M个单路召回模 型， M≥2， 所述训练装置包括： 第一获取模型， 用于获取多组训练数据， 每组训练数据包括检索词对应的目标正样本 和多个负 样本， 每个样本包括所述检索词和对应文档； 第一处理模块， 用于通过第M ‑1个单路召回模型， 获取各组训练数据中所有样本的相关 性分数， 所述相关性分数表征对应样本中的文档与所述检索词的匹配程度； 所述第一处理模块， 还用于根据各组所述训练数据的相关性分数， 以及第 一损失函数， 进行数据拟合， 确定第M个单路召回模 型的第一期 望召回结果， 所述第一损失函数用于确定 所述第M‑1个单路召回模型在召回对应训练数据时与第二期望召回结果之间的偏差； 所述第一处理模块， 还用于根据第 一期望召回结果以及第 二损失函数， 确定第M个单路 召回模型 的损失， 所述损失表示所述第M个单路召回模型在召回对应训练数据时与所述第 一期望召回结果之间的偏差； 所述第一处 理模块， 还用于以所述损失最小为目标， 训练所述第M个单路召回模型。 8.根据权利要求7 所述的装置， 其特 征在于， 所述第一处理模块， 还用于根据各组训练数据， 第一权重， 第二权重以及代理函数， 确 定预设的神经网络模型的总损失， 其中， 预设的神经网络模型包括所述M个单路召回模型， 所述总损失表征该神经网络模型的输出数据与期 望输出数据之 间的误差， 第一权重包括M ‑ 1个， M‑1个第一权重分别为第1至第M ‑1个单路召回模 型的权重， 第二权重为第M个单路召回 模型的权 重； 所述第一处理模块， 还用于调节所述第二权重的值， 以向着所述总损失最小的方向， 对 该神经网络模型进行训练； 所述第一处理模块， 还用于将停止训练时所述总损失对应的第二权重的值， 确定为第M 个单路召回模型的目标权 重。 9.根据权利要求7或8所述的装置， 其特 征在于， 所述第一处理模块， 还用于将对所述神经网络模型每轮训练过程中的总损 失的值， 有权　利　要　求　书 2/4 页 3 CN 115374362 A 3