(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026069.2 (22)申请日 2022.08.25 (71)申请人 北京奇艺世纪科技有限公司 地址 100080 北京市海淀区海淀北一 街2号 鸿城拓展大厦10、 1 1层 (72)发明人 李秋晨　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孟维娜　马敬 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/9536(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/00(2012.01) (54)发明名称 模型训练、 评论信息排序方法、 装置、 设备及 存储介质 (57)摘要 本发明实施例提供了模 型训练、 评论信息排 序方法、 装置、 设备及存储介质， 涉及数据处理技 术领域， 具体实现方案为： 获取样本评论信息的 样本特征， 以及样本评论信息针对推送优先级的 标注评分， 其中， 样本特征包括以下特征中的至 少一种： 第一多 媒体内容特征； 第一互动特征； 第 一文本内容特征； 第一发布者特征； 将样本特征 输入预设的神经网络模型， 得到神经网络模型输 出的各样本特征对应的样本评论信息针对推送 优先级的预估评分， 以及根据预估评分输出的针 对样本评论信息的排序结果； 根据预估评分与标 注评分之间的差异， 对神经网络模 型进行网络参 数调整， 得到评论信息排序模型。 应用本发明实 施例提供的方案能够提高向用户推送的评论的 流动性。 权利要求书3页 说明书18页 附图4页 CN 115455282 A 2022.12.09 CN 115455282 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获取样本评论信息的样本特征， 以及所述样本评论信息针对推送优先级的标注评分， 其中， 所述样本特 征包括以下 特征中的至少一种： 样本评论信息关联的第一多媒体内容特 征； 样本评论信息的第一互动特 征； 样本评论信息的第一文本内容特 征； 样本评论信息发布者的第一发布者特 征； 将所述样本特征输入预设的神经网络模型， 得到所述神经网络模型输出的各样本特征 对应的样本评论信息针对推送优先级的预估评 分， 以及根据所述预估评分输出的针对样本 评论信息的排序结果； 根据所述预估评分与 所述标注评分之间的差异， 对所述神经网络模型进行网络参数调 整， 得到评论信息排序模型。 2.根据权利要求1所述的方法， 其特征在于， 所述样本评论信 息的第一文本内容特征包 括： 样本评论信息的语义子特 征； 所述语义子特 征表征样本 评论信息对应的以下信息中的至少一种： 文本通顺度； 文本字符数； 文本内容的情感倾向； 文本是否无意 义。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述预估评分为： 所述神经网络模型得到使用所述第 一多媒体 内容特征获得样本评论 信息的推送优先级的第一子评 分、 使用所述第一互动特征获得样本评论信息针对推送优先 级的第二子评 分、 使用所述第一文本内容特征获得样本评论信息针对推送优先级的第三子 评分以及使用所述第一 发布者特征获得样本评论信息针对推送优先级的第四子评分后， 根 据所述第一子评分、 第二子评分、 第三子评分和第四子评分获得 的样本评论信息针对推送 优先级的综合评分。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述预估评分与 所述标注评分之 间的差异， 对所述神经网络模型进行网络参数调整， 得到 评论信息排序模型， 包括： 基于多媒体内容特征、 互动特征、 文本内容特征以及发布者特征分别对应的权重系数 以及所述预估评分与所述标注评分之间的差异， 对所述神经网络模型进行网络参数调整， 得到评论信息排序模型。 5.根据权利要求4所述的方法， 其特征在于， 按照以下方式确定多媒体内容特征、 互动 特征、 文本内容特 征以及发布者特 征分别对应的权 重系数： 收集被评论的第一样本对象在预设时间段内针对预设的互动项互动情况最活跃的正 样本评论； 获得所述第一样本对象关联的第二多媒体内容特征、 所述正样本评论的第二互动特 征、 所述正样本评论的第二文本内容特 征和所述 正样本评论的发布者的第二发布者特 征； 分别基于所述第二多媒体内容特征、 所述第二互动特征、 所述第二文本内容特征和所 述第二发布者特征， 预测所述正样 本评论针对推送优先级的第五子评 分、 第六子评 分、 第七权　利　要　求　书 1/3 页 2 CN 115455282 A 2子评分和第八子 评分； 获得使得第一总评分大于所述正样本评论对应的第一预设评分的权重系数， 其中， 所 述第一总评 分为： 对所述第五子评 分、 第六子评分、 第七子评 分以及第八子评分按照所述权 重系数进行加权计算得到的评分； 将所得权重系数分别确定为多媒体内容特征、 互动特征、 文本内容特征以及发布者特 征对应的权 重系数。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 收集被评论的第二样本对象的负面情感倾向的负 样本评论； 获得所述第二样本对象关联的第三多媒体内容特征、 所述负样本评论的第三互动特 征、 所述负 样本评论的第三文本内容特 征和所述负 样本评论的发布者的第三发布者特 征； 分别基于所述第三多媒体内容特征、 所述第三互动特征、 所述第三文本内容特征和所 述第三发布者特征， 预测所述负样 本评论针对推送优先级的第九子评 分、 第十子评 分、 第十 一子评分和第十二子 评分； 所述获得使得第一总评分大于所述正样本评论对应的第一预设评分的权重系数， 包 括： 获得使得第 一总评分大于所述正样本评论对应的第 一预设评分、 且使得第 二总评分小 于所述负样本评论对应的第二预设评分的权重系数， 其中， 所述第二总评 分为： 对所述第九 子评分、 第十子评分、 第十一子评分以及第十二子评分按照所述权重系 数进行加权计算得 到的评分。 7.根据权利要求4所述的方法， 其特征在于， 若用户针对已排序的评论信 息的互动积极 程度小于预设指标， 按照以下方式更新多媒体内容特征、 文本内容特征以及发布者特征分 别对应的权 重系数： 从已排序的评论信 息对应的目标对象的各条评论信 息中， 选择针对预设的互动项互动 情况最活跃的目标评论信息； 基于所述目标评论的互动特征、 所述目标评论的文本内容特征、 所述目标评论的发布 者的发布者特征以及所述目标对象的多媒体内容特征， 更新互动特征、 文本内容特征、 发布 者特征以及多媒体内容特 征分别对应的权 重系数。 8.一种评论信息排序方法， 其特征在于， 所述方法适用于部署评论排序模型的业务服 务器， 包括： 获取待排序的评论信 息池， 所述评论信 息池中的每个评论信 息关联同一目标多媒体 内 容； 针对所述评论信息池中的评论信息， 获取以下特征中的至少一种， 将得到的特征输入 根据权利要求1 ‑7中任一项预先训练的评论排序模型， 对所述评论信息池中的评论信息进 行排序， 得到排序结果： 所述目标多媒体内容的内容特 征； 每个所述评论信息的互动特 征； 每个所述评论信息的文本内容特 征； 每个所述评论信息对应的发布者特 征。 9.根据权利要求8所述的方法， 其特 征在于， 还 包括：权　利　要　求　书 2/3 页 3 CN 115455282 A 3