(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210918943.7 (22)申请日 2022.08.01 (71)申请人 山东省计算中心(国家超 级计算济 南中心) 地址 250014 山东省济南市历下区科院路 19号山东省计算中心 申请人 山东省人工智能研究院 　 齐鲁工业大学 (72)发明人 王英龙　张洪彪　舒明雷　陈达　 刘丽　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 支文彬 (51)Int.Cl. G06F 16/9535(2019.01)G06F 16/958(2019.01) G06F 16/335(2019.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 一种基于结构化多兴趣协同的企业服务快 讯推荐方法 (57)摘要 一种基于结构化多兴趣协同的企业服务快 讯推荐方法， 通过附加选择器以增强快讯的特 征， 有效增强了最终的企业服务快讯表示； 本发 明提出的用户兴趣表示学习方法通过构建用户 兴趣结构无向图， 利用图注意力网络可以一种显 示的方式结构化编码用户的多种潜在兴趣， 这可 以提取更加精确的用户兴趣表 示； 本发明提出的 用户兴趣表示学习方法充分考虑了用户多种潜 在兴趣之间的相互作用， 利用自注 意力网络模拟 兴趣之间的作用关系有效增强了用户兴趣表示； 本发明得益于良好的企业服务快讯表示学习方 法和用户兴趣表示学习方法， 有效提高了企业服 务快讯推荐的准确性。 权利要求书4页 说明书8页 附图1页 CN 115357783 A 2022.11.18 CN 115357783 A 1.一种基于结构化多兴趣协同的企业 服务快讯推荐方法， 其特 征在于， 包括如下步骤： a)获取用户的历史点击快讯序列数据V＝[v1,v2,...,vi,...,vN]和候选快讯序列 数据 V′＝[v′1,v′2,...,v′i,...,v′M]， 其中vi为第i个历史点击的快讯， i∈{1,...N}， N为历史点 击的快讯数量， v ′i为第i个候选快讯， i∈{1,...M}， M为候选快讯的数量， 获取快讯的服务 类型数量S； b)使用分词工具将历史点击快讯序列中每条快讯标题转换为分词序列[x1,x2,..., xi,…,xF]， 将候选快讯序列中的每条快讯标题转换为分词序列[x ′1,x′2,…,x′i,…,x′F]， 其中xi及x′i均为第i个分词， i∈{1, …F}， F为快讯标题单词截取的最大长度， 将分词序列 [x1,x2,…,xi,...,xF]映射为词嵌入序列[e1,e2,…,ei,…,eF]， 将分词序列[x ′1,x′2,…,x ′i,...,x′F]映射为词嵌入序列[e ′1,e′2,...,e′i,...,e′F]， 其中ei及e′i均为第i个词嵌入； c)将词嵌入序列[e1,e2,...,ei,...,eF]及[e′1,e′2,...,e′i，…,e′F]分别输入到两个 并行的双向GRU中进 行语义理解， 建模快讯标题的双向顺序性特征， 分别得到融合双向语义 的词嵌入序列[h1,h2,...,hi,...,hF]和[h′1,h′2,…,h′i,…,h′F]， 其中hi及h′i均为第i个 融合双向语义的单词； d)使用附加选择器分别应用于融合双向语义的词嵌入序列[h1,h2,...,hi,...,hF]和 [h′1,h′2,…,h′i,…,h′F]， 分别得到特征增强后的词嵌入序列 和 其中 及 均为第i个的增强后的词嵌入； e)使用词注意力网络为历史点击快讯序列中每条快讯标题分词分配一个权重， 第i个 单词的权重为αi， 为候选快讯序列中 的每条快讯标题转换为分词分配一个权重， 第i个单词 的权重为α′i； f)通过公式 计算得到第x个历史点击快讯的标题词嵌入的加权和cx， 通过 公式 计算得到第x个候选 快讯的标题词嵌入的加权和c ′x， x∈{1,…N}， 建立得 到历史点击表示序列C＝[c1,c2,…,cx,…,cN]和候选快讯表示序列C ′＝[c′1,c′2,...,c ′x,...,c′N]； g)创建与快讯的服务类 型数量S相同个数的兴趣代理节点Vp＝[vp,1,vp,2,...,vp,i,..., vp,S]， 其中vp,i为用户对第i种服务类型快讯的兴趣， i∈{1,...,S}， 构建用户兴趣结构无向 图G＝(Vst,Est)， 式中Vst为兴趣代理节点Vp和历史点击快讯序列数据V中每条快讯为节点在 内的节点集合， Est为图的边集合， Est∈<vi,vi+1>∪<vi,vp,j>， <vi,vi+1>为用户点击历史中第 i个快讯vi和第i+1个快讯vi+1的无向边， <vi,vp,j>为用户点击历史中第i个快讯vi和其所属 服务类型的兴趣代理节点vp,j的无向边； h)使用图注意力 网络GAT将用户兴趣结构无向图G中相同服务类型的快讯聚合到对应 的兴趣代理节点Vp中， 得到结构化后的兴趣代理节点表示 其中 为第i个结构化后的兴趣代理节点， i∈{1,. ..S}；权　利　要　求　书 1/4 页 2 CN 115357783 A 2i)将结构化后的兴趣代理节点表示 输入到多头自注 意力网络的兴趣协同层中， 得到 增强后的兴趣节点表示 式中 为第i个增强后的兴 趣节点， i∈{1,. ..S}； j)通过公式 计算得到第i个兴趣代理节点的归 一化注意力权重αp,i， 式中ap.i为第i个兴趣代理节点的权重， qp为兴趣查询向量， T为转置， Dp为兴趣查询向量长度， Dp＝200， Wp及bp均为用户兴趣注意力网络中可 学习参数； k)通过公式 计算得到所有兴趣协同增强后的代理节点的加权和u； l)通过公式y＝uTc′x计算得到用户和每一个候选快讯的点击概率y， 选取概率最大 的5 个候选快讯推荐给用户。 2.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法， 其特征在 于： 步骤a)中N取值 为128， M取值 为32。 3.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法， 其特征在 于： 步骤b)中分词工具为jieba分词工具， 使用预训练的300维Glove中文词嵌入将历史点击 快讯标题的分词序列[x1,x2,...,xi,...,xF]映射为词嵌入序列[e1,e2,...,ei,...,eF]， 将 候选快讯标题的分词序列[x ′1,x′2,...,x′i,...,x′F]映射为词嵌入序列[e ′1,e′2,...,e ′i,...,e′F]， F取值为32。 4.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法， 其特征在 于， 步骤c)包括如下步骤： c‑1)中通过公式 计算得到hi， 式中 为拼接操作， GRU( ·)为GRU网络， 为正向门控循环单元中的上一 时刻的隐藏状态， 为反向门控循环单 元中的上一时刻的隐藏状态； c‑2)中通过公式 计算得到h ′i， 式中 为拼接操作， GRU( ·)为GRU网络， 为正向门控循环单元中的上一时刻的隐藏状态， 为反向门控循环单 元中的上一时刻的隐藏状态。 5.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法， 其特征在 于， 步骤d)附加选择器应用于融合双向语义的词嵌入序列[h1,h2,...,hi,...,hF]和[h′1, h′2,...,h′i,...,h′F]的方法为： d‑1)通过公式 计算得到第i个的增强后的词嵌入 式中⊙为逐点元素相 乘， Slti＝σslt(Wslthi+bslt)， Wslt及bslt为可学习参数， σslt(·)为RELU非线性激活函数；权　利　要　求　书 2/4 页 3 CN 115357783 A 3