(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210973525.8 (22)申请日 2022.08.15 (71)申请人 重庆大学 地址 400030 重庆市沙坪坝区沙正 街174号 (72)发明人 孙天昊　秦杜军　张小东　马嘉懿　 吴全旺　 (74)专利代理 机构 杭州知学知识产权代理事务 所(普通合伙) 33356 专利代理师 张雯 (51)Int.Cl. G06Q 30/06(2012.01) G06F 16/9535(2019.01) G06F 16/9537(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 融合时间信息的自注 意力序列推荐 方法、 系 统及设备 (57)摘要 本发明提供了融合时间信息的自注意力序 列推荐方法、 系统及设备， 方法包括： 构建融合时 间信息的自注 意力序列推荐模型； 利用数据集中 用户的历史交互序列， 对所述推荐模型进行训 练， 得到训练好的序列推荐模型； 获取待推荐用 户的历史交互序列， 并将所述待推荐用户的历史 交互序列输入至训练好的融合时间信息的自注 意力序列推荐模 型中， 获得目标推荐商品并推荐 给用户。 本发 明采用融合时间信息的自注意力序 列推荐方法， 通过将时间间隔信息的嵌入与商品 嵌入进行连接形成带有时间信息的商品嵌入， 以 及通过序列推荐模型中的多个自注意力块进行 多重注意力计算， 从而从根源上解决了现有的基 于序列推荐方法的商品推荐准确性低、 用户满意 度低的问题。 权利要求书3页 说明书11页 附图3页 CN 115249175 A 2022.10.28 CN 115249175 A 1.一种融合时间信息的自注意力序列推荐方法， 其特 征在于， 包括 步骤： S1、 构建融合时间信息的自注意力序列推荐模型， 具体为： S11、 对用户的历史交互序列进行数据扩充， 其中， 所述历史交互序列包括商品序列(i1， i2， ......in)， 及其对应的时间戳序列(t1， t2， ......tn)， 使用所述商品序列和时间戳序列 的包含首项的连续子序列进行 数据扩充， 得到扩展后的用户的历史 交互序列； S12、 对扩展后的用户的历史交互序列中的每条商品序列， 根据对应的时间戳序列计算 每个商品与最后一个商品的时间间隔， 记作(t1n， t2n， t3n， ......， t(n‑1)n， tnn)， 该序列作为相 应商品序列中所包含对 应的时间间隔信息， 其中， t1n表示输入序列第一个元素与第n个元素 的时间戳间隔差； S13、 利用嵌入层， 将所述商品序列和所述时间间隔信息转变为同一维度的嵌入向量， 在嵌入向量的最后添加一个虚拟元素， 并进 行编码表示， 得到所述商品序列的嵌入表示E＝ (e1， e2， ......， en， ea)和所述时间间隔信息的嵌入表示P＝(p1， p2， ......， pn， pa)， 其中， a为 虚拟商品的下 标； S14、 连接所述商品序列的嵌入与所述时间间隔信息的嵌入， 生成商品新的嵌入表示X ＝(x1， x2， ......， xn， xa)， 其中xi＝Concat(ei， pi)， Concat()表示连接操作， xi∈Rd； S15、 对所述商品新的嵌入表示X输入至由多个自注意力块连接组成的多重自注意力模 块中， 经过最后一个自注意块后， 得到输出序列(h1， h2， ......， hn， ha)， 其中， hi表示以第i个 商品为中心， Δt为半径的时段内该用户的兴趣表示， i＝1， ...， n， ha为用以保存聚合信息 的虚拟商品嵌入； 在每个所述自注意力块中， 包括如下步骤： (1)对所述商品新的嵌入表示X进行自注意力的计算， 具体为： 首先， 根据X计算 Q、 K、 V三个向量， 将X映射到query、 key、 value三个空间： Q＝XWQ K＝XWK V＝XWV 其中， WQ， WK， WV∈Rd×d是可学习的参数， 其中， R是一个表示维度的符号， 上标d ×d表示参 数矩阵的第一个维度是d， 第二个维度也是d； 其次， 使用Q、 K、 V进行有限制的自注意力计算： 其中， S表示局部自注意力的输出， d表示嵌入向量的维度； Attention()表示局部自注 意力操作， SA()是Attention()操作的别名； Soft max()是一个映射函数， 将一个向量映射 成一个概 率分布向量， 且各概 率和为1， 就是归一 化指数函数； d为嵌入向量的维度； 进行自注意力计算的过程中， 在Qi和Kj进行计算时， 将对应时间戳ti和tj的间隔限制在 一定时间范围内， 即|ti‑tj|≤Δt， Δt为可学习的参数， 其中， Qi表示query空间下的目标结 点， Kj表示key空间下的邻居结点； (2)将自注意力操作后得到的S通过两层 point‑wise前反馈网络： F1＝FFN(S)＝RELU(SW1+b1)W2+b2 F2＝FFN(F1)＝RELU(F1W1+b1)W2+b2权　利　要　求　书 1/3 页 2 CN 115249175 A 2其中， W1， W2∈Rd×d， b1， b2∈Rd均为可学习的参数； FFN()表示以RELU()作为激活函数的 全连接层； S表示自注意力的输出， F1表示第一层前 反馈网络的输出， F2表示第二层前 反馈网 络的输出； (3)在所述自注意块中 的自注意力层和前反馈层加入Layer  Normalization、 残差连接 和Dropout操作， 具体如下 所示： G(X)＝X+Dropout(G(LayerN orm(X))) 其中， G泛指表示自注意力操作或者前反馈层的操作， X表示进行某一操作时的输入； LayerNorm()表示层归一化操作， 加在输入操作 之前， 加速模型学习； Dropout()操作在训 练过程中以一定的概率的使神经元失活， 加在输出操作之前， 防止过拟合； ⊙表示内积； μ和 σ2表示X的均值和方差； α 和β 表示表示比例因子和偏差项， 是 可训练的参数； ∈是常量； 步骤S15具体包括： 将所述商品新的嵌入表示X输入至第一个自注意力块， 得到第一输 出结果， 将所述第一输出结果输入至第二个 自注意力块进行计算， 直至最后一个 自注意力 块计算完成， 所述最后一个自注意力块的输出结果即为所述多重自注意力模块的输出序 列， 具体如下 所示： 其中， b代表第b个自注意块， 共有L个自注意块， L为超参数； S(b)表示第b个自注意块中 自注意力的输出， 表示第b个自注意块中第一层前反馈网络的输出， 表示第b个自 注意块中第二层前反馈网络的输出； 第一个自注意块的输入为X＝(x1， x2， ......， xn， xa)， 最后一个自注意块的输出记为(h1， h2， ......， hn， ha)； 自注意块中第二层前反馈网络的输 出将会作为下一个自注意 块的输入； S16、 将所述输出序列进行带注意力的聚合， 得到用户的最终兴趣表示h， 具体步骤包 括： 计算对应的权 重并聚合表示： 其中， hi表示以第i个商品为中心， Δt为半径的时段内该用户的兴趣表示； αi表示hi对 应的权重； 对所有hi进行带权重的聚合， 作为 最终兴趣表示， 记为h； S17、 将聚合后的所述最终兴趣表示h与候选商品的嵌入矩阵作内积， 得到候选商品被 交互的概率， 根据所述 概率来生成推荐结果， 具体为： 其中， M代 表候选商品的嵌入矩阵， 代表候选商品被交 互的概率； S2、 利用获取的数据集中用户的历史交互序列， 对所述融合时间信息的自注意力序列权　利　要　求　书 2/3 页 3 CN 115249175 A 3