(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210987142.6 (22)申请日 2022.08.17 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 张舒萌　谭洋　黎星宇　吴依蕾　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 田勇　任默闻 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 情感分析方法及装置 (57)摘要 本申请提供了一种情感分析方法及装置， 可 用于数据处理技术领域， 该方法包括： 通过预训 练模型对输入信息进行处理， 提取所述预训练模 型的至少2 个隐藏层的输出特征； 对所述至少2 个 隐藏层的输出特征进行融合， 生成特征矩阵； 通 过第一神经网络模型对所述特征矩阵进行处理， 提取比所述特征矩 阵具有更深层的语义信息的 高维矩阵； 以及通过第二神经网络模 型根据所述 高维矩阵进行分类处理， 生成情感分析结果。 通 过本申请实施例， 能够得到更为泛化的特征， 该 方法和装置可以适用于多种主题的情感分析， 具 有良好的可迁移性。 本申请可用于金融领域或其 他领域。 权利要求书2页 说明书11页 附图5页 CN 115293172 A 2022.11.04 CN 115293172 A 1.一种情感分析 方法， 其特 征在于， 所述方法包括： 通过预训练模型对输入信息进行处理， 提取所述预训练模型的至少2个隐藏层的输出 特征； 对所述至少2个隐藏层的输出 特征进行融合， 生成特 征矩阵； 通过第一神经网络模型对所述特征矩阵进行处理， 提取比所述特征矩阵具有更深层的 语义信息的高维矩阵； 以及 通过第二神经网络模型根据 所述高维矩阵进行分类处理， 生成与所述输入信 息对应的 情感分析 结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述至少2个隐藏层至少包括第一个隐藏层和最后一个隐藏层。 3.根据权利要求2所述的方法， 其特 征在于， 所述预训练模型具有12个隐藏层， 所述至少2个隐藏层包括第 一个隐藏层、 第五个隐藏 层和第十二个隐藏层。 4.根据权利要求1所述的方法， 其特征在于， 所述通过预训练模型对输入信息进行处 理， 包括： 对所述输入信息进行分割， 生成分割信息； 将所述分割信息 输入所述预训练模型的嵌入层， 提取嵌入向量； 将所述嵌入向量进行 连接， 生成连接向量； 以及 通过所述预训练模型的隐藏层对所述连接向量进行处理， 生成与各个所述隐藏层对应 的输出特征。 5.根据权利要求 4所述的方法， 其特 征在于， 所述预训练模型的嵌入层包括词嵌入层、 段嵌入层、 位置嵌入层， 所述嵌入向量包括词 嵌入向量、 段嵌入向量、 位置嵌入向量。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述至少2个隐藏层的输出特征进 行融合， 包括： 对所述至少2个隐藏层的输出 特征进行加权求和。 7.根据权利要求1所述的方法， 其特 征在于， 所述情感分析 结果包括大于2个的分类的结果。 8.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过注意力 机制按照所述输入信 息的各组成要素对所述高维矩阵进行加权， 得到加权 后的高维矩阵， 其中， 通过所述第二神经网络模型根据所述加权后的高维矩阵进行分类处 理， 生成与所述输入信息对应的情感分析 结果。 9.根据权利要求1所述的方法， 其特 征在于， 所述预训练模型是利用训练数据进行训练处理后的模型， 其中， 所述训练数据包括： 样 本数据以及利用对抗训练对样本数据制造一个 扰动后得到的扰动样本数据。 10.根据权利要求1所述的方法， 其特 征在于， 所述预训练模型是利用训练数据进行训练处理后的模型， 其中， 所述训练数据包括： 样 本数据以及利用数据增强技 术对样本数据进行处 理后得到的增强样本数据。 11.一种情感分析装置， 其特 征在于， 所述装置包括：权　利　要　求　书 1/2 页 2 CN 115293172 A 2输出特征生成单元， 其通过预训练模型对输入信息进行处理， 提取所述预训练模型的 至少2个隐藏层的输出 特征； 特征矩阵生成单 元， 其对所述至少2个隐藏层的输出 特征进行融合， 生成特 征矩阵； 高维矩阵生成单元， 其通过第一神经网络模型对所述特征矩阵进行处理， 提取比所述 特征矩阵具有更深层的语义信息的高维矩阵； 以及 分析结果生成单元， 其通过第二神经网络模型根据所述高维矩阵进行分类处理， 生成 与所述输入信息对应的情感分析 结果。 12.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求 1至10任一项 所述 的方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序被处 理器执行时实现权利要求1至10任一项所述的方法。 14.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机程序， 所述计 算机程序被处 理器执行时实现权利要求1至10任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115293172 A 3