(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210938216.7 (22)申请日 2022.08.05 (71)申请人 珠海高凌信息科技股份有限公司 地址 519060 广东省珠海市南屏科技工业 园屏东一路1号 (72)发明人 高正含　刘立峰　石宪　李振华　 王文重　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 陈嘉乐 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/242(2020.01) G06N 3/04(2006.01) G06F 16/35(2019.01) (54)发明名称 基于深度学习的自然语 言情感处理方法、 装 置和存储介质 (57)摘要 本申请公开了基于深度学习的自然语言情 感处理方法、 装置和存储介质， 本申请对原始通 信文本进行预处理， 得不同中文语料对应的不同 序列； 采用BERT ‑MLF模型对预处理后的中文语 料 序列进行特征提取， 获得隐藏层输出， 隐藏层输 出包括每个序列对应的语义特征和最大池化后 的方面特征； 利用语义特征和方面特征进行 BERT‑MLF模型的训练和测试； 采用LS TM网络对语 义特征和方面特征进行深度特征提取， 获得每个 序列的深层语义特征； 将深层语义特征经过全 连 接层， 再进入Softmax分类器进行分类， 进行模型 的训练和测试。 本申请减少了模 型训练所需的有 标签的数据量、 所需时间和计算资源， 具有更好 的适应性， 能在短时间内生 成可靠的深度学习模 型， 提高了系统的实用价 值。 权利要求书2页 说明书8页 附图3页 CN 115422943 A 2022.12.02 CN 115422943 A 1.基于深度学习的自然语言情感处 理方法， 其特 征在于， 所述方法包括： 对原始通信文本进行 预处理， 得不同中文语料对应的不同序列； 采用BERT ‑MLF模型对预处理后的中文语料序列进行特征提取， 获得隐藏层输出， 所述 隐藏层输出包括每 个序列对应的语义特 征和最大池化后的方面特 征； 利用所述语义特 征和所述方面特 征进行所述BERT ‑MLF模型的训练和 测试； 采用LSTM网络对所述语义特征和所述方面特征进行深度特征提取， 获得每个序列的深 层语义特 征； 将所述深层语义特征经过全连接层， 再进入Softmax分类器进行分类， 进行模型的训练 和测试。 2.根据权利要求1所述的基于深度学习的自然语言情感处理方法， 其特征在于， 所述对 原始通信文本进行 预处理， 包括： 根据原始通信文本构造中文词典； 对所述中文词典进行 前分词操作； 构建数字化索引和文本映射关系字典； 利用所述中文字典将原 始通信文本向量 化， 得到不同中文语料对应的不同序列。 3.根据权利要求2所述的基于深度学习的自然语言情感处理方法， 其特征在于， 所述根 据原始通信文本构造中文词典， 包括： 利用Jieba分词处 理原始通信文本构造中文词典。 4.根据权利要求2所述的基于深度学习的自然语言情感处理方法， 其特征在于， 利用所 述中文字典将原 始通信文本向量 化， 包括： 利用CLS、 SEP和向量 化通信文本构造样本 。 5.根据权利要求1所述的基于深度学习的自然语言情感处理方法， 其特征在于， 所述采 用BERT‑MLF模型对预处 理后的中文语料序列进行 特征提取， 获得隐藏层输出， 包括： 对所述BERT ‑MLF模型每一层的方面特 征进行最大池化。 6.根据权利要求1所述的基于深度学习的自然语言情感处理方法， 其特征在于， 所述利 用所述语义特 征和所述方面特 征进行所述BERT ‑MLF模型的训练和 测试， 包括： 初始所述BERT ‑MLF模型的参数； 将所述语义特征和所述方面特征作 为训练集和测试集输入所述BERT ‑MLF模型， 得到训 练预测结果并计算分类损失； 测试预测结果， 若准确率 提升则更新所述BERT ‑MLF模型的参数。 7.根据权利要求1所述的基于深度学习的自然语言情感处理方法， 其特征在于， 所述采 用LSTM网络对 所述语义特征和所述方面特征进 行深度特征提取， 获得每个序列的深层语义 特征， 包括： 对所述BERT ‑MLF模型进行实例化； 冻结所述BERT ‑MLF模型的所有参数， 在所述BERT ‑MLF模型最后一层增 加LSTM模块； 对所述语义特 征和所述方面特 征进行深度特 征提取， 获得每 个序列的深层语义特 征。 8.基于深度学习的自然语言情感处 理装置， 其特 征在于， 所述装置包括： 第一模块， 用于对原 始通信文本进行 预处理， 得不同中文语料对应的不同序列； 第二模块， 用于采用BERT ‑MLF模型对预处理后的中文语料序列进行特征提取， 获得隐权　利　要　求　书 1/2 页 2 CN 115422943 A 2藏层输出， 所述隐藏层输出包括每 个序列对应的语义特 征和最大池化后的方面特 征； 第三模块， 用于利用所述语义特征和所述方面特征进行所述BERT ‑MLF模型的训练和测 试； 第四模块， 用于采用LSTM网络对所述语义特征和所述方面特征进行深度特征提取， 获 得每个序列的深层语义特 征； 第五模块， 用于将所述深层语义特征经过全连接层， 再进入Softmax分类器进行分类， 进行模型的训练和 测试。 9.基于深度学习的自然语言情感处 理装置， 其特 征在于， 所述装置包括： 至少一个处 理器； 至少一个存 储器， 所述存 储器用于存 储至少一个程序； 当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1 ‑7中任一项所述 的基于深度学习的自然语言情感处 理方法。 10.存储介质， 其特征在于， 所述存储介质存储有处理器可执行的程序， 所述处理器可 执行的程序被处理器执行时实现如权利要求 1‑7中任一项 所述的基于深度学习的自然语言 情感处理方法。权　利　要　求　书 2/2 页 3 CN 115422943 A 3