(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210921496.0 (22)申请日 2022.08.02 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 高金华　赵鑫　沈华伟　王永庆　 庞亮　孟剑　程学旗　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　陈思远 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06F 40/258(2020.01) G06F 40/295(2020.01)G06Q 50/00(2012.01) G06N 3/08(2006.01) (54)发明名称 一种基于社交平台元数据的文本主题建模 方法及系统 (57)摘要 本发明提出一种基于社交平台元数据的文 本主题建模 方法和系统， 包括基于文本数据的关 键词， 构建文本数据的词袋表示； 基于文本数据 的元数据类别， 训练对应类别的属性值预测任 务， 以微调预训练语义提取模型， 得到目标语义 提取模型， 使用目标语义提取模 型提取文本数据 的文本语义表 示； 基于文本语义表 示构造语义约 束目标， 以语义约束目标为指导， 以词袋表示作 为输入和重构目标， 训练基于变分自编码器的神 经主题模型， 得到主题提取模型， 并从模型中导 出主题‑关键词分布和主题嵌入表示。 方法及系 统可以对移动应用内广泛存在的短文本消息进 行主题建模， 提取出主题的关键词并学习得到主 题的嵌入表示。 权利要求书2页 说明书8页 附图3页 CN 115391522 A 2022.11.25 CN 115391522 A 1.一种基于社交平台元 数据的文本主题建模方法， 其特 征在于， 包括： 步骤1、 从社交平台获取待 主题建模的文本数据及该文本数据的元 数据； 步骤2、 基于该文本数据的关键词， 构建该文本数据的词袋表示； 步骤3、 基于该元数据的类别， 训练对应类别的属性值预测任务， 以微调预训练语义提 取模型， 得到目标语义提取模型， 使用该目标语义提取模型提取该文本数据的文本语义表 示； 步骤4、 基于该文本语义表示构造语义约束目标， 以该语义约束目标为指导， 以词袋表 示作为输入和重构目标， 训练基于变分自编 码器的神经主题模 型， 得到主题提取模型， 并从 模型中导出主题 ‑关键词分布和主题嵌入表示； 步骤5、 将该主题嵌入表示输入该属性值预测任务， 得到主题在对应属性上的属性值分 布， 根据该属性值分布、 该主题 ‑关键词分布和该主题嵌入表示对相同的主题进行合并， 并 将合并结果作为该文本数据的主题模型。 2.如权利要求1所述的基于社交平台元数据的文本主题建模方法， 其特征在于， 该步骤 3包括： 将元数据的属性分类为离 散型属性、 连续型属性和文本型属性； 对离散型属性， 分别基于语料集中出现过的属性值计数， 按照构造词表的过程， 取出现 次数超过预设阈值的属性值构成属性值集合， 基于该属性值集合构建一个预测属性值的分 类任务， 采用交叉熵作为分类任务的损失函数； 对连续型属性， 将其属性值转换为均值为0， 方差为1的分布； 基于该连续型属性构建一 个预测转换后属性 值的回归 任务， 采用MSE作为该回归 任务的损失函数； 对文本型属性， 将该文本数据与其拼接， 得到拼接文本， 输入该预训练语义提取模型， 产生的文本语义向量； 构建对抗分类任务， 用于判定该文本语义向量的属性类别， 采用交叉熵作为损失函数。 3.如权利要求1所述的基于社交平台元数据的文本主题建模方法， 其特征在于， 该步骤 5包括： 根据该属性值分布， 构建主题各属性的属性值列表； 根据该主题 ‑关键词分布， 构建 关键词列表； 在对主题进行合并时， 使用杰卡德系数分布度量主题的关键词列表间和属性值列表间 的相似度， 得到第一相似度和第二相似度， 使用余弦相似度来度量主题的嵌入表示之间的 相似度， 得到第三相似度； 加权平均第一相似度、 第二相似度和第三相似度， 得到主题间的 最终相似度， 将该最终相似度大于预设值的主题进行合并。 4.如权利要求1所述的基于社交平台元数据的文本主题建模方法， 其特征在于， 该元数 据包括： 发布时间、 发布用户ID、 发布用户个人简介、 @User、 #Ta g和URL。 5.一种基于社交平台元 数据的文本主题建模系统， 其特 征在于， 包括： 初始模块， 用于从社交平台获取待主题建模的文本数据及该文本数据的元数据； 并基 于该文本数据的关键词， 构建该文本数据的词袋表示； 微调模块， 用于根据 该元数据的类别， 训练对应类别的属性值预测任务， 以微调预训练 语义提取模型， 得到目标语义提取模型， 使用该目标语义提取模型提取该文本数据的文本 语义表示； 提取模块， 用于根据 该文本语义表示构造语义约束目标， 以该语义约束目标为指导， 以权　利　要　求　书 1/2 页 2 CN 115391522 A 2词袋表示作为输入和重构目标， 训练基于变分自编码器的神经主题模型， 得到主题提取模 型， 并从模型中导出主题 ‑关键词分布和主题嵌入表示； 合并模块， 用于将该主题嵌入表示输入该属性值预测任务， 得到主题在对应属性上的 属性值分布， 根据该属性值分布、 该主题 ‑关键词分布和该主题嵌入表示对相同的主题进 行 合并， 并将合并结果作为该文本数据的主题模型。 6.如权利要求5所述的基于社交平台元数据的文本主题建模系统， 其特征在于， 该微调 模块具体用于： 将元数据的属性分类为离 散型属性、 连续型属性和文本型属性； 对离散型属性， 分别基于语料集中出现过的属性值计数， 按照构造词表的过程， 取出现 次数超过预设阈值的属性值构成属性值集合， 基于该属性值集合构建一个预测属性值的分 类任务， 采用交叉熵作为分类任务的损失函数； 对连续型属性， 将其属性值转换为均值为0， 方差为1的分布； 基于该连续型属性构建一 个预测转换后属性 值的回归 任务， 采用MSE作为该回归 任务的损失函数； 对文本型属性， 将该文本数据与其拼接， 得到拼接文本， 输入该预训练语义提取模型， 产生的文本语义向量； 构建对抗分类任务， 用于判定该文本语义向量的属性类别， 采用交叉熵作为损失函数。 7.如权利要求5所述的基于社交平台元数据的文本主题建模系统， 其特征在于， 该合并 模块用于： 根据该属性值分布， 构建主题各属性的属性值列表； 根据该主题 ‑关键词分布， 构 建关键词列表； 在对主题进行合并时， 使用杰卡德系数分布度量主题的关键词列表间和属性值列表间 的相似度， 得到第一相似度和第二相似度， 使用余弦相似度来度量主题的嵌入表示之间的 相似度， 得到第三相似度； 加权平均第一相似度、 第二相似度和第三相似度， 得到主题间的 最终相似度， 将该最终相似度大于预设值的主题进行合并。 8.如权利要求5所述的基于社交平台元数据的文本主题建模系统， 其特征在于， 该元数 据包括： 发布时间、 发布用户ID、 发布用户个人简介、 @User、 #Ta g和URL。 9.一种存储介质， 用于存储执行如权利要求1到4所述任意一种基于社交平台元数据的 文本主题建模方法的程序。 10.一种客户端， 用于权利要求5至8中任意一种基于社交平台元数据的文本主题建模 系统。权　利　要　求　书 2/2 页 3 CN 115391522 A 3