(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210089691.1 (22)申请日 2022.01.25 (71)申请人 鹏城实验室 地址 518000 广东省深圳市南 山区兴科一 街2号 (72)发明人 程正涛　张伟哲　束建钢　杨帆　 邹庆胜　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 赵燕燕 (51)Int.Cl. G06F 21/62(2013.01) G06F 21/60(2013.01) G06F 16/36(2019.01) G06F 16/31(2019.01)G06F 40/30(2020.01) G06F 16/901(2019.01) (54)发明名称 跨模态隐私语义表征方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了一种跨模态隐私语义表征方 法、 装置、 设备及存储介质， 涉及数据处理技术领 域， 方法包括： 获取多模态数据； 根据多模态数 据， 获得对应的文本数据； 对文本数据进行关键 词提取和加密， 得到密态关键词； 根据密态关键 词， 对预设知识图谱进行分割， 得到密态子图； 对 密态子图进行图嵌入， 得到与密 态关键词对应的 密态表征向量， 以得到多模态数据的语义表征结 果。 本发明解决了现有技术中存在密态关键词之 间的语义关联性较差的问题， 实现了不仅可以保 证密态关键词之间的语义关联， 还 可以为后续进 行隐私语义的检索提供准确的语义表征的效果。 权利要求书2页 说明书14页 附图3页 CN 114528588 A 2022.05.24 CN 114528588 A 1.一种跨模态隐私语义表征 方法， 其特 征在于， 所述方法包括： 获取多模态数据； 根据所述多模态数据， 获得对应的文本数据； 对所述文本数据进行关键词提取和 加密， 得到密态关键词； 根据所述密态关键词， 对所述预设知识图谱进行分割， 得到密态子图； 对所述密态子 图进行图嵌入， 得到与所述密态关键词对应的密态表征向量， 以得到所 述多模态数据的语义表征 结果。 2.如权利要求1所述的跨模态隐私语义表征方法， 其特征在于， 所述多模态数据包括至 少两种不同模态的数据信息； 所述根据所述多模态数据， 获得对应的文本数据的步骤 包括： 当所述多模态数据包括语音模态的第一模态数据时， 利用语音识别技术， 将所述第一 模态数据转换为第一文本数据； 当所述多模态数据包括视频模态的第二模态数据时， 利用训练好的文本生成模型， 将 所述第二模态数据转换为第二文本数据； 当所述多模态数据包括文本模态的第 三模态数据时， 直接将所述第 三模态数据确定为 第三文本数据。 3.如权利要求2所述的跨模态隐私语义表征方法， 其特征在于， 所述对所述文本数据进 行关键词提取和 加密， 得到密态关键词的步骤 包括： 对所述第 一文本数据、 第 二文本数据和/或第 三文本数据进行关键词提取和加密， 得到 密态关键词。 4.如权利要求1所述的跨模态隐私语义表征方法， 其特征在于， 所述对所述文本数据进 行关键词提取和 加密， 得到密态关键词的步骤 包括： 通过无监督学习算法对所述文本数据进行关键词提取， 得到关键词； 通过对称加密算法对所述关键词进行加密处 理， 得到密态关键词。 5.如权利要求4所述的跨模态隐私语义表征方法， 其特征在于， 所述通过无监督学习算 法对所述文本数据进行关键词提取， 得到关键词的步骤 包括： 对所述文本数据进行分词处 理， 得到多个词汇； 根据所述多个词汇， 绘制词汇网络图； 其中， 所述词 汇网络图的网络节点对应于所述词 汇， 连接两个网络节点的边具有属性 值， 所述属性 值根据所述多个词汇的共现关系确定； 根据所述词汇网络 图， 对所述多个词汇进行排序和筛选， 得到表征所述文本数据的关 键词。 6.如权利要求1所述的跨模态隐私语义表征方法， 其特征在于， 所述根据 所述密态关键 词， 对所述预设知识图谱进行分割， 得到密态子图的步骤之前， 所述方法还 包括： 通过开源知识图谱确定一基础 知识图谱； 对所述基础知识图谱进行加密处理， 得到预设知识图谱； 其中， 所述加密处理采用的加 密算法与所述对所述文本数据进行加密时采用的加密算法一 致。 7.如权利要求1所述的跨模态隐私语义表征方法， 其特征在于， 所述根据 所述密态关键 词， 对所述预设知识图谱进行分割， 得到密态子图的步骤 包括： 根据所述密态关键词， 在所述预设知识图谱中匹配与所述密态关键词对应的实体， 获权　利　要　求　书 1/2 页 2 CN 114528588 A 2得知识节点； 在所述预设知识图谱中， 以所述知识节点为中心， 根据预设裁剪距离进行分割， 得到密 态子图； 其中， 所述预设裁剪距离的长度单位为两个实体之间的边， 所述密态子图为以所述 知识节点为中心的预设裁 剪距离范围内的实体与边的集 合。 8.一种跨模态隐私语义表征装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取多模态数据； 文本描述模块， 用于根据所述多模态数据， 获得对应的文本数据； 关键词提取模块， 用于对所述文本数据进行关键词提取和 加密， 得到密态关键词； 图谱分割模块， 用于根据 所述密态关键词， 对所述预设知识图谱进行分割， 得到密态子 图； 图嵌入模块， 用于对所述密态子 图进行图嵌入， 得到与所述密态关键词对应的密态表 征向量， 以得到所述多模态数据的语义表征 结果。 9.一种跨模态隐私语义表征设备， 其特征在于， 所述跨模态隐私语义表征设备包括存 储器和处理器， 所述存储器上存储有跨模态隐私语义表征程序， 该跨模态隐私语义表征程 序被所述处 理器执行时， 实现如权利要求1至7中任一项所述的跨模态隐私语义表征 方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 可被一个或多个处理器执行， 以实现如权利要求 1至7中任一项 所述的跨模态隐私 语义表征 方法。权　利　要　求　书 2/2 页 3 CN 114528588 A 3