(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210932880.0 (22)申请日 2022.08.04 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 刘嵩　巩京昊　来庆涵　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 王雪 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 40/211(2020.01) G06F 40/253(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于超图神经网络的文档级事件抽取方法 及系统 (57)摘要 本发明属于文档级事件抽取领域， 提供了一 种基于超图神经网络的文档级事件抽取方法及 系统， 包括获取文档的文本数据； 基于文档的文 本数据， 利用训练好的文档级联合抽取模型进行 文档级事件抽取； 模型通过设计一种改进的仿射 图解析器可以更丰富的获取语法依赖信息以及 更长距离的依赖语 法信息在局部特征抽取中。 另 外， 还引入了超图卷积网络并用于全局特征抽 取， 同时构造了句子和单词的关联矩阵并且设计 了一种有效的局部特征和关联矩 阵的融合机制 来增强超图卷积网络的特 征抽取能力。 权利要求书2页 说明书11页 附图2页 CN 115204171 A 2022.10.18 CN 115204171 A 1.基于超图神经网络的文档级事 件抽取方法， 其特 征在于， 包括： 获取文档的文本数据； 基于文档的文本数据， 利用训练好的文档级联合抽取模型进行文档级事 件抽取； 其中， 所述利用训练好的文档级联合抽取模型进行文档级事 件抽取， 包括： 通过词向量嵌入获取文本数据的单词向量表示， 并利用BiLSTM网络识别单词向量表示 的单词序列特 征； 对文本数据中每 个句子的依赖语法信息进行解析 得到软邻接矩阵； 基于利用图卷积网络学习单词序列特 征和软邻接矩阵生成局部特 征信息； 基于局部特征信 息， 得到句子向量表示， 基于单词向量表示和句子向量表示， 构建关联 矩阵； 利用超图卷积网路将关联矩阵和局部特征矩阵进行融合， 得到融合特征矩阵， 并基于 融合特征矩阵进行顶点卷积和超边卷积， 得到单词在句 子中的概念表示， 实现文档级事件 抽取。 2.如权利要求1所述的基于超图神经网络的文档级事件抽取方法， 其特征在于， 所述通 过词向量嵌入获取文本数据的单词向量表示， 包括： 通过嵌入以下向量表示， 将每个单词转换为一个包括词嵌入、 位置嵌入和实体类型嵌 入的实值向量xki， 所述实值向量xki的表示如下： 其中， xw,xp和xt分别表示词嵌入、 位置嵌入和实体 类型嵌入。 3.如权利要求1所述的基于超图神经网络的文档级事件抽取方法， 其特征在于， 所述利 用BiLSTM网络识别单词向量表示的单词序列特 征， 包括： 所述BiLSTM网络通过模拟记忆单元和遗忘单元之间的长期依赖关系来学习单词序列 信息， 得到单词的编码序列表示， 即单词序列特 征。 4.如权利要求1所述的基于超图神经网络的文档级事件抽取方法， 其特征在于， 所述对 文本数据中每个句子的依赖语法信息进行解析得到软邻接矩阵是利用改进的双仿射图解 析器得到的， 具体包括： 将每个句子 中的单词嵌入到向量表示中， 得到包括单词嵌入和 依赖嵌入的单词嵌入向 量表示； 基于单词嵌入向量表示， 进行语法解析， 得到强依赖和弱依赖语法信息存储在软邻接 矩阵中； 通过自循环运算操作获取句子 中单词本身的语法信 息， 以填充软邻 接矩阵的对角线元 素， 得到最终的软邻接矩阵。 5.如权利要求1所述的基于超图神经网络的文档级事件抽取方法， 其特征在于， 基于局 部特征信息， 得到句子向量表示， 基于单词向量表示和句子向量表示， 构建 关联矩阵， 包括： 基于局部特征矩阵， 利用图卷积网络的最大池化层将局部特征表示映射到句子向量 中； 将单词向量表示和句子向量表示为超图的顶点和超边， 根据同一单词在不同句子 中的 特征表示的关系， 构建 关联矩阵。权　利　要　求　书 1/2 页 2 CN 115204171 A 26.如权利要求1所述的基于超图神经网络的文档级事件抽取方法， 其特征在于， 所述利 用超图卷积网路将关联矩阵和 局部特征矩阵进行融合， 得到融合特 征矩阵， 包括： 根据节点 一致的原则， 将关联矩阵与局部特 征矩阵融合， 构造融合特 征矩阵； 融合矩阵的输出Ih如下： Ih＝join(H,IT) 其中， H表示图卷积网络的局部特 征， IT表示关联矩阵的转置， jo in()是一个融合 函数。 7.如权利要求1所述的基于超图神经网络的文档级事件抽取方法， 其特征在于， 所述基 于融合特征矩阵进行顶点卷积和超边卷积， 得到单词在句 子中的概念表示， 实现文档级事 件抽取， 包括： 基于融合特 征矩阵， 通过顶点卷积， 将融合特 征信息聚合成超边 缘特征； 超边卷积采用注意机制将超边缘特征信息聚合到相应的顶点中， 得到顶点特征的表 示； 将每个顶点特 征的表示连接 到相应的句子中， 得到单词在句子中的概念表示； 基于单词在句子 中的概念表示， 通过相应的得分， 来选取最大的分数， 从而抽取得到事 件类型和参数， 实现文档级事 件抽取。 8.基于超图神经网络的文档级事 件抽取系统， 其特 征在于， 包括： 数据获取模块， 被 配置为获取文档的文本数据； 文档级事件抽取模块， 被配置为基于文档的文本数据， 利用训练好的文档级联合抽取 模型进行文档级事 件抽取； 其中， 所述利用训练好的文档级联合抽取模型进行文档级事 件抽取， 包括： 通过词向量嵌入获取文本数据的单词向量表示， 并利用BiLSTM网络识别单词向量表示 的单词序列特 征； 对文本数据中每 个句子的依赖语法信息进行解析 得到软邻接矩阵； 基于利用图卷积网络学习单词序列特 征和软邻接矩阵生成局部特 征信息； 基于局部特征信 息， 得到句子向量表示， 基于单词向量表示和句子向量表示， 构建关联 矩阵； 利用超图卷积网路将关联矩阵和局部特征矩阵进行融合， 得到融合特征矩阵， 并基于 融合特征矩阵进行顶点卷积和超边卷积， 得到单词在句 子中的概念表示， 实现文档级事件 抽取。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于超图神经网络的文档级事件抽取方法中的步 骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于超图神经网络的文档级事 件抽取方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115204171 A 3