(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211032476.4 (22)申请日 2022.08.26 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 刘峤　骆妲　徐远扬　赵海睿　 甘洋镭　侯睿　代婷婷　佟飘　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 专利代理师 何健雄 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/31(2019.01) G06F 16/35(2019.01)G06F 40/30(2020.01) G06F 40/284(2020.01) G06N 3/04(2006.01) (54)发明名称 基于跨粒度交叉注意力融合的实体关系抽 取方法、 系统 (57)摘要 本发明属于关系抽取技术领域， 具体公开了 一种基于跨粒度交叉注意力融合的实体关系抽 取方法、 系统， 本发明所述方法将句子分别表示 为span粒度和token粒度的词向量； 通过交叉注 意力深度融合span和token两个粒度信息， 增强 实体与关系的跨粒度全局信息表示； 此外， 在联 合抽取任务中， 基于不同映射关系分别定义针对 实体检测和关系抽取子任务的特征表 示， 能够捕 获特定于任务的上下文语义信息， 可有效建模实 体关系三元组。 权利要求书3页 说明书7页 附图1页 CN 115391556 A 2022.11.25 CN 115391556 A 1.一种基于跨粒度交叉注意力融合的实体关系抽取 方法， 其特 征在于， 包括如下步骤： 步骤S10： 构造基于Bert的句子语义信息表示模型， 针对文本中的每个句子， 建立基于 span的语义信息表示和基于to ken的语义信息表示； 步骤S20： 建立线性映射层， 将span和token语义表示分别映射为粗粒度的实体span语 义表示以及 细粒度的to ken语义表示； 步骤S30： 构造融合实体span和token语义的交叉注意力机制表示模型， 生成跨粒度的 全局信息表示， 并结合实体span表示， 辅助实体及类型检测， 输出每 个实体span的类型； 步骤S40： 过滤none类型的实体span， 对剩余实体span进行线性映射， 生成面向关系预 测的span表示； 步骤S50:利用交叉注意力机制融合关系span和token语义表示， 作为关系抽 取的全局 信息表示， 结合面向关系预测的span对表示， 预测关系类型， 输出文本中的实体关系三元 组， 实现关系抽取。 2.根据权利要求1所述的基于跨粒度交叉注意力融合的实体关系抽取方法， 其特征在 于： 步骤S10的具体步骤如下： 步骤S101， 将需要进行关系抽取的文本分解成多个句子， 每个句子的原始表示为SI＝ [t1， t2， t3， ...， tl]， l为句子中单词的数量， 原始句子经过预训练的Bert生成句子token表 示 和句子span表示 其中n为句子经过分词后的token的数量， m为句子中span的数量， hcls和ecls分别为token粒 度和span粒度的全局表示， 每 个实体span表示 为token的最大池化 d为Bert词向量维度。 3.根据权利要求1所述的基于跨粒度交叉注意力融合的实体关系抽取方法， 其特征在 于： 所述步骤S20的具体步骤如下： 步骤S201， 通过实体span映射函数将实体span表示为 通过token映射函数将token表示为 映射函数如下 式： 其中， bs， bt均为可学习参数， 4.根据权利要求1所述的基于跨粒度交叉注意力融合的实体关系抽取方法， 其特征在 于： 所述步骤S30的具体步骤如下： 步骤S301， 给定每 个span的宽度k， 生成宽度k的表示 步骤S302， 分别利用实体span粒度和token粒度的全局表示 在token粒度的句 子表示和实体span粒度的句子表示之间交换信息， 然后与实体span粒度的原始全局和 token粒度的原 始全局表示交融， 计算公式如下： 权　利　要　求　书 1/3 页 2 CN 115391556 A 2k1＝Wk1hcross， v1＝Wv1hcross k2＝Wk2secross， v2＝Wv2secross 其中， 是可学习的参 数； 步骤S303， 将实体span表示和span宽度表示以及实体全局表示连接起来进行分类， 计 算公式如下： 其中， 表示concat连接， Ws， bs是可学习的参数， 在原有实体类型的基础上添加none类 型， 并且选取使得 最大的实体 类型作为当前实体的预测类型。 5.根据权利要求1所述的基于跨粒度交叉注意力融合的实体关系抽取方法， 其特征在 于： 所述步骤S40的具体步骤如下： 步骤S401， 过 滤掉所有n one类型的实体， 剩下m ′个实体； 步骤S402， 将剩下的实体进行线性映射， 生成关系span表示 其中， br为可学习参数， 6.根据权利要求1所述的基于跨粒度交叉注意力融合的实体关系抽取方法， 其特征在 于： 所述步骤S50的具体步骤如下： 步骤S501， 分别利用关系span粒度和t oken粒度的全局表示 在token粒度的句 子表示和关系span粒度的句子表示之间交换信息， 然后投影回自己的粒度与自己的全局表 示交融， 计算公式如下： k3＝hcross， v3＝Wv3hcross k4＝Wk4srcross， v4＝Wv4srcross 权　利　要　求　书 2/3 页 3 CN 115391556 A 3