(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210947007.9 (22)申请日 2022.08.09 (65)同一申请的已公布的文献号 申请公布号 CN 115017917 A (43)申请公布日 2022.09.06 (73)专利权人 北京肇祺信息科技有限公司 地址 100020 北京市朝阳区东 三环中路1号 环球金融 中心西塔802 (72)发明人 彭勃　 (74)专利代理 机构 北京高文律师事务所 1 1359 专利代理师 徐江华　李宝玉 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/284(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113553856 A,2021.10.26 CN 113345574 A,2021.09.0 3 CN 113312916 A,2021.08.27 WO 20181 13498 A1,2018.0 6.28 吕学强等.融合BERT 与标签 语义注意力的 文本多标签分类方法. 《计算机 应用》 .2021, 孙弋等.基 于BERT 和多头注意力的中文 命 名实体识别方法. 《重庆邮电大 学学报》 .2021, 审查员 刘杉 (54)发明名称 基于多头注意力机制的裁判文书争议焦点 识别方法 (57)摘要 本发明提供一种基于多头注意力机制的裁 判文书争议焦点识别方法， 包括以下步骤： S1： 获 取裁判文书数据集， 对裁判文书数据集进行预处 理； S2： 裁判文书诉辩称文段语义表示学习； S3： 争议焦点多标签语义表示学习； S4： 融合多头注 意力进行特征提取； S5： 解码器解码； S6： 争议焦 点标签预测。 本发明能够同步地对争议焦点多 标 签与裁判文书的关系， 以及争议焦点多标签之间 的关系进行建模， 利用两者交互信息的同时避免 误差累计。 本发 明使用共享语义参数的编码器提 取争议焦点多标签和裁判文档的语义表示， 以便 减少其在建模语义相关性阶段的偏差问题。 权利要求书2页 说明书9页 附图2页 CN 115017917 B 2022.10.28 CN 115017917 B 1.一种基于多头注意力机制的裁判文 书争议焦点识别方法， 包括以下步骤： S1： 获取裁判文 书数据集， 对裁判文 书数据集进行 预处理； S2： 裁判文书诉辩称文段语义表示学习， 使用共享参数的BERT提取裁判文档和争议焦 点多标签的语义表示， 对 诉辩段的文本进行向量 化操作； S3： 争议焦点多标签语义表示学习， 对争议焦点标签类型和诉辩称文段进行联合向量 化操作； 采用共享参数的BERT对标签和标签描述文本进行联合编码， 利用  BERT 中的 “[CLS]”符号为每个标签学习一个向量表示， 得到多标签 语义表示的运 算如下： Ck表示含有争议焦点的描述文本初始向量， Ak表示经过共享参数的B ERT处理后的向量， A表示每个标签的语义表示， 则  A 中的每一行为每 个标签的语义表示； S4： 融合多头注意力进行 特征提取， 对争议焦点标签和裁判文档进行相关性操作； S5： 解码器解码， 对经过特征提取后的多标签和文档进行输出层前的解码操作； 解码器 解码是对经过特征提取后的多标签特征进行输出层前 的解码操作， 由残差结构、 前馈神经 网络和层归一 化组成， 解码器解码运 算如下： 其中， C’表示对上文得到的多头注意力C进行层归一化操作， C ’ ’表示对C’进行基于前 馈网络的非线性操作， LN为层 归一化操作， FNN为前馈神经网络， 最 终得到的M为标签对应的 文档表示, 得到C’的公式为层归一化操作， 得到C ’ ’的公式为基于前馈网络的非线性操作， 得到M的公式为层归一 化操作； S6： 争议焦点标签预测。 2.根据权利要求1所述的基于多头注意力机制的裁判文书争议焦点识别方法， 其特征 在于： 步骤S1中， 裁判文书数据集D由N个裁判文档X和对应的争议焦点标签Y组成， L为标签 总数， i表示序号， 对应有： 。 3.根据权利要求1所述的基于多头注意力机制的裁判文书争议焦点识别方法， 其特征 在于： 步骤S1中， 预 处理阶段包含对原始裁判文书诉称和辩称文 段的抽取， 具体为诉称文段 取“原告诉称 ”至“被告辩称 ”之间的文段， 辩称文段 取“被告辩称 ”至“本院认为 ”之间文段。 4.根据权利要求1所述的基于多头注意力机制的裁判文书争议焦点识别方法， 其特征 在于： 步骤S2中， 裁判文书诉辩称文段语义表示学习， 是通过对文书的诉称和辩称文 段进行 抽取， 进而对此文段进行BERT向量化表示学习， 使用共享参数的BERT提取裁判文档和争议 焦点多标签的语义表示， 以使两者处于同一语义空间中， 对于第i篇裁判文档词元化后得到 j个词元， 将词元序列输入到  BERT 中进行编码， 得到每 个词元的语义H表示： 权　利　要　求　书 1/2 页 2 CN 115017917 B 2Wj表示每篇文档中每个词的初 始向量表示， BERT中隐藏层表示的维度为768， 则H的每一 行为每个词元的语义表示。 5.根据权利要求1所述的基于多头注意力机制的裁判文书争议焦点识别方法， 其特征 在于： 步骤S 3中， 为使模 型注意到标签中的层 级信息， 在上下级的争议焦点描述文本中间加 入词元‘/’。 6.根据权利要求1所述的基于多头注意力机制的裁判文书争议焦点识别方法， 其特征 在于： 步骤S4中， 使用标签表 示作为查询向量， 标签表 示和文档表 示拼接后作为键向量和值 向量， 故多头注意力进行 特征提取的运 算如下： 其中， W为可学习 矩阵， K表示键向量， V表示值向量， A表示上文中每个标签的语义表示， H表示每个词元的语义， Q表 示查询向量， h为注 意力头数， k表 示第k个注意力头， 最 终得到多 头注意力C 。 7.根据权利要求1所述的基于多头注意力机制的裁判文书争议焦点识别方法， 其特征 在于： 步骤S6中， 模型采取sigmo id函数进行 预测， 模型 预测运算如下： 其中， yc表示第 c个类别的概率， Mc表示上文提到的标签对应的文档表示， Wc表示标签 对应的可学习权重参数， y表示预测标签， 表示第c个类别的权重参数， bc表示可学习的 偏置参数。 8.根据权利要求1所述的基于多头注意力机制的裁判文书争议焦点识别方法， 其特征 在于： 步骤S1中， 所述裁判文书争议焦点分为两大类别： 费用项争议焦点和非费用项争议焦 点。权　利　要　求　书 2/2 页 3 CN 115017917 B 3