(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210966935.X (22)申请日 2022.08.17 (71)申请人 北京中科深智科技有限公司 地址 100000 北京市大兴区北京经济技 术 开发区永昌中路4号院4号楼3层311A 室 (72)发明人 宫明　 (51)Int.Cl. G06F 16/332(2019.01) G06K 9/62(2022.01) G06F 40/30(2020.01) G06F 40/284(2020.01) G06Q 30/06(2012.01) (54)发明名称 一种基于问题类型识别的问答对联合生成 模型 (57)摘要 本发明公开了一种基于问题类型识别的问 答对联合生成模 型， 包括使用关键词抽取技术从 文本中抽取关键词并将其转化为对应的商品属 性类型， 来辅助模型获取更多的知识生成问题和 答案； 将原始的流水线模型改进成将问题生成模 块和答案抽取模块联合训练的模 型； 在答案抽取 模块采用联合式抽取， 将答案的起始位置和结束 位置联系起来， 更准确地定位起始位置。 本发明 采用了联合的方式， 将问题生 成和答案抽取联合 训练， 并且在数据预处理时， 通过已有的训练好 的序列标注模 型获取输入文本的关键词信息， 并 将其转化为对应的商品属性类别， 来辅助模型获 取更多的知识生成问题和抽取答案 。 权利要求书1页 说明书6页 附图3页 CN 115269807 A 2022.11.01 CN 115269807 A 1.一种基于问题类型识别的问答对联合生成模型， 其特征在于， 包括： 使用关键词抽取 技术从文本中抽取关键词并将其转化为对应的商品属性类型， 来辅助模型获取更多的知识 生成问题和答案； 将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的 模型； 在答案抽取模块采用联合式抽取， 将答案的起始位置和结束位置联系起来， 准确地定 位起始位置 。 2.根据权利要求1所述的一种基于问题类型识别的问答对联合生成模型， 其特征在于， 在答案抽取模块采用联合式抽取， 生成问题的同时将答案抽取 出来。 3.根据权利要求2所述的一种基于问题类型识别的问答对联合生成模型， 其特征在于， 采用编码器 ‑解码器结构来生成问题， 解码 器生成答案的同时， 将编 码器的输出和解码 器的 输出共同输入到注意力层后， 通过 联合目标函数的方式， 来 生成问题和抽取答案 。 4.根据权利要求3所述的一种基于问题类型识别的问答对联合生成模型， 其特征在于， 在编码器输入端， 融合了通过提取输入文本的关键词判别文本中的商品属 性， 确定问题的 提问点， 锁定文本生成问题的范围。 5.根据权利要求3所述的一种基于问题类型识别的问答对联合生成模型， 其特征在于， 编码器‑解码器的初始 化参数加载的是基于电商 各领域的商品说明书的文本训练的BART 预 训练模型的参数。 6.根据权利要求5所述的一种基于问题类型识别的问答对联合生成模型， 其特征在于， 编码器和解码 器都为6层， 向量的维度为768； 编码 器部分具有双向表征的能力， 用于抽取输 入文本t的语义信息； 解码器是一个从左到右的自回归语言模型， 用于生成对应的问题； 编 码器的最后一层的输出要和解码器的每一层的输出计算cross ‑attention； 通过注意力机 制， 获取输入文本中应该重点被关注的信息， 用解码器生成问题； 编码器最后一层的输出， 经过线性变换， 得到能够表征输入信息的query和key矩阵， 解 码器最终在<EOS>处的输出， 经过线性变化后， 产生value矩阵； 将query， key， value这三个 矩阵输入到tr ansformer的自注意力 单元， 将注意力单元的输出的结果输入到答案抽取模 块， 获取一对数值， 表示 答案在输入文本的开始和结束位置， 该文本片段为 最终的答案 。 7.根据权利要求1所述的一种基于问题类型识别的问答对联合生成模型， 其特征在于， 模型训练过程的输入 包含： 输入文本t,与答案相关的问题q,从输入文本中抽取的答案a。权　利　要　求　书 1/1 页 2 CN 115269807 A 2一种基于问题类型识别的问答对联合生成模型 技术领域 [0001]本发明属于问题类型识别技术领域， 更具体的说是涉及 一种基于问题类型识别的 问答对联合 生成模型。 背景技术 [0002]基于阅读理解模式的问答严重依赖人力去标注问答对， 这样 大大的加大了时间和 人力成本。 给定一段文本， 自动生成问答对可以大大减少在人力和时间上的消耗。 目前在电 商领域， 每天都有成百上千的新商品出现， 很容易获取到每件商品的解说词， 即一段描述商 品信息的文本， 根据这段文本自动生成对应的问答对是急需要解决的问题。 [0003]传统方法中， 通过文本生成问题， 会出现生成的问题涉及文本 的内容但是和实际 关注的问题不一致的情况。 如图1中， 原文1中， 生成问题和实际关注问题是一致的。 但原文 2,3中， 生成的问题和实际关注的问题严重不一致。 在对商品解说词进行问题生成时， 我们 只想生成和商品属性相关的问题， 屏蔽掉与属性无关的问题。 [0004]根据输入文本生成与 文本相关的问答对， 目前采用的是流水线模型的方式， 如图2 中的(a)和(b)。 第一种方案为从文档中抽取候选答案， 选出最有可能的一个句子片段作为 答案， 根据答案来生成问题。 第二种 方案是根据文档生成问题， 再进行答案的抽取。 这样分 步的流水线模型有如下弊端： (1)抽取的答案和生 成的问题不兼容， 因为抽取到的答案忽视 了问题和答案之间的内在关联。 (2)生成的问题会涉及文本内容但和实际关注的问题不一 致的情况。 如图1中， 原文1中， 生成问题和实际关注问题是一致的。 但原文2,3中， 生成的问 题和实际关注的问题严重不一致。 (3)将问题分步处理还会导致损失的累积， 影响效果。 增 加训练和部署的复杂度。 [0005]因此， 如何提供一种基于问题类型识别的问答对联合生成模型成为了本领域技术 人员亟需解决的问题。 发明内容 [0006]有鉴于此， 本发明提供了一种基于问题类型识别的问答对联合生成模型， 采用了 联合的方式， 将问题生成和答案抽取联合训练， 并且在数据预 处理时， 通过已有的训练好的 序列标注模型获取输入文本的关键词信息， 并将其转化为对应的商品属 性类别， 来辅助模 型获取更多的知识生成问题和答案 。 [0007]为了实现上述目的， 本发明采用如下技 术方案： [0008]一种基于问题类型识别的问答对联合生成模型， 包括： 使用关键词抽 取技术从文 本中抽取关键词并将其转化为对应的商品属性类型， 来辅助模型获取更多的知识生成问题 和答案； 将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型； 在 答案抽取模块采用联合式抽取， 将答案的起始位置和结束位置联系起来， 更准确 地定位起 始位置。 [0009]进一步的， 问题生成模块和答案抽 取模块采用联合式抽 取， 生成问题的同时将答说　明　书 1/6 页 3 CN 115269807 A 3