(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211016790.3 (22)申请日 2022.08.24 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 巫英才　熊凯　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 曹兆霞 (51)Int.Cl. G06F 16/215(2019.01) G06F 40/30(2020.01) (54)发明名称 一种自动推断数据清洗脚本的语义的方法 (57)摘要 本发明公开了自动推断数据清洗脚本的语 义的方法， 包括将原始表格加载至数据清洗脚 本， 并得到输入表格和输出表格； 构建表格变化 空间， 基于输入输出表格与表格变化空间比对 得 到表格变化特性集合； 将均满足必然发生、 不可 能发生和可能发生的数据转换操作类型作为候 选数据转换操作类型； 将函数名， 函数参数和表 格变化特性对应的多个描述性文本进行转换和 拼接得到语义向量， 将语义向量输入至孪生卷积 神经网络模 型得到候选数据转换操作类型排序； 构建每种数据转换操作类型的参数槽， 利用对应 行的数据清洗代码、 表格内容和表格变化信息推 断候选数据转换操作类型的参数槽， 基于推断结 果得到数据转换操作的类型和参数。 该方法能够 简单方便的推断清洗代码中的数据转换操作的 类型和参数。 权利要求书2页 说明书6页 附图4页 CN 115357569 A 2022.11.18 CN 115357569 A 1.一种自动推断数据清洗脚本的语义的方法， 其特 征在于， 包括： (1)获得原始表格、 数据清洗脚本和多种数据转换操作， 将原始表格加载至数据清洗脚 本， 基于加载后数据 清洗脚本采用程序执行器保存每行数据 清洗代码对应的输入表格和输 出表格； (2)通过每种数据转换操作对应的表格对象在表格属性上的第一表格变化特性构建表 格变化空间， 将从输入表格到输出表格过程中的表格对象的变化与 表格变化空间进行比对 得到每行 数据清洗代码对应的第二表格 变化特性 集合； (3)将每种数据转换操作类型对应的第一表格变化特性按照必然发生、 不可能发生和 可能发生进 行划分以构建操作 ‑特性映射表， 将操作 ‑特性映射表与第二表格变化特性集合 进行比对， 将使得第二表格变化特性集合均满足必然发生、 不可能发生和可能发生的数据 转换操作类型作为 候选数据转换操作类型； 解析每行数据清洗代码的函数和函数参数， 将对应的第 二表格变化特性集合中的每个 表格变化特性转换为描述性文本， 将函数参数， 函数和对应的多个描述性文本， 通过 FastText嵌入模 型进行转换和拼接得到第一语义向量， 将第一语义向量输入至孪生卷积神 经网络模型， 通过与孪生卷积神经网络模型中的第二语义向量集进行比对实现对候选数据 转换操作类型的可能性 排序； (4)将能够实现每种数据转换操作类型的参数作为参数槽， 基于清洗代码按照可能性 的排序依次推断候选数据转换操作类型的参数槽， 将第一个推断成功的候选数据转换操作 的类型和参数作为该 行数据清洗代码对应的数据转换操作的类型和参数。 2.根据权利要求1所述的自动推断数据清洗脚本的语义的方法， 其特征在于， 基于加载 后数据清洗脚本采用程序执行器保存每行数据清洗代码对应的输入表格和输出表格， 包 括： 程序执行器包括程序加工器和程序解释器， 程序加工器用于标记加载后的数据清洗脚 本中的具有输入输出表格的表格信息数据， 程序解释器， 用于检测输入输出表格的表格信 息数据， 并以文件形式保存输入和输出表格。 3.根据权利要求1所述的自动推断数据清洗脚本的语义的方法， 其特征在于， 通过将每 种数据转换操作对应的表格对象在表格属性上的变化作为第一表格变化特性， 第一表格变 化特征集构建表格变化空间， 其中， 表格对象为表、 行、 列和单元格， 表格属性为数量、 顺序、 关系、 值和类型。 4.根据权利要求3所述的自动推断数据清洗脚本的语义的方法， 其特征在于， 第 一表格 变化特性 为表格对象在数量、 顺序、 关系或类型 上的变化。 5.根据权利要求1所述的自动推断数据清洗脚本的语义的方法， 其特征在于， 孪生卷积 神经网络模型的训练过程包括： 获得数据清洗脚本， 以及该数据清洗脚本中的每行数据清洗代码对应的第 二语义向量 和所属经 过标注的数据转换操作类型， 将第二语义向量 集作为训练样本集； 构建训练模型， 训练模型包括两个子网络， 每个子网络依次包括多个卷积层和Flatten 层； 基于训练样本集 通过对比损失函数训练训练模型 得到孪生卷积神经网络模型。 6.根据权利要求5所述的自动推断数据清洗脚本的语义的方法， 其特征在于， 孪生卷积权　利　要　求　书 1/2 页 2 CN 115357569 A 2神经网络模型包括第二语义向量集， 从模型中保存的第二语义向量集中选取一个第二语义 向量， 且每个第二语义向量与其数据转换操作类型相对应， 然后将第一语义向量与每个第 二语义向量作为孪生卷积神经网络模型 的输入， 分别得到第一特征向量和第二特征向量， 基于欧式距离计算第一特征向量和 第二特征向量的相似程度， 按照相似性程度得到每个候 选数据转换操作类型的可能性大小。 7.根据权利要求1所述的自动推断数据清洗脚本的语义的方法， 其特征在于， 将每种数 据转换操作类型对应的第一表格变化特性按照必 然发生、 不可能发生和可能发生划分得到 必然特性组、 可能特性组和不可能特性组， 以构建操作 ‑特性映射表， 其中， 必 然特性组为该 数据转换操作类型操作时输入输出表必定发生的表格变化特性， 可能特性组为该数据转换 操作类型操作时输入输出表可能发生的表格变化特性， 不可能特性组为该数据转换操作类 型操作时输入输出表不可能发生的表格 变化特性。 8.根据权利要求1所述的自动推断数据清洗脚本的语义的方法， 其特征在于， 基于清洗 代码按照可能性的排序依次推断候选数据转换操作类型的参数槽， 包括： 首先基于构建的每种数据转换操作类型的参数槽， 获得最大可能性的候选数据转换操 作类型参数槽， 利用对应行 的数据清洗代码、 表格内容和表格变化信息推 断候选数据转换 操作类型 的参数槽， 如果推 断成功， 则将最大可能性的候选数据转换操作类型和参数作为 该行数据 清洗代码对应的数据转换操作的类型和参数， 如果至少一个参数槽推断不成功则 按照推断候选数据转换操作类型 的可能性由大到下 的顺序依 次进行推 断， 直至推 断成功， 结束推断。权　利　要　求　书 2/2 页 3 CN 115357569 A 3