公共安全标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211060955.7 (22)申请日 2022.08.31 (71)申请人 中国电子系统技 术有限公司 地址 100036 北京市海淀区复兴 路四十九 号 (72)发明人 彭壮 戴博文 韩蠡  (74)专利代理 机构 工业和信息化部电子专利中 心 11010 专利代理师 华枫 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/28(2019.01) G06K 9/62(2022.01) (54)发明名称 一种数据 同步字段映射结果准确性检验方 法及装置 (57)摘要 本发明提出了一种数据 同步字段映射结果 准确性检验方法, 包括: 采集数据同步流程中的 源端数据, 将 源端数据作为预期值存储在存储模 块中; 采集数据同步流程中的目标端数据, 将目 标端数据作为实际值存储在存储模块中, 其中, 目标端数据是源端数据经由同步处理后得到的; 将对应的预期值与实际值进行比对, 当预期值不 等于实际值时, 则作为异常结果上报。 本发明实 施例提供的方法, 能够更加便捷, 高效, 快速的实 现数据同步过程中不同数据源之间不同字段映 射后的数据结果 准确性检验。 权利要求书2页 说明书6页 附图2页 CN 115391461 A 2022.11.25 CN 115391461 A 1.一种数据同步字段映射结果 准确性检验方法, 其特 征在于, 包括: 采集数据同步 流程中的源端数据, 将所述源端数据作为预期值存 储在存储模块中; 采集数据同步流程中的目标端数据, 将所述目标端数据作为实际值存储在存储模块 中, 其中, 所述目标端数据是 所述源端数据经由同步处 理后得到的; 将对应的所述预期值与所述实 际值进行比对, 当所述预期值不等于所述实 际值时, 则 作为异常结果上报。 2.根据权利要求1所述的数据同步字段映射结果准确性检验方法, 其特征在于, 所述数 据同步流程中, 所述源端与所述目标端的映射关系被保存为第一key ‑value形式, 所述第一 key‑value形式包括: Key:任务id_源端库id_源端表名_源端字段序列; Value: 任务 id_目标端库id_目标端表名_目标端字段序列。 3.根据权利要求2所述的数据同步字段映射结果准确性检验方法, 其特征在于, 所述采 集数据同步 流程中的源端数据, 将所述源端数据作为预期值存 储在存储模块中, 包括: 将所述预期值以第二key ‑value形式存储在所述存储模块中, 其中, 所述第二key ‑ value形式包括: Key:任务id_源端库id_源端表名_源端字段序列; Value: 所述预期值。 4.根据权利要求2所述的数据同步字段映射结果准确性检验方法, 其特征在于, 所述采 集数据同步 流程中的目标端数据, 将所述目标端数据作为实际值存 储在存储模块中, 包括: 将所述实际值以第三key ‑value形式存储在所述存储模块中, 其中, 所述第三key ‑ value形式包括: Key:任务id_目标端库id_目标端表名_目标端字段序列; Value: 所述实际值。 5.根据权利要求1所述的数据同步字段映射结果准确性检验方法, 其特征在于, 所述源 端数据是通过JDBC或者文件方式采集到的。 6.根据权利要求1所述的数据同步字段映射结果准确性检验方法, 其特征在于, 所述同 步模块包括datax 模块。 7.根据权利要求1所述的数据同步字段映射结果准确性检验方法, 其特征在于, 所述存 储模块包括Elasticsearc h分布式存 储模块。 8.根据权利要求1所述的数据同步字段映射结果准确性检验方法, 其特征在于, 所述将 对应的所述预期值与所述实际值进行比对, 包括: 采用异步比对的方式, 将对应的所述预期值与所述实际值进行比对。 9.一种数据同步字段映射结果 准确性检验 装置, 其特 征在于, 包括: 第一采集模块, 被配置为采集数据同步流程中的源端数据, 将所述源端数据作为预期 值存储在存储模块中; 第二采集模块, 被配置为采集数据同步流程中的目标端数据, 将所述目标端数据作为 实际值存 储在存储模块中, 其中, 所述目标端数据是 所述源端数据经由同步处 理后得到的; 比对模块, 被配置为将对应的所述预期值与所述实 际值进行比对, 当所述预期值不等 于所述实际值时, 则作为异常结果上报。权 利 要 求 书 1/2 页 2 CN 115391461 A 210.一种电子设备, 其特征在于, 包括: 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序, 所述计算机程序被所述处理器执行时实现如权利要求 1至8 中任一项所述的方法的步骤。权 利 要 求 书 2/2 页 3 CN 115391461 A 3

.PDF文档 专利 一种数据同步字段映射结果准确性检验方法及装置

文档预览
中文文档 11 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据同步字段映射结果准确性检验方法及装置 第 1 页 专利 一种数据同步字段映射结果准确性检验方法及装置 第 2 页 专利 一种数据同步字段映射结果准确性检验方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:49:10上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。