(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211115227.1 (22)申请日 2022.09.14 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 (72)发明人 袁锐　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 赵春华 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/215(2019.01) G06F 16/25(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种数据集成方法、 装置、 电子设备及计算 机存储介质 (57)摘要 本发明提供一种数据集成方法、 装置、 电子 设备及计算机存储介质， 该方法包括针对每一地 域中心， 获取地域中心的数据源中的流式数据； 对流式数据进行粗加工过滤， 得到目标数据， 并 将目标数据写入地域中心 的目标端Kafka； 对目 标数据进行整合， 得到整合数据， 并存储至地域 中心的目标端Hive； 将每一地域中心的目标端 Hive中的整合数据同步至主数据仓库。 在本发明 实施例中， 对不同地域中心的流式数据进行粗加 工过滤和整合， 得到整合数据， 以通过数据加工 缩减数据量。 接着每一地域中心的目标端Hive中 的所述整合数据同步至主数据仓库， 即快速将数 据整合到同一个地域中心的数据仓库。 通过上述 方式能够解决数据的存 储量过大的问题。 权利要求书2页 说明书8页 附图3页 CN 115422295 A 2022.12.02 CN 115422295 A 1.一种数据集成方法， 其特 征在于， 所述方法包括： 针对每一 地域中心， 获取 所述地域中心的数据源中的流式数据； 对所述流式数据进行粗加工过滤， 得到目标数据， 并将所述目标数据写入所述地域中 心的目标端Kafka； 对所述目标 数据进行整合， 得到整合数据， 并存 储至所述 地域中心的目标端Hive； 将每一地域中心的目标端Hive中的所述整合数据同步至主数据仓库， 所述数据仓库为 某一地域中心的目标端Hive。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述流式数据进行粗加工过滤， 得 到目标数据， 包括： 对所述流式数据进行序列化处 理， 得到预设格式数据， 所述预设格式是 预先设置的； 对所述预设格式数据进行 过滤， 得到第一数据； 对所述第一数据进行反序列化处 理， 得到目标 数据。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述目标数据进行整合， 得到整合 数据， 并存 储至所述 地域中心的目标端Hive， 包括： 按照预设业务需求将所述目标数据中相同的数据进行整合， 得到整合数据， 并存储至 所述地域中心的目标端HDFS； 按照预设时间将所述地域中心的目标端HDFS中的所述整合数据定时加载至所述地域 中心的目标端Hive。 4.根据权利要求1所述的方法， 其特征在于， 所述将每一地域中心的目标端Hive中的所 述整合后的数据同步至主数据仓库， 包括： 根据预设规则确定某一 地域中心的目标端Hive为主数据仓库； 将除所述主数据仓库外其他地域中心的目标端Hive中的所述整合数据同步至所述主 数据仓库。 5.一种数据集成装置， 其特 征在于， 所述方法包括： 获取单元， 用于针对每一 地域中心， 获取 所述地域中心的数据源中的流式数据； 过滤单元， 用于对所述流式数据进行粗加工过滤， 得到目标数据， 并将所述目标数据写 入所述地域中心的目标端Kafka； 整合单元， 用于对所述目标数据进行整合， 得到整合数据， 并存储至所述地域中心的目 标端Hive； 同步单元， 用于将每一地域中心的目标端Hive中的所述整合数据同步至主数据仓库， 所述数据仓库为某一 地域中心的目标端Hive。 6.根据权利要求5所述的装置， 其特 征在于， 所述过 滤单元， 具体用于： 对所述流式数据进行序列化处 理， 得到预设格式数据， 所述预设格式是 预先设置的； 对所述预设格式数据进行 过滤， 得到第一数据； 对所述第一数据进行反序列化处 理， 得到目标 数据。 7.根据权利要求5所述的装置， 其特 征在于， 所述整合单 元， 具体用于： 按照预设业务需求将所述目标数据中相同的数据进行整合， 得到整合数据， 并存储至 所述地域中心的目标端HDFS； 按照预设时间将所述地域中心的目标端HDFS中的所述整合数据定时加载至所述地域权　利　要　求　书 1/2 页 2 CN 115422295 A 2中心的目标端Hive。 8.根据权利要求5所述的装置， 其特 征在于， 所述同步单 元， 具体用于： 根据预设规则确定某一 地域中心的目标端Hive为主数据仓库； 将除所述主数据仓库外其他地域中心的目标端Hive中的所述整合数据同步至所述主 数据仓库。 9.一种电子设备， 其特征在于， 所述电子设备用于运行程序， 其中， 所述程序运行时执 行如权利要求1 ‑4中任一所述的数据集成方法。 10.一种计算机存储介质， 其特征在于， 所述存储介质包括存储程序， 其中， 在所述程序 运行时控制所述存 储介质所在设备 执行如权利要求1 ‑4中任一所述的数据集成方法。权　利　要　求　书 2/2 页 3 CN 115422295 A 3