(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210538454.9 (22)申请日 2022.05.17 (71)申请人 深圳集智数字科技有限公司 地址 518000 广东省深圳市南 山区南山街 道南山社区南 新路1003号103 (72)发明人 伍国锋　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 张艳 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01) (54)发明名称 异构数据在线迁移方法、 系统及存 储介质 (57)摘要 本公开涉及数据库系统应用技术领域， 提供 了一种异构数据在线迁移方法方法、 系统及存储 介质。 该方法包括： 对读取的动态Table表， 进行 主表与全部子表的关联计算， 全部主表和子表根 据主表的键实现分组聚合； 判断各Table表是否 为主表， 如果是， 选择主表的字段输出到NoSQL (非关系型数据库)， 如果不是， 将子表处理成嵌 套对象数组输出到NoSQL(非关系型数据库)。 本 公开实现大量异构数据的实时在线迁移， 快速、 简约且有效处理了依赖数据之间的更新操作， 降 低了数据变更事件之间的依赖和到达顺序带来 的复杂性， 实现异构数据到NOSQL(非关系型数据 库)的有效输出。 权利要求书2页 说明书10页 附图6页 CN 114860691 A 2022.08.05 CN 114860691 A 1.一种异构数据在线迁移方法， 其特 征在于， 包括： 提交任务， 请求将异构数据在线迁移到非关系型 数据库； 解析异构数据， 并且读取异构数据中的动态 表； 对读取的动态表， 按照预设的执行顺序， 分别进行主表与全部子表的关联计算， 以及各 主表和子表根据主表的一个或者多个键实现分组聚合； 按照预设的执行方式， 将进行关联计算与分组聚合后的主表以及子表分别处理成一个 嵌套对象数组分别输出到非关系型数据库， 其中所述嵌套的次数为0次、 1次、 或者多次； 或 者判断各表是否为主表， 如果是， 选择主表的字段输出到非关系型数据库， 如果不是， 将子 表处理成一个嵌套对象数组输出到非关系型 数据库； 请求数据在线迁移任务完成。 2.根据权利要求1所述的异构数据在线迁移方法， 其特征在于， 按照预定的执行顺序， 在读取动态表过程中， 或者在读取动态表之后、 并且关联计算之前， 或者在读取动态表之 后、 并且关联计算之后， 或者在读取动态表之后、 并且分组聚合之前， 或者在读取动态表之 后、 并且分组聚合之后， 或者在读取动态表之后， 并且输出到非关系型数据库之前， 通过自 定义函数对变更事件进行 处理， 把读取的数据或者计算的结果进一步转换成变更事件的处 理结果， 函数返回结果 为一个或者多个对象数组。 3.根据权利要求2所述的异构数据在线迁移方法， 其特征在于， 每次接收一行数据或者 接收全部数据之后， 添加到结果数组中， 并根据一个或者多个键去重； 数据变更事件类型为 更新时， 根据一个或者多个键从结果数组中删除， 重新执行新增操作， 或者在执行新增操作 以后， 根据一个或者多个键从结果数 组中删除； 数据变更事件类型为删除时， 需要根据一个 或者多个键从结果数组中删除。 4.根据权利要求1 ‑3中任一所述的异构数据在线迁移方法， 其特征在于， 所述的进行主 表与全部子表的关联计算， 采用的是主表与全部子表的左外连接 关联计算： 以主表为基准， 将全部子表的数据分别与主表进行匹配连接 。 5.根据权利要求4中任一所述的异构数据在线迁移方法， 其特征在于， 计算主表与全部 子表的哈希值， 依 次根据所述的全部哈希值， 将关联计算的任务负载均衡到相 应的关联计 算单元， 将分组聚合的任务负载均衡到相 应的分组聚合单元， 将嵌套对 象数组处理的计算 的任务负载均衡到不同的嵌套对象数组 处理单元。 6.根据权利要求5所述的异构数据在线迁移方法， 其特征在于， 执行输出到非关系型数 据库的过程中， 同步发送对应的消息到消息队列， 由迁移程序订阅通信通道信息来自行处 理同步逻辑。 7.根据权利要求6所述的异构数据在线迁移方法， 其特征在于， 采用流式计算引擎解析 异构数据， 在 采集与分析异构数据的过程中， 流式地从数据缓冲区获取数据， 快速转换成对 应的计算任务。 8.根据权利要求7所述的异构数据在线迁移方法， 其特征在于， 读取动态表的过程中， 基于数据库的变化数据捕获机制， 对异构数据的变化数据进行捕捉， 根据对变化数据的捕 捉结果生成数据变更事 件， 实时采集数据变更事 件。 9.一种异构数据在线迁移系统， 包括存储器、 处理器以及存储在所述存储器中并且可 在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权　利　要　求　书 1/2 页 2 CN 114860691 A 2如权利要求1至8中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至8中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114860691 A 3