公共安全标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210489575.9 (22)申请日 2022.05.06 (71)申请人 北京偶数 科技有限公司 地址 100080 北京市海淀区知春路27号14 层1602-1605 (72)发明人 汪思学 李烁麟 陶征霖  (74)专利代理 机构 北京万思博知识产权代理有 限公司 1 1694 专利代理师 刘冀 王惠 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/2455(2019.01) G06F 16/27(2019.01) G06F 9/50(2006.01) G06F 9/455(2006.01) (54)发明名称 数据资源的处 理方法、 装置以及存 储介质 (57)摘要 本申请公开了一种数据资源的处理方法、 装 置以及存储介质。 其中, 一种数据资源的处理方 法, 包括: 通过主节点接收用户的终端设备发送 的用于执行查询任务的任务执行请求; 通过主节 点根据预先指定的虚拟集群, 向与虚拟集群对应 的资源管 理节点发送任务执行请求, 其中资源管 理节点用于管理虚拟集群中数据资源; 通过资源 管理节点根据主节点制定的执行计划, 向虚拟集 群发送任务执行请求, 其中执行计划用于指示执 行查询任务的数据节点; 以及通过虚拟集群中的 数据节点 根据任务执 行请求, 执 行查询任务。 权利要求书2页 说明书12页 附图4页 CN 114969149 A 2022.08.30 CN 114969149 A 1.一种数据资源的处 理方法, 其特 征在于, 包括: 通过主节点接收用户的终端设备发送的用于执 行查询任务的任务执 行请求; 通过所述主节点根据 预先指定的虚拟集群, 向与 所述虚拟集群对应的资源管理节点发 送所述任务执 行请求, 其中所述资源管理节点用于管理所述虚拟集群中数据资源; 通过所述资源管理节点根据 所述主节点制定的执行计划, 向所述虚拟集群发送任务执 行请求, 其中所述执 行计划用于指示执 行所述查询任务的数据节点; 以及 通过所述虚拟集群中的数据节点 根据所述任务执 行请求, 执 行所述查询任务。 2.根据权利要求1所述的方法, 其特征在于, 通过所述主节点根据预先指定的虚拟集 群, 向与所述虚拟集群对应的资源管理节点发送所述任务执 行请求的操作, 包括: 根据预先设置的映射关系表, 确定与所述虚拟集群对应的资源管理节点, 其中所述映 射关系表用于指示所述虚拟集群与所述资源管理节点的映射关系; 以及 通过所述主节点根据所述资源管理节点提供的所述虚拟集群中的数据节点的资源情 况, 制定执 行计划, 并将所述执 行计划以及任务执 行请求发送至资源管理节点。 3.根据权利要求2所述的方法, 其特 征在于, 还 包括: 在所述主节点与所述资源管理节点通信失败的情况下, 所述主节点选择其他的资源管 理节点作为 新任的资源管理节点, 并将所述 新任的资源管理节点写入所述映射关系表中; 通过所述主节点根据虚拟集群记录表将与所述新任的资源管理节点对应的虚拟集群 的集群信息发送至所述 新任的资源管理节点; 以及 所述主节点与所述 新任的资源管理节进行通信连接 。 4.根据权利要求1所述的方法, 其特 征在于, 还 包括: 通过所述主节点接收对所述虚拟集群的修改命令, 并确定管理所述虚拟集群的资源管 理节点, 其中所述修改命令包括对所述虚拟集群的增加操作以及删除操作中的任意一项; 以及 通过所述资源管理节点 根据主节点 转发的修改命令, 对所述虚拟集群进行修改。 5.根据权利要求1所述的方法, 其特征在于, 还包括: 通过事件触发的方式, 通过第一节 点与预定数量的第二节点进行信息同步, 其中触发的所述事件包括节点加入、 节点启动、 节 点宕机或者节点退 出。 6.根据权利要求5所述的方法, 其特征在于, 还包括: 根据预设的时间间隔, 通过所述第 一节点与所述预定数量的第二节点进行信息同步。 7.一种存储介质, 其特征在于, 所述存储介质包括存储的程序, 其中, 在所述程序运行 时由处理器执行权利要求1至 6中任意一项所述的方法。 8.一种数据资源的处 理装置, 其特 征在于, 包括: 请求接收模块, 用于通过主节点接收用户的终端设备发送的用于执行查询任务的任务 执行请求; 第一发送模块, 用于通过所述主节点根据预先指定的虚拟集群, 向与所述虚拟集群对 应的资源管理节点发送所述任务执行请求, 其中所述资源管理节点用于管理所述虚拟集群 中数据资源; 第二发送模块, 用于通过所述资源管理节点根据所述主节点制定的执行计划, 向所述 虚拟集群发送任务执行请求, 其中所述执行计划用于指示执行所述查询任务的数据节点;权 利 要 求 书 1/2 页 2 CN 114969149 A 2以及 任务执行模块, 用于通过所述虚拟集群中的多个数据节点根据所述任务执行请求, 执 行所述查询任务。 9.根据权利要求8所述的装置, 其特征在于, 通过所述主节点根据预先指定的虚拟集 群, 向与所述虚拟集群对应的资源管理节点发送所述任务执 行请求的操作, 包括: 关系确认子模块, 用于根据预先设置的映射关系表, 确定与所述虚拟集群对应的资源 管理节点, 其中所述映射关系表用于指示所述虚拟集群与所述资源管理节点的映射关系; 以及 请求发送子模块, 用于通过所述主节点根据 所述资源管理节点提供的所述虚拟集群中 的数据节点的资源情况, 制 定执行计划, 并将所述执行计划以及任务执行请求发送至资源 管理节点。 10.一种数据资源的处 理装置, 其特 征在于, 包括: 处理器; 以及 存储器, 与所述处 理器连接, 用于为所述处 理器提供处 理以下处 理步骤的指令: 通过主节点接收用户的终端设备发送的用于执 行查询任务的任务执 行请求; 通过所述主节点根据 预先指定的虚拟集群, 向与 所述虚拟集群对应的资源管理节点发 送所述任务执 行请求, 其中所述资源管理节点用于管理所述虚拟集群中数据资源; 通过所述资源管理节点根据 所述主节点制定的执行计划, 向所述虚拟集群发送任务执 行请求, 其中所述执 行计划用于指示执 行所述查询任务的数据节点; 以及 通过所述虚拟集群中的多个数据节点 根据所述任务执 行请求, 执 行所述查询任务。权 利 要 求 书 2/2 页 3 CN 114969149 A 3

.PDF文档 专利 数据资源的处理方法、装置以及存储介质

文档预览
中文文档 19 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据资源的处理方法、装置以及存储介质 第 1 页 专利 数据资源的处理方法、装置以及存储介质 第 2 页 专利 数据资源的处理方法、装置以及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:15:31上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。