(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210674033.9 (22)申请日 2022.06.15 (65)同一申请的已公布的文献号 申请公布号 CN 114780252 A (43)申请公布日 2022.07.22 (73)专利权人 阿里云计算有限公司 地址 310024 浙江省杭州市西湖区转塘科 技经济区块12号 (72)发明人 苏茂萌　邢玉辉　陆元飞　魏闯先　 林亮　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 李威 (51)Int.Cl. G06F 9/50(2006.01)G06F 16/21(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01) (56)对比文件 CN 103106207 A,2013.0 5.15 CN 113434482 A,2021.09.24 US 2022092024 A1,202 2.03.24 审查员 辛小霞 (54)发明名称 数据仓库系统的资源管理方法及装置 (57)摘要 本申请实施例公开了一种数据仓库系统的 资源管理方法及装置。 其方法包括： 数据仓库系 统中， 数据文件分布存储于存储 服务的各bucket （存储空间） ， 各bucket分别映射至各计算节点， 各计算节点存储所映射bucket 的数据文件的元 数据信息并负责所映射bucket的计算任务； 响应 于调整计算 资源的触发事件， 依据调整计算资源 前bucket与计算节点的映射关系以及调整计算 资源后bucket与计算节点的映射 关系， 确定映射 的计算节点发生变更的bucket作为待迁移 bucket， 将 待迁移bucket在调整计算资源前映射 到的计算节 点作为源计算节点， 在调整计算资源 后映射到的计算节点作为目标计算节 点； 将待迁 移bucket对应的元数据从源计算节点迁移至目 标计算节 点。 本申请能够有效缩短云端数据仓库 的扩缩容时长 。 权利要求书2页 说明书11页 附图7页 CN 114780252 B 2022.11.18 CN 114780252 B 1.一种数据仓库系统 的资源管理方法， 其特征在于， 所述数据仓库系统中， 数据文件分 布存储于存储服务的各存储空间bucket， 各bucket分别映射至各计算节点， 各计算节点存 储所映射bucket的数据文件的元数据信息并负责所映射bucket的计算任务； 所述方法包 括： 响应于调整计算资源的触发事件， 确定调整计算资源后bucket与计算节点的映射关 系； 依据调整计算资源前bucket与计算节点的映射关系以及所述调整计算资源后bucket 与计算节点的映射关系， 确定映射的计算节点发生变更的bucket作为待迁移bucket， 将待 迁移bucket在调整计算资源 前映射到的计算节点作为源计算节 点， 在调整计算资源后映射 到的计算节点作为目标计算节点； 将所述待迁移bucket对应的元 数据从源计算节点迁移至目标计算节点。 2.根据权利要求1所述的方法， 其特征在于， 所述数据文件分布存储于存储服务的各存 储空间bucket包括： 所述数据文件通过一致性哈希的方式或均匀哈希的方式将各数据文件 的列字段映射存 储于各bucket； 所述各bucket分别映射至各计算节点包括： 各b ucket采用均匀哈希的方式映射至各计 算节点。 3.根据权利要求2所述的方法， 其特 征在于， 该 方法还包括： 响应于连接jo in查询请求， 确定被请求的表格列所在bucket映射的计算节点； 将所述join查询请求发送给确定出的计算节点， 由该计算节点进行本地join查询计 算。 4.根据权利要求1所述的方法， 其特征在于， 数据文件的元数据信 息包括系统元数据和 可见性元数据； 管理节点和各计算节点均保存所有数据文件的系统元数据， 但每个计算节 点都仅保存所映射bucket的数据文件的可 见性元数据； 将所述待迁移bucket对应的元 数据从源计算节点迁移至目标计算节点包括： 若所述调整计算资源为计算节点扩容， 则由所述管理节点拷贝系统元数据至新增计算 节点， 并触发所述源计算节点将该待迁移bucket的数据文件的可见性元数据迁移至所述目 标计算节点； 或者， 若所述调整计算资源为计算节点缩容， 则触发所述源计算节点将该待迁移bucket的数 据文件的可 见性元数据迁移至所述目标计算节点。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 在将所述待迁移bucket对应 的元数据从源计算节点迁移至目标计算节点之前， 还 包括： 设置所述数据仓库系统为只读模式； 若所述数据仓库系统存在正在执行的写请求， 则 允许所述写请求在设定时长内继续执行； 达到所述设定时长后对尚未执行完毕的写请求进 行回滚处 理； 在将所述待迁移bucket对应的元数据从源计算节点迁移至目标计算节点之后， 还包 括： 设置所述数据仓库系统为读写模式。 6.根据权利要求5所述的方法， 其特征在于， 设置所述数据仓库系统为只读模式之后， 还包括： 若所述数据仓库系统不存在正在执行的写请求， 则执行将所述待迁移bucket对应的元权　利　要　求　书 1/2 页 2 CN 114780252 B 2数据从源计算节点迁移至目标计算节点的步骤。 7.根据权利要求5所述的方法， 其特 征在于， 该 方法还包括： 在将所述待迁移bucket对应的元数据从源计算节点迁移至目标计算节点时， 响应于读 请求， 获取当前 数据分布策略表的快照， 依据所述快照对所述读 请求进行处 理； 在将所述待迁移bucket对应的元数据从源计算节点迁移至目标计算节点之后， 利用调 整计算资源后bucket与计算节点的映射关系更新所述数据分布策略表。 8.一种数据仓库系统 的资源管理装置， 其特征在于， 所述数据仓库系统中， 数据文件分 布存储于存储服务的各存储空间bucket， 各bucket分别映射至各计算节点， 各计算节点存 储所映射bucket的数据文件的元数据信息并负责所映射bucket的计算任务； 所述装置包 括： 第一确定单元， 被配置为响应于调整计算资源的触发事件， 确定调整计算资源后 bucket与计算节点的映射关系； 第二确定单元， 被配置为依据调整计算资源前bucket与计算节点的映射关系以及所述 调整计算资源后bucket与计算节 点的映射关系， 确定映射的计算节 点发生变更的bucket作 为待迁移bucket， 将待迁移bucket在调整计算资源前映射到的计算节点作为源计算节点， 在调整计算资源后映射到的计算节点作为目标计算节点； 迁移处理单元， 被配置为将所述待迁移bucket对应的元数据从源计算节点迁移至目标 计算节点。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现权利要求1至7中任一项所述的方法的步骤。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 以及 与所述一个或多个处理器关联的存储器， 所述存储器用于存储程序指令,所述程序指 令在被所述一个或多个处理器读取执行时， 执行权利要求1至7中任一项所述的方法的步 骤。权　利　要　求　书 2/2 页 3 CN 114780252 B 3