(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210517582.5 (22)申请日 2022.05.12 (71)申请人 长鑫存储技术有限公司 地址 230000 安徽省合肥市经济技 术开发 区空港工业园兴业大道38 8号 (72)发明人 罗超　蔡依达　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 卢亚培 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 16/2453(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01)G06N 3/02(2006.01) (54)发明名称 一种数据处 理方法、 装置、 设备及 介质 (57)摘要 本公开涉及一种数据处理方法、 装置、 设备 及介质， 该方法包括： 响应于 数据更新指令， 基于 预先根据数据流向建立的存储节点及存储节点 间的上下游结构， 调用各存储节 点对应的数据同 步单元； 通过所述数据同步单元根据对应的存储 节点中存储 数据的状态标记， 获取所述存储节点 中属于上游数据且未被下游存储节点处理过的 待同步数据； 通过所述数据同步单元将对应的存 储节点中的待同步数据同步到下游存储节点， 待 下游存储节 点完成待同步数据的处理后， 更新所 述存储数据的状态标记。 针对半导体制造行业中 的大量数据， 本公开能够准确、 稳定、 高效地进行 数据的处 理与运算。 权利要求书4页 说明书17页 附图6页 CN 114911810 A 2022.08.16 CN 114911810 A 1.一种数据处 理方法， 其特 征在于， 该 方法包括： 响应于数据更新指令， 基于预先根据 数据流向建立的存储节点及存储节点间的上下游 结构， 调用各存 储节点对应的数据同步单 元； 通过所述数据同步单元根据对应的存储节点中存储数据的状态标记， 获取所述存储节 点中属于上游数据且未被下游存 储节点处 理过的待同步数据； 通过所述数据同步单元将对应的存储节点中的待同步数据同步到下游存储节点， 待下 游存储节点完成待同步数据的处 理后， 更新所述存 储数据的状态标记。 2.根据权利要求1所述的方法， 其特征在于， 所述状态标记包括数据删除标记和数据同 步标记， 所述获取所述存储节点中属于上游数据且未被下游存储节点处理过的待同步数 据， 包括： 获取所述存储节点中数据删除标记中被标记为第 一标记值、 数据同步标记中被标记为 第一标记值的待同步数据； 其中， 所述数据删除标记的标记操作包括： 将所述存储节点中未被删除的数据标记为 第一标记值， 将所述存储节点中被删除的数据标记为第二标记值； 所述数据同步标记的标 记操作包括： 将所述存储节点中属于上游数据且未被下游存储节点处理过的数据标记为第 一标记值， 将所述存储节点中属于上游数据且不被下游存储节点处理的数据标记为第二标 记值。 3.根据权利要求2所述的方法， 其特 征在于， 所述状态标记还 包括： 数据同步时间标记， 用于记录所述存 储节点完成数据同步的时间； 数据同步单元标记， 用于记录将所述存储节点的上游存储节点中的待同步数据同步到 所述存储节点时所调用的数据同步单元的信息， 以及状态标记被更新时所调用的数据同步 单元的信息； 标记更新时间标记， 用于记录下游存储节点完成待 同步数据的处理后， 更新所述存储 数据的数据同步标记的时间。 4.根据权利要求3所述的方法， 其特征在于， 所述数据同步单元标记包括记录的对所述 待同步数据开始进行同步处 理的时间， 所述更新所述存 储数据的状态标记， 包括： 确定所述存储节点的数据同步 时间标记记录的时间， 早于下游存储节点的数据同步单 元标记记录的对所述待同步数据开始进行同步处理的时间， 更新所述存储 数据的数据同步 标记； 确定所述存储节点的数据同步 时间标记记录的时间， 晚于或等于下游存储节点的数据 同步单元标记记录的对所述待同步数据开始进 行同步处理的时间， 禁止更新所述存储数据 的数据同步标记。 5.根据权利要求1所述的方法， 其特征在于， 所述数据同步单元包括与 各存储节点对应 的第一数据同步单元， 以及与各信号池对应的第二数据同步单元， 所述通过所述数据同步 单元将对应的存 储节点中的待同步数据同步到下游存 储节点， 包括： 通过所述第 一数据同步单元获取待同步数据， 分别存储在不同下游存储节点对应的信 号池中； 通过所述第二数据同步单元将各信号池对应的所述待同步数据同步到信号池对应的 下游存储节点。权　利　要　求　书 1/4 页 2 CN 114911810 A 26.根据权利要求1所述的方法， 其特征在于， 所述数据同步单元包括与 各存储节点对应 的第一数据同步单元， 以及与各信号池对应的第二数据同步单元， 所述通过所述数据同步 单元将对应的存 储节点中的待同步数据同步到下游存 储节点， 包括： 通过不同的第一数据同步单元， 从对应的存储单元获取待 同步数据， 存储在同一下游 存储节点对应的信号池中； 通过所述第二数据同步单元将所述信号池对应的所述待同步数据同步到信号池对应 的下游存 储节点。 7.根据权利要求1所述的方法， 其特征在于， 所述通过所述数据同步单元将对应的存储 节点中的待同步数据同步到下游存 储节点， 包括： 确定属于同一批待 同步数据的第一数据与第二数据， 且第一数据与第二数据不同， 确 定所述第一数据与第二数据不存在依赖关系； 通过所述数据同步单 元将所述第一数据和第二数据同时同步到下游存 储节点。 8.根据权利要求1所述的方法， 其特征在于， 所述通过所述数据同步单元将对应的存储 节点中的待同步数据同步到下游存 储节点， 包括： 通过所述数据同步单元获取所述存储节点中属于上游数据且未被下游存储节点处理 过的多批待同步数据； 通过所述数据同步单元将对应的存储节点中的多批待同步数据同时同步到下游存储 节点。 9.根据权利要求1所述的方法， 其特征在于， 所述获取所述存储节点中属于上游数据且 未被下游存 储节点处 理过的待同步数据， 包括： 按照设定的时间阈值和设定的数据量， 获取所述存储节点中属于上游数据且未被下游 存储节点处 理过的待同步数据。 10.一种数据处 理装置， 其特 征在于， 该装置包括： 同步单元调用模块， 用于响应于数据更新指令， 基于预先根据数据流向建立的存储节 点及存储节点间的上 下游结构， 调用各存 储节点对应的数据同步单 元； 待同步数据获取模块， 用于通过所述数据同步单元根据对应的存储节点中存储数据的 状态标记， 获取 所述存储节点中属于上游数据且未被下游存 储节点处 理过的待同步数据； 数据同步模块， 用于通过所述数据同步单元将对应的存储节点中的待同步数据同步到 下游存储节点， 待下游存 储节点完成待同步数据的处 理后， 更新所述存 储数据的状态标记。 11.根据权利要求10所述的装置， 其特征在于， 所述状态标记包括数据删除标记和数据 同步标记， 所述待同步数据获取模块， 用于获取所述存储节点中属于上游数据且未被下游 存储节点处 理过的待同步数据， 包括： 获取所述存储节点中数据删除标记中被标记为第 一标记值、 数据同步标记中被标记为 第一标记值的待同步数据； 其中， 所述数据删除标记的标记操作包括： 将所述存储节点中未被删除的数据标记为 第一标记值， 将所述存储节点中被删除的数据标记为第二标记值； 所述数据同步标记的标 记操作包括： 将所述存储节点中属于上游数据且未被下游存储节点处理过的数据标记为第 一标记值， 将所述存储节点中属于上游数据且不被下游存储节点处理的数据标记为第二标 记值。权　利　要　求　书 2/4 页 3 CN 114911810 A 3