(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210750744.X (22)申请日 2022.06.29 (71)申请人 阿里云计算有限公司 地址 310024 浙江省杭州市西湖区转塘科 技经济区块12号 (72)发明人 崔玮　袁小栋　 (74)专利代理 机构 北京合智同创知识产权代理 有限公司 1 1545 专利代理师 李杰　张美洁 (51)Int.Cl. G06F 9/54(2006.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01) (54)发明名称 流数据处理方法、 流处理系统、 电子设备及 计算机存 储介质 (57)摘要 本申请实施例提供了一种流数据处理方法、 流处理系统、 电子设备及计算机存储介质， 应用 于第一流数据的第一数据源节点的流数据处理 方法包括： 接收第一流数据； 按照预设的时间周 期拉取第二流数据； 将拉取的当前第二流数据与 拉取的历史第二流数据进行比较， 确定当前第二 流数据相对于历史第二流数据的增量数据对应 的增量数据标识； 根据增量数据标识对接收的第 一流数据中的多条数据进行过滤， 确定与增量数 据标识对应的部分第一流数据， 并对部分第一流 数据执行反序列化操作； 将执行反序列化操作的 部分第一流数据通过网络传输至数据连接节点， 以使得数据连接节点基于数据标识将第二流数 据和部分第一 流数据进行连接 。 权利要求书2页 说明书9页 附图5页 CN 114968624 A 2022.08.30 CN 114968624 A 1.一种流数据处 理方法， 应用于第一 流数据的第一数据源节点， 包括： 接收第一 流数据； 按照预设的时间周期拉取第 二流数据， 所述第 一流数据和所述第 二流数据中包括多条 数据， 每条 数据对应有数据标识； 将拉取的当前第 二流数据与拉取的历史第 二流数据进行比较， 确定所述当前第 二流数 据相对于所述历史第二 流数据的增量数据对应的增量数据标识； 根据所述增量数据标识对接收的所述第 一流数据中的多条数据进行过滤， 确定与 所述 增量数据标识对应的部分第一 流数据， 并对所述部分第一 流数据执 行反序列化操作； 将执行反序列化操作的部分第 一流数据通过网络传输至数据连接节点， 以使得所述数 据连接节点基于所述数据标识将所述第二 流数据和所述部分第一 流数据进行 连接。 2.根据权利要求1所述的方法， 其中， 所述第 一数据源节点中包括并行的主线程和第 二 异步线程， 所述主线程用于执行所述反序列化操作， 则所述根据所述增 量数据标识对接 收 的所述第一流数据中的多 条数据进行过滤， 确定与所述增量数据标识对应的部 分第一流数 据， 包括： 若存在所述增量数据标识， 则触发所述第二异步线程， 根据所述增量数据标识对接收 的所述第一流数据中的多 条数据进行回溯 操作， 以确定与所述增量数据标识对应的部 分第 一流数据， 并将所述部分第一 流数据对应的各 条数据存储至缓存队列中。 3.根据权利要求2所述的方法， 其中， 所述对所述部分第一流数据执行反序列化操作， 包括： 通过所述主线程， 读取所述缓存队列中包括的数据， 并对读取出的各条数据执行所述 反序列化操作； 通过所述主线程， 将执行过所述反序列化操作的各条数据对应的数据标识从所述增量 数据标识中删除。 4.根据权利要求2所述的方法， 其中， 所述第 一数据源节点中还包括与 所述主线程和所 述第二异步线程并行的第一异步线程， 所述按照预设的时间周期拉取第二 流数据， 包括： 通过所述第一异步线程， 按照预设的时间周期拉取所述第二流数据， 并通过压缩缓存 的方式存 储拉取的所述第二 流数据的多条 数据对应的数据标识。 5.根据权利要求4所述的方法， 其中， 所述第一异步线程的数量包括多个， 多个所述第 一异步线程按照预设时间周期同时拉取部 分所述第二流数据， 所述将拉取的当前第二流数 据与拉取的历史第二流数据进 行比较， 确定所述当前第二流数据相对于所述历史第二流数 据的增量数据对应的增量数据标识， 包括： 通过多个所述第 一异步线程， 将当前周期开始拉取所述第 二流数据的拉取时间点作为 时间分界点， 将各自拉取的部 分当前第二流数据与所述时间分 界点之前拉取的历史第二流 数据进行比较， 确定多个所述第一异步线程各自对应的所述增量数据标识； 通过多个所述第 一异步线程， 将各自对应的所述增量数据标识写入相同的增量存储单 元中。 6.根据权利要求1所述的方法， 其中， 所述接收第一 流数据之后， 所述方法还 包括： 将所述第一 流数据进行远程存 储； 所述根据 所述增量数据标识对接收的所述第 一流数据中的多条数据进行过滤， 确定与权　利　要　求　书 1/2 页 2 CN 114968624 A 2所述增量数据标识对应的部分第一流数据， 并对所述部分第一流数据执行反序列化操作， 包括： 基于远程调用协议， 根据所述增量数据标识查询远程存储的所述第一流数据， 得到并 解析与所述增量数据标识对应的部 分第一流数据， 并对所述部 分第一流数据执行反序列化 操作。 7.根据权利要求1所述的方法， 其中， 所述接收第一 流数据之后， 所述方法还 包括： 按照接收时间顺序， 将所述第一 流数据存 储至所述第一数据源节点本地； 所述根据 所述增量数据标识对接收的所述第 一流数据中的多条数据进行过滤， 确定与 所述增量数据标识对应的部分第一流数据， 并对所述部分第一流数据执行反序列化操作， 包括： 根据所述增量数据标识对应的第 二流数据的接收时间， 查询所述第 一数据源节点本地 存储的所述第一流数据， 得到并解析与所述增 量数据标识对应的部分第一流数据， 并对所 述部分第一 流数据执 行反序列化操作。 8.根据权利要求1所述的方法， 其中， 所述根据所述增量数据标识对接收的所述第 一流 数据中的多条数据进行过滤， 确定与所述增量数据标识对应的部分第一流数据， 并对所述 部分第一 流数据执 行反序列化操作， 包括： 解析接收到的所述第一 流数据中的多条 数据； 根据所述增量数据标识， 对解析出的所述多条数据中与 所述增量数据标识数据对应的 部分数据执 行所述反序列化操作。 9.一种流处理系统， 包括与第一流数据对应的第一数据源节点、 与第二流数据对应的 第二数据源节点、 数据连接节点； 所述第一数据源节点， 用于通过如权利要求1 ‑8任意一项所述的方法， 将执行反序列化 操作的部分第一 流数据通过网络传输 至所述数据连接节点； 所述第二数据源节点， 用于对所述第二流数据执行所述反序列化操作， 并将执行反序 列化操作的所述第二 流数据通过网络传输 至所述数据连接节点； 所述数据连接节点， 用于基于数据标识将所述第 二流数据和所述部分第 一流数据进行 连接。 10.一种电子设备， 包括： 处理器、 存储器、 通信 接口和通信总线， 所述处理器、 所述存储 器和所述 通信接口通过 所述通信总线完成相互间的通信； 所述存储器用于存放至少一可执行指令， 所述可执行指令使所述处理器执行如权利要 求1‑8中任一项所述的方法对应的操作。 11.一种计算机存储介质， 其上存储有计算机程序， 该程序被处理器执行时实现如权利 要求1‑8中任一所述的方法。 12.一种计算机程序产品， 包括计算机指令， 所述计算机指令指示计算设备执行如权利 要求1‑8中任一所述方法对应的操作。权　利　要　求　书 2/2 页 3 CN 114968624 A 3