(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210557054.2 (22)申请日 2022.05.19 (71)申请人 远光软件股份有限公司 地址 519085 广东省珠海市科技创新海岸 远光软件园 (72)发明人 张潇潇　李东　陈晓玲　张敏　 陈奕颖　 (74)专利代理 机构 广东朗乾 律师事务所 4 4291 专利代理师 杨焕军 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/2457(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 基于大数据流式计算平台的数据处理方法、 装置、 存储介质及计算机设备 (57)摘要 本申请实施例公开了一种基于大数据流式 计算平台的数据处理方法、 装置、 存储介质及计 算机设备， 涉及大数据处理领域。 方法包括： 将数 据源中取出的多条业务数据加载到内存中； 将多 条业务数据打包为一个待执行数据包； 将待执行 数据包存入 大数据流式计算平台； 从大数据流式 计算平台中获取待执行数据包， 以及在规则中心 获取待执行数据包关联的规则信息； 根据规则信 息对待执行数据包进行处理得到规则执行数据； 将规则执行数据进行持久化处理后写入到外部 的数据表中， 本申请通过分批加载业务数据、 分 批执行业务数据和外部存储规则执行数据， 可以 提高内存的利用率和磁 盘的利用率。 权利要求书2页 说明书7页 附图3页 CN 115129710 A 2022.09.30 CN 115129710 A 1.一种基于大 数据流式计算平台的数据处 理方法， 其特 征在于， 包括： 将数据源中取 出的多条业 务数据加载到内存中； 将所述多条业 务数据打包为 一个待执 行数据包； 将所述待执 行数据包存入大数据流式计算平台； 从所述大数据流式计算平台中获取所述待执行数据包， 以及在规则中心获取所述待执 行数据包关联的规则 信息； 根据所述 规则信息对所述待执 行数据包进行处 理得到规则执 行数据； 将所述规则执行数据进行持久化处 理后写入到 外部的数据表中。 2.根据权利要求1所述的方法， 其特征在于， 所述将数据源中取出的多条业务数据加载 到内存中之前， 还 包括： 在规则数据获取阶段， 根据预设的数据模型在业务系统中采集业务数据， 将采集的业 务数据写入数据源。 3.根据权利要求1或2的方法， 其特征在于， 所述数据源包括主表和关联的子表， 所述业 务数据由主表数据和子表数据组成； 其中， 所述将数据源中取 出的多条业 务数据加载到内存中， 包括： 从主表中取 出多个主表数据； 在关联的子表中取 出各个主表数据关联的下级数据； 将主表数据和关联的子表数据组成业 务数据。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述多条业务数据打包为一个待执 行数据包包括： 根据所述多条业 务数据的字段和字段值 生成包体； 为所述包体添加包头生成待执行数据包； 其中， 所述包头包括业务数据的数量信息和 标识信息 。 5.根据权利要求1或2或4所述的方法， 其特 征在于， 还 包括： 在检测到所述数据源中业务数据的数量等于0时， 通过显示单元推送表示执行完毕的 通知消息 。 6.根据权利要求5所述的方法， 其特征在于， 通过规则引擎采用多进程和多线程的方式 对待执行数据包进行处 理， 所述规则引擎以分布式进行部署。 7.根据权利要求6所述的方法， 其特 征在于， 还 包括： 向所述规则中心发送数据查询请求； 接收所述 规则中心返回的数据查询响应； 解析所述查询响应后在查询界面上显示 规则执行数据。 8.一种基于大 数据流式计算平台的数据处 理装置， 其特 征在于， 包括： 加载单元， 用于将数据源中取 出的多条业 务数据加载到内存中； 打包单元， 用于将所述多条业 务数据打包为 一个待执 行数据包； 存入单元， 用于将所述待执 行数据包存入大数据流式计算平台； 获取单元， 用于从所述大数据流式计算平台中获取所述待执行数据包， 以及在规则中 心获取所述待执 行数据包关联的规则 信息； 执行单元， 用于根据所述 规则信息对所述待执 行数据包进行处 理得到规则执 行数据；权　利　要　求　书 1/2 页 2 CN 115129710 A 2写入单元， 用于将所述 规则执行数据进行持久化处 理后写入到 外部的数据表中。 9.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有多条指令， 所述指令 适于由处 理器加载并执 行如权利要求1～7任意 一项的方法步骤。 10.一种计算机设备， 其特征在于， 包括： 处理器和存储器； 其中， 所述存储器存储有计 算机程序， 所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法 步骤。权　利　要　求　书 2/2 页 3 CN 115129710 A 3