(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210631831.3 (22)申请日 2022.06.02 (71)申请人 北京百度网讯科技有限公司 地址 100089 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 金博夫　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 专利代理师 张永喆 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/28(2019.01) G06F 16/25(2019.01) G06F 16/23(2019.01) G06K 9/62(2022.01) (54)发明名称 数据处理方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种数据处理方法、 装置、 电 子设备及存储介质， 涉及数据处理技术领域， 尤 其涉及云计算、 大数据技术领域， 包括： 为每种数 据源类型创建第一转换任务； 获取所有产品的多 条日志， 将所 获取的所有日志按照数据源类型进 行分类， 得到多个日志集， 第一转换任务用于从 相应数据源类型的日志集中抽取设定类型的数 据进行数据转换； 根据数据源类型， 对日志集执 行对应的第一转换任务， 得到第一数据表， 第一 数据表用于存 储数据转换后的全部数据。 权利要求书2页 说明书9页 附图3页 CN 115221216 A 2022.10.21 CN 115221216 A 1.一种数据处 理方法， 包括： 为每种数据源类型创建第一 转换任务； 获取所有产品的多条日志， 将所获取的所有日志按照数据源类型进行分类， 得到多个 日志集， 所述第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进 行数 据转换； 根据数据源类型， 对所述日志集执行对应的第 一转换任务， 得到第一数据表， 所述第一 数据表用于存 储数据转换后的全部数据。 2.根据权利要求1所述的方法， 还 包括： 为每种数据源类型创建第 二转换任务， 所述第 二转换任务用于从相应数据源类型的日 志集中抽取用户行为数据进行 数据转换； 根据数据源类型， 对所述日志集执行对应的第 二转换任务， 得到第二数据表， 所述第二 数据表用于存 储数据转换后的用户行为数据； 根据所述日志集的第二数据表进行用户行为检测， 得到特定类型的用户行为数据； 根据所述特定类型的用户行为数据在该 日志集的第 二数据表中的数据标识， 对该 日志 集的第一数据表中相应的数据进行 标记。 3.根据权利要求2所述的方法， 还 包括： 并行执行每个日志集对应的第一 转换任务； 并行执行每个日志集对应的第二 转换任务。 4.根据权利要求1所述的方法， 所述得到第一数据表之后， 还 包括： 对所述第一数据表进行 数据坏块检测； 响应于所述第 一数据表中存在数据坏块， 对该第 一数据表对应的日志集执行第 一转换 任务， 得到新的第一数据表。 5.根据权利要求1所述的方法， 所述得到第一数据表之后， 还 包括： 接收数据坏块请求， 所述数据坏块请求中包 含数据坏块 地址和日志优先级； 响应于所述日志优先级大于等于预设优先级阈值， 根据 所述数据坏块地址确定日志集 中的部分数据； 根据确定的所述日志集中的部分数据的数据源类型， 对所述日志集中的部分数据 执行 对应的第一 转换任务； 根据执行该第一转换任务得到的数据， 对所述第一数据表中相应的数据进行 更新。 6.一种数据处 理装置， 包括： 处理模块， 用于为每种数据源类型创建第一 转换任务； 采集模块， 用于获取所有产品的多条日志， 将所获取的所有日志按照数据源类型进行 分类， 得到多个日志集， 所述第一转换任务用于从相 应数据源类型 的日志集中抽取设定类 型的数据进行 数据转换； 转换模块， 用于根据 数据源类型， 对所述日志集执行对应的第一转换任务， 得到第一数 据表， 所述第一数据表用于存 储数据转换后的全部数据。 7.根据权利要求6所述的装置， 包括： 所述处理模块， 还用于为每种数据源类型创建第二转换任务， 所述第二转换任务用于 从相应数据源类型的日志集中抽取用户行为数据进行 数据转换；权　利　要　求　书 1/2 页 2 CN 115221216 A 2所述转换模块， 还用于根据 数据源类型， 对所述日志集执行对应的第 二转换任务， 得到 第二数据表， 所述第二数据表用于存 储数据转换后的用户行为数据； 所述处理模块， 还用于根据所述日志集的第二数据表进行用户行为检测， 得到特定类 型的用户行为数据； 所述处理模块， 还用于根据 所述特定类型的用户行为数据在该 日志集的第 二数据表中 的数据标识， 对该日志集的第一数据表中相应的数据进行 标记。 8.根据权利要求6所述的装置， 包括： 所述转换模块， 还用于并行 执行每个日志集对应的第一 转换任务； 所述转换模块， 还用于并行 执行每个日志集对应的第二 转换任务。 9.根据权利要求6所述的装置， 包括： 所述处理模块， 还用于对所述第一数据表进行 数据坏块检测； 所述转换模块， 还用于响应于所述第一数据表中存在数据坏块， 对该第一数据表对应 的日志集执 行第一转换任务， 得到新的第一数据表。 10.根据权利要求6所述的装置， 包括： 所述处理模块， 还用于接收数据坏块请求， 所述数据坏块请求中包含数据坏块地址和 日志优先级； 所述处理模块， 还用于响应于所述日志优先级大于等于预设优先级阈值， 根据所述数 据坏块地址确定日志集中的部分数据； 所述转换模块， 还用于根据确定的所述日志集中的部分数据的数据源类型， 对所述日 志集中的部分数据执 行对应的第一 转换任务； 所述处理模块， 还用于根据执行该第一转换任务得到的数据， 对所述第一数据表中相 应的数据进行 更新。 11.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑5中任一项所述的方法。 13.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115221216 A 3