公共安全标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540182.6 (22)申请日 2022.05.17 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区福田街 道益田路5033号平安金融中心12、 13、 38、 39、 40、 62层 (72)发明人 曾德智 吴永晖 李盛凡  (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉 石良武 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/2458(2019.01) (54)发明名称 数据导入方法、 装置、 计算机设备和存储介 质 (57)摘要 本申请涉及人工智能技术领域, 提供一种数 据导入方法、 装置、 计算机设备和存储介质, 方法 包括: 通过预设的导入组件获取客户端触发的数 据导入请求; 其中, 数据导入请求中携带预设格 式的文件; 从数据导入请求中提取出文件, 并获 取文件中包含的所有第一数据; 基于预设的反射 机制对所有第一数据进行解析校验处理, 从所有 第一数据中筛选出校验通过的第二数据; 基于预 设格式对第二数据进行格式转换, 得到对应的第 三数据; 将第三数据存储于预设的数据库表内。 通过本申请能够提高数据导入的处理效率与智 能性。 本申请还可 以应用于区块链领域, 上述第 三数据等数据可以存 储于区块链上。 权利要求书3页 说明书14页 附图3页 CN 114969181 A 2022.08.30 CN 114969181 A 1.一种数据导入方法, 其特 征在于, 包括: 通过预设的导入组件获取客户端触发的数据导入请求; 其中, 所述数据导入请求中携 带预设格式的文件; 从所述数据导入请求中提取 出所述文件, 并获取 所述文件中包 含的所有第一数据; 基于预设的反射机制对所有所述第 一数据进行解析校验处理, 从所有所述第 一数据中 筛选出校验通过的第二数据; 基于预设格式对所述第二数据进行格式转换, 得到对应的第三数据; 将所述第三数据存 储于预设的数据库表内。 2.根据权利要求1所述的数据导入方法, 其特征在于, 所述数据导入请求还携带有处理 时效信息, 所述从所述数据导入请求中提取出所述文件, 并获取所述文件中包含的所有第 一数据的步骤, 包括: 从所述数据导入请求中提取 出所述处理时限信息; 调用预设映射表, 从所述预设映射表中查询出与 所述处理时 限信息对应的处理缓急分 数; 判断所述处 理缓急分数 是否小于预设的分数阈值; 若小于所述分数阈值, 获取当前时间; 判断所述当前时间是否处于预设的处 理空闲时间段内; 若处于所述处理空闲时间段内, 从所述数据导入请求中提取出所述文件, 并获取所述 文件中包 含的所有第一数据。 3.根据权利要求2所述的数据导入方法, 其特征在于, 所述判断所述当前时间是否处于 预设的处 理空闲时间段内的步骤之前, 包括: 获取预设的处理高峰时间段, 从一天包含的处理时间段中剔除所述处理高峰时间段得 到相应的指定时间段, 并将所述指定时间段划分为多个第一单位时间段; 获取预设的装置数据处理记录表, 并从所述装置数据处理记录表中查询出与 预设时间 周期内包 含的每一天的各个所述第一单位时间段一 一对应的数据处 理量; 从所有所述数据处 理量中筛 选出小于预设的数据处 理阈值的指定数据处 理量; 从所述第一单位时间段中筛选出与各所述指定数据处理量分别对应的第二单位时间 段; 对所有所述第 二单位时间段进行去重处理, 得到处理后的多个第三单位 时间段; 其中, 各个第三单位时间段为时间范围各不相同的时间段; 基于所有所述第 二单位时间段, 统计得到每一个所述第 三单位时间段在所有所述第 二 单位时间段中的出现次数; 按照所述出现次数的数值从大到小的顺序对所有所述第 三单位时间段进行排序, 得到 对应的排序结果; 从所述排序结果中排序第 一的第三单位时间段开始, 依次获取预设数量的第四单位 时 间段; 将所有所述第四单位时间段作为所述处 理空闲时间段。 4.根据权利要求1所述的数据导入方法, 其特征在于, 所述基于预设的反射机制对所有 所述第一数据进 行解析校验处理, 从所有 所述第一数据中筛选出校验通过的第二数据的步权 利 要 求 书 1/3 页 2 CN 114969181 A 2骤, 包括: 获取所述文件中与所述第一数据对应的已配置的所有字段; 通过所述反射机制解析 得到与各 所述字段分别对应的对象; 基于各所述对象上的注解获取与各 所述字段分别对应的字段属性信息; 基于所述字段属性信息生成与各 所述第一数据分别对应的校验规则; 基于各所述校验规则对各自对应的所述第 一数据进行校验, 得到所述第 一数据中校验 通过的第二数据。 5.根据权利要求4所述的数据导入方法, 其特征在于, 所述基于各所述校验规则对各自 对应的所述第一数据进行 校验, 得到所述第一数据中校验通过的第二数据的步骤, 包括: 对于每一个所述第一数据, 获取与各 所述第一数据分别对应的目标验证规则; 基于预设的并行处理指令, 调用各所述目标验证规则分别对各自对应的第 一数据的数 据格式进行 校验处理, 并判断所述数据格式是否为 正确格式; 若所述数据格式为 正确格式, 将所述第一数据确定为校验通过的第二数据; 若所述数据格式不 为正确格式, 将所述第一数据确定为校验未通过的异常数据。 6.根据权利要求1所述的数据导入方法, 其特征在于, 所述基于预设的反射机制对所有 所述第一数据进 行解析校验处理, 从所有 所述第一数据中筛选出校验通过的第二数据的步 骤之后, 包括: 判断所述第一数据中是否存在校验未通过的第四数据; 若是, 基于所述第四数据与所述文件生成相应的异常文件; 获取预设的异常处 理信息; 将所述异常文件与所述异常处 理信息返回至所述 客户端。 7.根据权利要求6所述的数据导入方法, 其特征在于, 所述基于所述第四数据与所述文 件生成相应的异常文件的步骤, 包括: 从所述文件中筛 选出所述第四数据; 对所述第四数据进行 标记处理, 得到标记后的第四数据; 获取与所述标记后的第四数据对应的指定校验规则, 在与所述标记后的第四数据对应 的预设位置处填充所述指定校验规则, 得到处 理后的文件; 将所述处 理后的文件作为所述异常文件。 8.一种数据导入 装置, 其特 征在于, 包括: 第一获取模块, 用于通过预设的导入组件获取客户端触发的数据导入请求; 其中, 所述 数据导入请求中携带 预设格式的文件; 第二获取模块, 用于从所述数据导入请求中提取出所述文件, 并获取所述文件中包含 的所有第一数据; 校验模块, 用于基于预设的反射机制对所有所述第一数据进行解析校验处理, 从所有 所述第一数据中筛 选出校验通过的第二数据; 转换模块, 用于基于预设格式对所述第二数据进行格式转换, 得到对应的第三数据; 存储模块, 用于将所述第三数据存 储于预设的数据库表内。 9.一种计算机设备, 包括存储器和处理器, 所述存储器中存储有计算机程序, 其特征在 于, 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。权 利 要 求 书 2/3 页 3 CN 114969181 A 3

.PDF文档 专利 数据导入方法、装置、计算机设备和存储介质

文档预览
中文文档 21 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共21页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据导入方法、装置、计算机设备和存储介质 第 1 页 专利 数据导入方法、装置、计算机设备和存储介质 第 2 页 专利 数据导入方法、装置、计算机设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:14:58上传分享
友情链接
交流群
  • //public.wenku.github5.com/wodemyapi/22.png
-->
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。