公共安全标准网
文库搜索
切换导航
文件分类
频道
联系我们
问题反馈
文件分类
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540182.6 (22)申请日 2022.05.17 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区福田街 道益田路5033号平安金融中心12、 13、 38、 39、 40、 62层 (72)发明人 曾德智 吴永晖 李盛凡 (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉 石良武 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/2458(2019.01) (54)发明名称 数据导入方法、 装置、 计算机设备和存储介 质 (57)摘要 本申请涉及人工智能技术领域, 提供一种数 据导入方法、 装置、 计算机设备和存储介质, 方法 包括: 通过预设的导入组件获取客户端触发的数 据导入请求; 其中, 数据导入请求中携带预设格 式的文件; 从数据导入请求中提取出文件, 并获 取文件中包含的所有第一数据; 基于预设的反射 机制对所有第一数据进行解析校验处理, 从所有 第一数据中筛选出校验通过的第二数据; 基于预 设格式对第二数据进行格式转换, 得到对应的第 三数据; 将第三数据存储于预设的数据库表内。 通过本申请能够提高数据导入的处理效率与智 能性。 本申请还可 以应用于区块链领域, 上述第 三数据等数据可以存 储于区块链上。 权利要求书3页 说明书14页 附图3页 CN 114969181 A 2022.08.30 CN 114969181 A 1.一种数据导入方法, 其特 征在于, 包括: 通过预设的导入组件获取客户端触发的数据导入请求; 其中, 所述数据导入请求中携 带预设格式的文件; 从所述数据导入请求中提取 出所述文件, 并获取 所述文件中包 含的所有第一数据; 基于预设的反射机制对所有所述第 一数据进行解析校验处理, 从所有所述第 一数据中 筛选出校验通过的第二数据; 基于预设格式对所述第二数据进行格式转换, 得到对应的第三数据; 将所述第三数据存 储于预设的数据库表内。 2.根据权利要求1所述的数据导入方法, 其特征在于, 所述数据导入请求还携带有处理 时效信息, 所述从所述数据导入请求中提取出所述文件, 并获取所述文件中包含的所有第 一数据的步骤, 包括: 从所述数据导入请求中提取 出所述处理时限信息; 调用预设映射表, 从所述预设映射表中查询出与 所述处理时 限信息对应的处理缓急分 数; 判断所述处 理缓急分数 是否小于预设的分数阈值; 若小于所述分数阈值, 获取当前时间; 判断所述当前时间是否处于预设的处 理空闲时间段内; 若处于所述处理空闲时间段内, 从所述数据导入请求中提取出所述文件, 并获取所述 文件中包 含的所有第一数据。 3.根据权利要求2所述的数据导入方法, 其特征在于, 所述判断所述当前时间是否处于 预设的处 理空闲时间段内的步骤之前, 包括: 获取预设的处理高峰时间段, 从一天包含的处理时间段中剔除所述处理高峰时间段得 到相应的指定时间段, 并将所述指定时间段划分为多个第一单位时间段; 获取预设的装置数据处理记录表, 并从所述装置数据处理记录表中查询出与 预设时间 周期内包 含的每一天的各个所述第一单位时间段一 一对应的数据处 理量; 从所有所述数据处 理量中筛 选出小于预设的数据处 理阈值的指定数据处 理量; 从所述第一单位时间段中筛选出与各所述指定数据处理量分别对应的第二单位时间 段; 对所有所述第 二单位时间段进行去重处理, 得到处理后的多个第三单位 时间段; 其中, 各个第三单位时间段为时间范围各不相同的时间段; 基于所有所述第 二单位时间段, 统计得到每一个所述第 三单位时间段在所有所述第 二 单位时间段中的出现次数; 按照所述出现次数的数值从大到小的顺序对所有所述第 三单位时间段进行排序, 得到 对应的排序结果; 从所述排序结果中排序第 一的第三单位时间段开始, 依次获取预设数量的第四单位 时 间段; 将所有所述第四单位时间段作为所述处 理空闲时间段。 4.根据权利要求1所述的数据导入方法, 其特征在于, 所述基于预设的反射机制对所有 所述第一数据进 行解析校验处理, 从所有 所述第一数据中筛选出校验通过的第二数据的步权 利 要 求 书 1/3 页 2 CN 114969181 A 2骤, 包括: 获取所述文件中与所述第一数据对应的已配置的所有字段; 通过所述反射机制解析 得到与各 所述字段分别对应的对象; 基于各所述对象上的注解获取与各 所述字段分别对应的字段属性信息; 基于所述字段属性信息生成与各 所述第一数据分别对应的校验规则; 基于各所述校验规则对各自对应的所述第 一数据进行校验, 得到所述第 一数据中校验 通过的第二数据。 5.根据权利要求4所述的数据导入方法, 其特征在于, 所述基于各所述校验规则对各自 对应的所述第一数据进行 校验, 得到所述第一数据中校验通过的第二数据的步骤, 包括: 对于每一个所述第一数据, 获取与各 所述第一数据分别对应的目标验证规则; 基于预设的并行处理指令, 调用各所述目标验证规则分别对各自对应的第 一数据的数 据格式进行 校验处理, 并判断所述数据格式是否为 正确格式; 若所述数据格式为 正确格式, 将所述第一数据确定为校验通过的第二数据; 若所述数据格式不 为正确格式, 将所述第一数据确定为校验未通过的异常数据。 6.根据权利要求1所述的数据导入方法, 其特征在于, 所述基于预设的反射机制对所有 所述第一数据进 行解析校验处理, 从所有 所述第一数据中筛选出校验通过的第二数据的步 骤之后, 包括: 判断所述第一数据中是否存在校验未通过的第四数据; 若是, 基于所述第四数据与所述文件生成相应的异常文件; 获取预设的异常处 理信息; 将所述异常文件与所述异常处 理信息返回至所述 客户端。 7.根据权利要求6所述的数据导入方法, 其特征在于, 所述基于所述第四数据与所述文 件生成相应的异常文件的步骤, 包括: 从所述文件中筛 选出所述第四数据; 对所述第四数据进行 标记处理, 得到标记后的第四数据; 获取与所述标记后的第四数据对应的指定校验规则, 在与所述标记后的第四数据对应 的预设位置处填充所述指定校验规则, 得到处 理后的文件; 将所述处 理后的文件作为所述异常文件。 8.一种数据导入 装置, 其特 征在于, 包括: 第一获取模块, 用于通过预设的导入组件获取客户端触发的数据导入请求; 其中, 所述 数据导入请求中携带 预设格式的文件; 第二获取模块, 用于从所述数据导入请求中提取出所述文件, 并获取所述文件中包含 的所有第一数据; 校验模块, 用于基于预设的反射机制对所有所述第一数据进行解析校验处理, 从所有 所述第一数据中筛 选出校验通过的第二数据; 转换模块, 用于基于预设格式对所述第二数据进行格式转换, 得到对应的第三数据; 存储模块, 用于将所述第三数据存 储于预设的数据库表内。 9.一种计算机设备, 包括存储器和处理器, 所述存储器中存储有计算机程序, 其特征在 于, 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。权 利 要 求 书 2/3 页 3 CN 114969181 A 3
专利 数据导入方法、装置、计算机设备和存储介质
文档预览
中文文档
21 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共21页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 00:14:58
上传分享
举报
下载
原文档
(557.6 KB)
分享
友情链接
GB T 42446-2023 信息安全技术 网络安全从业人员能力基本要求.pdf
GB-T 12688.5-2019 工业用苯乙烯试验方法 第5部分:总醛含量的测定 滴定法.pdf
中国信创产业研究报告.pdf
GB-T 36896.4-2018 轻型有缆遥控水下机器人 第4部分:摄像、照明与云台.pdf
GB-T 36072-2018 活动断层探测.pdf
GB-T 32914-2016 信息安全技术 信息安全服务提供方管理要求.pdf
民航 MH-T 2014-2023 民用无人驾驶航空器系统物流运行通用要求 第1部分:海岛场景.pdf
GB-T 42230-2022 钢板卷道路运输捆绑固定要求.pdf
T-CAQI 157—2020 检验检测机构合规性评价指南.pdf
GB-T 3714-2017 碳酸锰矿.pdf
T-CPUMT 007—2022 工业控制系统信息安全事件应急演练基本要求.pdf
DB11-T 945.1-2023 建设工程施工现场安全防护、场容卫生及消防保卫标准 第1部分:通则 北京市.pdf
JR-T0223-2021 金融数据安全 数据生命周期安全规范.pdf
T-CNZC 0008—2022 坛紫菜原藻数字化称重系统操作规程.pdf
GB-T 33764-2017 独立光伏系统验收规范.pdf
GB 9706.204-2022 医用电气设备 第2-4部分:心脏除颤器的基本安全和基本性能专用要求.pdf
专利 资产暴露面信息获取方法、装置、设备以及存储介质.PDF
DB61-T 1502-2021 电动汽车充电站(桩)验收规范 陕西省.pdf
GB-T 20984-2022 信息安全技术 信息安全风险评估方法.pdf
DB22-T 2123-2014 栗山天牛综合防治技术规程 吉林省.pdf
交流群
-->
1
/
3
21
评价文档
赞助2元 点击下载(557.6 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。