公共安全标准网
文库搜索
切换导航
文件分类
频道
联系我们
问题反馈
文件分类
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210576032.0 (22)申请日 2022.05.25 (71)申请人 腾讯科技 (深圳) 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 张雨春 (74)专利代理 机构 深圳市联鼎知识产权代理有 限公司 4 4232 专利代理师 陈文君 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/215(2019.01) (54)发明名称 数据处理方法、 装置、 计算机可读介质及电 子设备 (57)摘要 本申请公开了一种数据处理方法、 装置、 计 算机可读介质及电子设备, 所述方法包括: 通过 至少一种哈希算法对目标场景中的各个待处理 数据进行哈希 运算处理, 得到各个待处理数据对 应的至少一个哈希值; 将待处理数据叠加至预设 数据列表中与哈希算法和哈希值对应位置处的 数据, 得到各个哈希算法对应的叠加数据; 对预 设数据列表中与各个哈希算法对应的叠加数据 进行排序, 根据排序结果获取目标叠加数据和非 目标数据; 根据目标叠加数据和非目标数据, 计 算多个待处理数据中与设定指标匹配的数据。 本 申请技术方案使得待处理数据从原始值空间数 据转化为占用较小存储空间的数据, 从而极大地 降低了数据处理时对存储空间的要求, 节省了指 标计算所需的资源。 权利要求书3页 说明书19页 附图7页 CN 115114283 A 2022.09.27 CN 115114283 A 1.一种数据处 理方法, 其特 征在于, 包括: 通过至少一种哈希算法对目标场景中的各个待处理数据进行哈希运算处理, 得到各个 待处理数据对应的至少一个哈希值; 根据所述待处理数据对应的至少一个哈希值, 将所述待处理数据叠加至预设数据列表 中与所述哈希算法和所述哈希值对应位置处的数据, 得到各个哈希算法对应的叠加数据; 对所述预设数据列表中与 各个哈希算法对应的叠加数据进行排序, 根据排序 结果获取 对应于所述各个哈希算法、 且与设定指标匹配的目标叠加数据, 并根据所述各个哈希算法 对应的叠加数据中除所述目标叠加数据之外的其它叠加数据, 生成所述各个哈希算法对应 的非目标 数据; 根据所述目标叠加数据和所述非目标数据, 计算所述多个待处理数据中与 所述设定指 标匹配的数据, 以得到所述目标场景对应的数据处 理结果。 2.根据权利要求1所述的数据处理方法, 其特征在于, 所述待处理数据包括键值对形式 的数据; 所述通过至少一种哈希算法对目标场景中的各个待处理数据进行哈希运算处理, 包 括: 通过至少一种哈希算法对目标场景中的各个待处 理数据的键进行哈希运 算处理; 所述根据 所述待处理数据对应的至少一个哈希值, 将所述待处理数据叠加至预设数据 列表中与所述哈希算法和所述哈希值对应位置处的数据, 包括: 根据所述待处理数据对应 的至少一个哈希值, 将所述待处理数据的值叠加至预设数据列 表中与所述哈希算法和所述 哈希值对应位置处的数据。 3.根据权利要求2所述的数据处理方法, 其特征在于, 所述哈希算法包括哈希函数运算 和取模运算; 所述通过至少一种哈希算法对目标场景中的各个待处理数据的键进 行哈希运 算处理, 得到各个待处 理数据对应的至少一个哈希值, 包括: 通过至少一种哈希函数运算对所述目标场景中的各个待处理数据的键进行哈希计算, 得到各个待处 理数据的至少一个哈希结果; 将所述各个待处理数据的至少一个哈希结果针对预设哈希分桶数进行取模运算, 将取 模运算的结果作为所述各个待处理数据对应的至少一个哈希值; 所述预设哈希分桶数用于 指示所述预设数量列表所占用存 储空间的大小。 4.根据权利要求1所述的数据处理方法, 其特征在于, 所述哈希算法对应的叠加数据包 括多个哈希桶存储的叠加数据, 一个哈希桶表示所述预设数据列表中的一个存储位置; 根 据排序结果获取对应于所述各个哈希算法、 且与设定指标匹配的目标叠加数据, 包括: 根据排序 结果获取对应于所述各个哈希算法、 且与设定指标匹配的设定数量个哈希桶 所存储的叠加数据; 对所述设定数量个哈希桶所存储的叠加数据求和, 作为所述各个哈希算法对应的目标 叠加数据。 5.根据权利要求1所述的数据处理方法, 其特征在于, 根据 所述各个哈希算法对应的叠 加数据中除所述目标叠加数据之外的其它叠加数据, 生成所述各个哈希算法对应的非目标 数据, 包括: 根据所述哈希算法对应的叠加数据中除所述目标叠加数据之外的其它叠加数据, 以及 所述其它叠加数据对应的待处 理数据量, 生成非目标 数据的数值期望;权 利 要 求 书 1/3 页 2 CN 115114283 A 2根据所述目标叠加数据对应的待处 理数据量, 计算非目标 数据的数量期望; 根据所述非目标数据的数值期望和所述非 目标数据的数量期望的乘积, 生成所述哈希 算法对应的非目标 数据。 6.根据权利要求5所述的数据处理方法, 其特征在于, 根据 所述哈希算法对应的叠加数 据中除所述目标叠加数据之外的其它叠加数据, 以及所述其它叠加数据对应的待处理数据 量, 生成非目标 数据的数值期望, 包括: 对所述哈希算法对应的叠加数据中除所述目标叠加数据之外的其它叠加数据求和, 得 到所述哈希算法对应的非目标叠加数据; 根据所述其它叠加数据对应的待处理数据量, 确定所述其它叠加数据对应的待处理数 据去重数; 根据所述非目标叠加数据和所述其它叠加数据对应的待处理数据去重数的比值, 得到 非目标数据的数值期望 。 7.根据权利要求6所述的数据处理方法, 其特征在于, 所述待处理数据包括键值对形式 的数据; 根据所述其它叠加数据对应的待处理数据量, 确定所述其它叠加数据对应的待处 理数据去重数, 包括: 根据待处理数据的键, 对所述目标场景中的多个待处理数据进行去重处理, 得到待处 理数据去重总数; 根据待处理数据的键, 对所述目标叠加数据对应的多个待处理数据进行去重处理, 得 到所述目标叠加数据对应的待处 理数据去重数; 根据所述待处理数据去重总数和所述目标叠加数据对应的待处理数据去重数的差值, 得到所述 其它叠加数据对应的待处 理数据去重数。 8.根据权利要求5所述的数据处理方法, 其特征在于, 根据 所述目标叠加数据对应的待 处理数据量, 计算非目标 数据的数量期望, 包括: 根据预设哈希分桶数、 所述目标场景对应的待处理数据去重总数和预设拟合函数, 生 成所述目标叠加数据的数量期望; 根据所述目标叠加数据的数量期望和所述设定指标的数值之差, 得到所述非 目标数据 的数量期望 。 9.根据权利要求8所述的数据处理方法, 其特征在于, 在根据预设哈希分桶数、 所述目 标场景对应的待处理数据去重总数和预设拟合函数, 生成所述目标叠加数据的数量期 望之 前, 所述方法还 包括: 根据待定拟合系数, 构建与哈希分桶数和待处 理数据去重总数相关的拟合 函数; 通过样本数据对所述拟合函数进行训练, 以得到所述待定拟合系数的目标数值; 所述 样本哈希分桶数和所述目标场景对应的样本数据去重总数; 根据所述待定拟合系数的目标 数值生成所述预设拟合 函数。 10.根据权利要求9所述的数据处理方法, 其特征在于, 通过样本数据对所述拟合函数 进行训练, 以得到所述待定拟合系数的目标 数值, 包括: 随机生成所述待定拟合系数的初始值; 通过所述待定拟合系数为初始值的拟合函数对样本数据进行计算, 得到所述样本数据 的预测数量期望;权 利 要 求 书 2/3 页 3 CN 115114283 A 3
专利 数据处理方法、装置、计算机可读介质及电子设备
文档预览
中文文档
30 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共30页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 00:14:49
上传分享
举报
下载
原文档
(1.2 MB)
分享
友情链接
腾讯 2022产业互联网安全十大趋势.pdf
T-ACEF 106—2023 公民绿色低碳行为温室气体减排量化指南 行:公交出行.pdf
GM-T 0035.4-2014 射频识别系统密码应用技术要求 第4部分:电子标签与读写器通信密码应用技术要求.pdf
GB-T 22040-2008 公路沿线设施塑料制品耐候性要求及测试方法.pdf
TB-T 1842.3-2016 受电弓滑板 第3部分:碳滑板.pdf
DB3310-T 93-2022 公共数据授权运营指南 台州市.pdf
清华AIGC和ChatGPT报告-192页.pdf
GB-T 5374-2008 摩托车和轻便摩托车可靠性试验方法.pdf
信通院 人工智能治理白皮书.pdf
GB-T 41268-2022 网络关键设备安全检测方法 路由器设备.pdf
GB-T 21720-2022 农贸市场管理技术规范.pdf
T-ZKJXX 00003—2021 基于三维空间信息技术的工程数字化交付技术规范.pdf
专利 一种安全编排和自动化响应方法.PDF
民航 MH-T 2014-2023 民用无人驾驶航空器系统物流运行通用要求 第1部分:海岛场景.pdf
舟山市科技创新促进条例.pdf
数据资产管理制度.pdf
GB-T 18781-2023 珍珠分级.pdf
奇安信 中国政企机构数据安全风险研究报告.pdf
DB3305-T 216-2021 计量检定、校准数据交互规范 湖州市.pdf
GB-T 18250-2015 建筑幕墙层间变形性能分级及检测方法.pdf
交流群
-->
1
/
3
30
评价文档
赞助2元 点击下载(1.2 MB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。