公共安全标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210576032.0 (22)申请日 2022.05.25 (71)申请人 腾讯科技 (深圳) 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 张雨春  (74)专利代理 机构 深圳市联鼎知识产权代理有 限公司 4 4232 专利代理师 陈文君 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/215(2019.01) (54)发明名称 数据处理方法、 装置、 计算机可读介质及电 子设备 (57)摘要 本申请公开了一种数据处理方法、 装置、 计 算机可读介质及电子设备, 所述方法包括: 通过 至少一种哈希算法对目标场景中的各个待处理 数据进行哈希 运算处理, 得到各个待处理数据对 应的至少一个哈希值; 将待处理数据叠加至预设 数据列表中与哈希算法和哈希值对应位置处的 数据, 得到各个哈希算法对应的叠加数据; 对预 设数据列表中与各个哈希算法对应的叠加数据 进行排序, 根据排序结果获取目标叠加数据和非 目标数据; 根据目标叠加数据和非目标数据, 计 算多个待处理数据中与设定指标匹配的数据。 本 申请技术方案使得待处理数据从原始值空间数 据转化为占用较小存储空间的数据, 从而极大地 降低了数据处理时对存储空间的要求, 节省了指 标计算所需的资源。 权利要求书3页 说明书19页 附图7页 CN 115114283 A 2022.09.27 CN 115114283 A 1.一种数据处 理方法, 其特 征在于, 包括: 通过至少一种哈希算法对目标场景中的各个待处理数据进行哈希运算处理, 得到各个 待处理数据对应的至少一个哈希值; 根据所述待处理数据对应的至少一个哈希值, 将所述待处理数据叠加至预设数据列表 中与所述哈希算法和所述哈希值对应位置处的数据, 得到各个哈希算法对应的叠加数据; 对所述预设数据列表中与 各个哈希算法对应的叠加数据进行排序, 根据排序 结果获取 对应于所述各个哈希算法、 且与设定指标匹配的目标叠加数据, 并根据所述各个哈希算法 对应的叠加数据中除所述目标叠加数据之外的其它叠加数据, 生成所述各个哈希算法对应 的非目标 数据; 根据所述目标叠加数据和所述非目标数据, 计算所述多个待处理数据中与 所述设定指 标匹配的数据, 以得到所述目标场景对应的数据处 理结果。 2.根据权利要求1所述的数据处理方法, 其特征在于, 所述待处理数据包括键值对形式 的数据; 所述通过至少一种哈希算法对目标场景中的各个待处理数据进行哈希运算处理, 包 括: 通过至少一种哈希算法对目标场景中的各个待处 理数据的键进行哈希运 算处理; 所述根据 所述待处理数据对应的至少一个哈希值, 将所述待处理数据叠加至预设数据 列表中与所述哈希算法和所述哈希值对应位置处的数据, 包括: 根据所述待处理数据对应 的至少一个哈希值, 将所述待处理数据的值叠加至预设数据列 表中与所述哈希算法和所述 哈希值对应位置处的数据。 3.根据权利要求2所述的数据处理方法, 其特征在于, 所述哈希算法包括哈希函数运算 和取模运算; 所述通过至少一种哈希算法对目标场景中的各个待处理数据的键进 行哈希运 算处理, 得到各个待处 理数据对应的至少一个哈希值, 包括: 通过至少一种哈希函数运算对所述目标场景中的各个待处理数据的键进行哈希计算, 得到各个待处 理数据的至少一个哈希结果; 将所述各个待处理数据的至少一个哈希结果针对预设哈希分桶数进行取模运算, 将取 模运算的结果作为所述各个待处理数据对应的至少一个哈希值; 所述预设哈希分桶数用于 指示所述预设数量列表所占用存 储空间的大小。 4.根据权利要求1所述的数据处理方法, 其特征在于, 所述哈希算法对应的叠加数据包 括多个哈希桶存储的叠加数据, 一个哈希桶表示所述预设数据列表中的一个存储位置; 根 据排序结果获取对应于所述各个哈希算法、 且与设定指标匹配的目标叠加数据, 包括: 根据排序 结果获取对应于所述各个哈希算法、 且与设定指标匹配的设定数量个哈希桶 所存储的叠加数据; 对所述设定数量个哈希桶所存储的叠加数据求和, 作为所述各个哈希算法对应的目标 叠加数据。 5.根据权利要求1所述的数据处理方法, 其特征在于, 根据 所述各个哈希算法对应的叠 加数据中除所述目标叠加数据之外的其它叠加数据, 生成所述各个哈希算法对应的非目标 数据, 包括: 根据所述哈希算法对应的叠加数据中除所述目标叠加数据之外的其它叠加数据, 以及 所述其它叠加数据对应的待处 理数据量, 生成非目标 数据的数值期望;权 利 要 求 书 1/3 页 2 CN 115114283 A 2根据所述目标叠加数据对应的待处 理数据量, 计算非目标 数据的数量期望; 根据所述非目标数据的数值期望和所述非 目标数据的数量期望的乘积, 生成所述哈希 算法对应的非目标 数据。 6.根据权利要求5所述的数据处理方法, 其特征在于, 根据 所述哈希算法对应的叠加数 据中除所述目标叠加数据之外的其它叠加数据, 以及所述其它叠加数据对应的待处理数据 量, 生成非目标 数据的数值期望, 包括: 对所述哈希算法对应的叠加数据中除所述目标叠加数据之外的其它叠加数据求和, 得 到所述哈希算法对应的非目标叠加数据; 根据所述其它叠加数据对应的待处理数据量, 确定所述其它叠加数据对应的待处理数 据去重数; 根据所述非目标叠加数据和所述其它叠加数据对应的待处理数据去重数的比值, 得到 非目标数据的数值期望 。 7.根据权利要求6所述的数据处理方法, 其特征在于, 所述待处理数据包括键值对形式 的数据; 根据所述其它叠加数据对应的待处理数据量, 确定所述其它叠加数据对应的待处 理数据去重数, 包括: 根据待处理数据的键, 对所述目标场景中的多个待处理数据进行去重处理, 得到待处 理数据去重总数; 根据待处理数据的键, 对所述目标叠加数据对应的多个待处理数据进行去重处理, 得 到所述目标叠加数据对应的待处 理数据去重数; 根据所述待处理数据去重总数和所述目标叠加数据对应的待处理数据去重数的差值, 得到所述 其它叠加数据对应的待处 理数据去重数。 8.根据权利要求5所述的数据处理方法, 其特征在于, 根据 所述目标叠加数据对应的待 处理数据量, 计算非目标 数据的数量期望, 包括: 根据预设哈希分桶数、 所述目标场景对应的待处理数据去重总数和预设拟合函数, 生 成所述目标叠加数据的数量期望; 根据所述目标叠加数据的数量期望和所述设定指标的数值之差, 得到所述非 目标数据 的数量期望 。 9.根据权利要求8所述的数据处理方法, 其特征在于, 在根据预设哈希分桶数、 所述目 标场景对应的待处理数据去重总数和预设拟合函数, 生成所述目标叠加数据的数量期 望之 前, 所述方法还 包括: 根据待定拟合系数, 构建与哈希分桶数和待处 理数据去重总数相关的拟合 函数; 通过样本数据对所述拟合函数进行训练, 以得到所述待定拟合系数的目标数值; 所述 样本哈希分桶数和所述目标场景对应的样本数据去重总数; 根据所述待定拟合系数的目标 数值生成所述预设拟合 函数。 10.根据权利要求9所述的数据处理方法, 其特征在于, 通过样本数据对所述拟合函数 进行训练, 以得到所述待定拟合系数的目标 数值, 包括: 随机生成所述待定拟合系数的初始值; 通过所述待定拟合系数为初始值的拟合函数对样本数据进行计算, 得到所述样本数据 的预测数量期望;权 利 要 求 书 2/3 页 3 CN 115114283 A 3

.PDF文档 专利 数据处理方法、装置、计算机可读介质及电子设备

文档预览
中文文档 30 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共30页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法、装置、计算机可读介质及电子设备 第 1 页 专利 数据处理方法、装置、计算机可读介质及电子设备 第 2 页 专利 数据处理方法、装置、计算机可读介质及电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:14:49上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。