公共安全标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210896304.5 (22)申请日 2022.07.27 (71)申请人 济南浪潮数据技 术有限公司 地址 250101 山东省济南市自由贸易试验 区济南片区浪潮路1036号 浪潮科技园 S05楼S311室 (72)发明人 魏胜杰  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 夏菁 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01) G06N 20/00(2019.01) (54)发明名称 一种日志分析方法、 装置、 设备及可读存储 介质 (57)摘要 本申请公开了一种日志分析方法、 装置、 设 备及可读 存储介质, 该方法包括: 采集日志; 对各 日志进行特征词提取, 得到各日志中的特征词; 将各日志中的特征词对应构成各日志的特征词 集; 根据各日志的特征词集、 包含有多个种子的 种子集, 确定各日志对应的种子, 并将各日志分 别归入到 各日志对应的种子所在的类中。 本申请 公开的技术方案, 对日志进行特征词提取, 以从 日志中提取关键信息, 根据日志的特征词集对采 集到的日志进行汇聚分类, 以实现从采集到的日 志中得到关键信息及日志所属类别等重要的信 息, 从而使得运维人员可 以更快、 更好地进行日 志的查询和使用, 并且对日志进行分析所得到的 结果还可以作为自动化运维相关的机器学习的 语料库。 权利要求书2页 说明书11页 附图3页 CN 115186663 A 2022.10.14 CN 115186663 A 1.一种日志分析 方法, 其特 征在于, 包括: 采集日志; 对各所述日志进行 特征词提取, 得到各 所述日志中的特 征词; 将各所述日志中的特 征词对应构成各 所述日志的特 征词集; 根据各所述日志的特征词集、 包含有多个种子的种子集, 确定各所述日志对应的种子, 并将各所述日志分别归 入到各所述日志对应的种子所在的类中。 2.根据权利要求1所述的日志分析方法, 其特征在于, 根据各所述日志 的特征词集、 包 含有多个种子的种子集, 确定各所述日志对应的种子, 并将各所述日志分别归入到各所述 日志对应的种子所在的类中, 包括: 将各所述日志的特征词集映射成各所述日志对应的第一hash串, 将所述种子集中的各 所述种子映射成各 所述种子对应的第二hash串; 根据各所述日志对应的第一hash串、 各所述种子对应的第二hash串, 计算各所述日志 与每个所述种子之间的距离; 将与各所述日志距离最近的种子确定为相应日志对应的种子, 并将各所述日志分别归 入到对应种子所在的类中。 3.根据权利要求2所述的日志分析方法, 其特征在于, 在分别将与各所述日志距离最近 的种子确定为相应日志对应的种子, 并将各所述日志分别归入到对应种子所在的类中之 后, 还包括: 根据各所述种子所在的类 中包含的日志对应的第一hash串, 对应计算相应类对应的中 心点的第三hash串; 根据各所述日志对应的第一hash串、 各所述中心点的第三hash串, 计算各所述日志与 每个所述中心点之间的距离; 判断各所述中心点是否对应所述种子集中已有的种子; 若存在有中心点不对应所述种 子集中已有的种子, 则根据所述中心点的第三hash串确定新的种子, 并将所述新的种子加 入所述种子集中; 分别将与各所述日志距离最近的中心点对应的种子确定为相应日志对应的种子, 并将 各所述日志分别归 入到对应种子所在的类中; 判断对各所述日志进行当前次归类的归类结果与 上次归类的归类结果是否一致, 若不 一致, 则返回执行所述根据各所述种子所在的类中包含的日志对应的第一hash串, 对应计 算相应类对应的中心 点的第三hash串的步骤, 直至对各所述日志进 行当前次归类的归类结 果与上次归类的归类结果 一致为止。 4.根据权利要求1所述的日志分析方法, 其特征在于, 对各所述日志进行特征词提取, 得到各所述日志中的特 征词, 包括: 对各所述日志进行分词处 理, 得到各 所述日志包 含的词语; 计算各所述日志包 含的每个所述词语的词频及每 个所述词语的重要程度; 根据各所述日志包含的每个所述词语的词频及每个所述词语的重要程度, 计算各所述 日志包含的每个所述词语的权 重; 将各所述日志中权 重大于权重阈值的词语作为相应日志中的特 征词。 5.根据权利要求4所述的日志分析方法, 其特征在于, 计算各所述日志包含的每个所述权 利 要 求 书 1/2 页 2 CN 115186663 A 2词语的重要程度, 包括: 利用 计算所述日志包 含的第i个词语的重要程度Ii; 其中, D为本次采集的日志总数, Dj为本次采集到的第j条日志, {j:i∈Dj}为本次采集的 日志中包 含有所述日志所包 含的第i个词语的日志数。 6.根据权利要求5所述的日志分析方法, 其特征在于, 根据 各所述日志包含的每个所述 词语的词 频及每个所述词语的重要程度, 计算各所述日志包含的每个所述词语的权重, 包 括: 利用IFi=Fi*Ii计算所述日志包含的第i个词语的权重IFi; 其中, Fi为所述日志包含的 第i个词语的词频。 7.根据权利要求1所述的日志分析方法, 其特征在于, 在将各所述日志分别归入到各所 述日志对应的种子所在的类中之后, 还 包括: 将所述日志、 所述日志的特 征词集、 所述日志的归类结果存 入到数据库中。 8.一种日志分析装置, 其特 征在于, 包括: 采集模块, 用于采集日志; 提取模块, 用于对各 所述日志进行 特征词提取, 得到各 所述日志中的特 征词; 构成模块, 用于将各 所述日志中的特 征词对应构成各 所述日志的特 征词集; 确定模块, 用于根据 各所述日志的特征词集、 包含有多个种子的种子集, 确定各所述日 志对应的种子, 并将各 所述日志分别归 入到各所述日志对应的种子所在的类中。 9.一种日志分析设备, 其特 征在于, 包括: 存储器, 用于存 储计算机程序; 处理器, 用于执行所述计算机程序时实现如权利要求1至7任一项所述的日志分析方法 的步骤。 10.一种可读存储介质, 其特征在于, 所述可读存储介质中存储有计算机程序, 所述计 算机程序被处 理器执行时实现如权利要求1至7任一项所述的日志分析 方法的步骤。权 利 要 求 书 2/2 页 3 CN 115186663 A 3

PDF文档 专利 一种日志分析方法、装置、设备及可读存储介质

文档预览
中文文档 17 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种日志分析方法、装置、设备及可读存储介质 第 1 页 专利 一种日志分析方法、装置、设备及可读存储介质 第 2 页 专利 一种日志分析方法、装置、设备及可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-03-03 12:14:27上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。