(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221070143 5.3 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114780940 A (43)申请公布日 2022.07.22 (73)专利权人 中铁电气化局集团有限公司 地址 100036 北京市丰台区丰台路口139号 202室 (72)发明人 徐勇烈　郭俊亮　解德元　郝文明　 王跃辉　王建廷　李季　蒋琪　 廖晨光　陶武建　张瀚森　李赛学　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会(51)Int.Cl. G06F 21/32(2013.01) G06F 21/62(2013.01) G06N 5/04(2006.01) 审查员 郝婕 (54)发明名称 跨系统数据共享交互的项目运行监控及预 警方法、 系统 (57)摘要 本发明属于项目运行监控及预警领域， 具体 涉及了一种基于跨系统数据共享交互的项目运 行监控及预警方法、 系统， 旨在解决现有项目运 行监控和预警 中信息的安全性、 及时性和可靠性 无法保证， 信息处理效率低， 从而无法准确实现 项目运行监控和预警的问题。 本发明包括： 对监 控端的用户进行多模态身份识别； 对识别验证通 过的用户发送权限账户， 并调取待监控及预警项 目的历史数据和实时数据； 通过历史数据进行类 脑语义层次的时序记忆推理模型的训练， 并基于 实时数据推理获得项目的实时监控及预测结果。 本发明项目监控和预警中数据安全性、 及时性和 可控性高， 信息处理效率高， 监控和预警结果准 确。 权利要求书3页 说明书12页 附图2页 CN 114780940 B 2022.09.09 CN 114780940 B 1.一种基于跨系统数据共享交互的项目运行监控及预警方法， 其特征在于， 该方法包 括： 监控端获取用户的多模态身份识别数据； 所述多模态身份识别数据包括用户的人脸视 频数据、 语音数据和文本数据； 通过预设的身份识别方法进行监控端用户身份识别， 获得监控端用户识别的视频语音 识别结果和文本识别结果， 并根据所述视频语音识别结果和文本识别结果进行身份验证； 若身份验证通过， 监控端获得相应的权限账户， 并通过所述权限账户调取待监控及预 警项目的历史数据和实时数据； 所述历史数据存 储于系统平台的多个区块链中； 构建类脑语义层次的时序记忆推理模型， 并基于待监控及预警项目的历史数据进行模 型训练， 通过训练好的模型进行实时数据推理， 获得项目的实时监控及预测结果； 所述预设的身份识别方法为： 基于监控端获取的用户的多模态身份识别数据， 通过多模态身份识别模型进行监控端 用户身份识别， 获得监控端用户识别的视频语音识别结果和文本识别结果； 所述多模态身 份识别模型包括视频识别模型、 语音识别模型、 视频语音匹配模型和文本识别模型； 所述视频语音匹配模型， 用于识别当前视频语音数据的来源是否为同一用户， 其匹配 方法为： 步骤A10， 获取监控端采集的用户视频语音数据， 并将所述视频语音数据中的语音数据 根据视频时间戳划分为对应的语音片断； 步骤A20， 通过预定义的口部关键点模板对所述视频语音数据的每一帧进行口型关键 点检测， 并基于每一帧的 口型关键点 生成动态口型； 分别计算每个语音片断的MFCC系数， 并基于所述MFCC系数结合对应视频的时间戳、 动 态口型的关键点 位置， 生成语音数据的语音口型； 步骤A30， 通过关键点曲线比对方法进行视频语音数据的动态口型和语音口型的匹配： 分别提取每一帧对应的动态口型和语音口型的每一个关键点， 以每一帧的帧数作为时间 线， 分别拟合每个关键点对应的动态口型曲线和语音口型曲线， 针对任一关键点， 对比其拟 合的动态口型曲线和语音口型曲线， 若拟合 曲线的重合度大于设定值， 则 当前关键点比对 通过， 遍历 每一个关键点， 若 所有关键点均比对通过， 则当前视频语音 数据的来源为同一用 户。 2.根据权利要求1所述的基于跨系统数据共享交互的项目运行监控及预警方法， 其特 征在于， 所述 根据所述视频语音识别结果和文本识别结果进行身份验证， 其方法为： 若视频语音识别结果和文本识别结果的置信度值均高于设定阈值， 则验证通过， 返回 身份验证成功信息； 若视频语音识别结果和文本识别结果的置信度值均低于设定阈值， 则验证不通过， 返 回身份验证失败信息； 否则， 重新发起置信度值均低于设定阈值的模态数据的采集与识别流程， 当重新发起 采集与识别流 程的次数 大于预设值时， 验证不 通过， 返回身份验证失败信息 。 3.根据权利要求2所述的基于跨系统数据共享交互的项目运行监控及预警方法， 其特 征在于， 所述视频语音数据的动态口型和语音口型， 还可以通过相似度进行匹配： 计算每一帧视频语音数据的动态口型和语音口型之间的相似度， 若相似度大于预设阈权　利　要　求　书 1/3 页 2 CN 114780940 B 2值的视频语音 数据的帧数在整个视频语音 数据的帧数的占比大于预设比值， 则当前视频语 音数据的来源为同一用户。 4.根据权利要求3所述的基于跨系统数据共享交互的项目运行监控及预警方法， 其特 征在于， 所述口型关键点包括1个左嘴角点、 1个右嘴角点、 2个上 唇边点、 2个下 唇边点。 5.根据权利要求1所述的基于跨系统数据共享交互的项目运行监控及预警方法， 其特 征在于， 针对关键点中的任一个， 所述拟合曲线的重合度， 其获取 方法为： 分别通过关键点曲线 匹配模型， 在动态口型的关键点曲线和语音口型的关键点曲线的 区域内求 解Helmho lte方程的本征值， 并分别构建曲线 描述子； 通过加权欧式距离对曲线 描述子进行差异性度量； 若差异性度量值低于设定的阈值， 则判定当前关键点的拟合曲线的重合度满足条件， 当前关键点比对通过。 6.根据权利要求5所述的基于跨系统数据共享交互的项目运行监控及预警方法， 其特 征在于， 所述差异性度量， 其表示 为： 其中， 代表差异性度量值， ， 为动态口 型的关键点曲线的曲线描述子的第 个分量， 为语音口型的关键点曲线的曲线描述 子的第 个分量， 为表示曲线描述子的第 个分量和第 个分量的权重比例， 为曲线 描述子的分量的数量。 7.根据权利要求5所述的基于跨系统数据共享交互的项目运行监控及预警方法， 其特 征在于， 所述关键点曲线匹配模型， 其训练方法为： 步骤B10， 获取多个用户对应的视频语音数据作为训练数据集， 并为所述训练数据集中 每一个训练数据设定软 标签； 步骤B20， 对于任一训练数据， 分别通过关键点曲线匹配模型在动态口型的关键点曲线 和语音口型的关键点曲线的区域内求 解Helmho lte方程的本征值， 分别构建曲线 描述子； 步骤B30， 通过加权欧式距离对曲线 描述子进行差异性度量， 获得差异性度量 值； 步骤B40， 计算所述差异性度量 值与训练数据对应的标签之间的概 率分布损失； 步骤B50， 以概率分布损失值下降方向进行网络参数调整并迭代训练， 直至达到设定的 训练结束条件， 获得训练好的关键点曲线匹配模型。 8.根据权利要求7所述的基于跨系统数据共享交互的项目运行监控及预警方法， 其特 征在于， 所述软 标签为： 将视频语音来自同一用户的训练数据标签记为标签1， 将视频语音来自不同用户且视 频口型与语音明显不对应的训练数据标签记为标签0， 其余训练数据通过权利要求3步骤 A10‑步骤A20方法处理后， 计算每一帧视频语音 数据的动态口型和语音口型之间的相似度， 并将相似度值归一化到0 ‑1之间， 所述标签1、 所述标签0和归一化到0 ‑1之间的相似度值作权　利　要　求　书 2/3 页 3 CN 114780940 B 3