(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210799484.5 (22)申请日 2022.07.06 (71)申请人 深圳天海宸光科技有限公司 地址 518054 广东省深圳市南 山区粤海街 道科技园社区科苑路8号讯美科技广 场2号楼713 (72)发明人 陈栢钊　段立新　张神力　 (74)专利代理 机构 深圳市深可信专利代理有限 公司 44599 专利代理师 彭光荣 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/25(2022.01) G06T 17/20(2006.01) G06T 7/73(2017.01) (54)发明名称 一种抽烟行为识别方法及系统 (57)摘要 本发明提供了一种抽烟行为识别方法及系 统， 涉及计算机技术领域， 该方法包括： S1、 获取 实时视频流， 通过深度学习目标检测模型effic   i entDet对视 频流进行计算， 获取人员的感兴趣 区域， 所述感兴趣区域包括手的位置和嘴的位 置； S2、 通过手部节点模型获取所述感兴趣区域 中关节点的位置， 并计算关节点位置分布信息； S3、 利用所述关节点位置分布信息， 和已有的标 准手持香烟手 掌节点分布进行对比， 判断当前正 在发生的手掌动作是否符合抽烟时的手掌节点 位置分布， 若是， 则识别为抽烟行为， 通过目标检 测获取人员的感兴趣候选区域， 从而减少了不必 要的检测， 可 以使计算资源得到更好得利用； 并 且， 鲁棒性更强， 适应各种复杂的场景。 权利要求书2页 说明书5页 附图1页 CN 115359381 A 2022.11.18 CN 115359381 A 1.一种抽烟行为识别方法， 其特 征在于： 包括以下的步骤： S1、 获取实时视频流， 通过深度学习目标检测模型e fficientDet对视频流进行计算， 获 取人员的感兴趣区域， 所述感兴趣区域包括手的位置和嘴的位置； S2、 通过手部节点模型获取所述感兴趣区域中关节点的位置， 并计算关节点位置分布 信息； S3、 利用所述关节点位置分布信息， 和已有的标准手持香烟手掌节点分布进行对比， 判 断当前正在发生的手掌动作是否符合抽烟时的手掌节点位置分布， 若是， 则识别为抽烟行 为。 2.如权利要求1所述的一种抽烟行为识别方法， 其特 征在于： 还 包括步骤： S4、 将目标检测结果中出现的手持烟的手， 与手持其他物品的手或未持有物品的手进 行对比， 判断当前的动作行为是否为抽烟行为。 3.如权利要求1所述的一种抽烟行为识别方法， 其特征在于： 所述步骤S1中， 深度学习 目标检测模型 efficientDet对视频流进行计算， 包括以下的步骤： S101、 通过动态可伸缩的卷积神经网络对视频流进行 特征提取； S102、 将提取到的特 征用循环跳跃组合的形式进行融合； S103、 对融合的特 征进行计算得到目标信息 。 4.如权利要求3所述的一种抽烟行为识别方法， 其特征在于： 所述步骤S2， 包括以下的 步骤： S21、 收集大量手掌数据， 对该手掌数据， 使用自动节点标注方法对其手掌的各个节点 进行标注， 利用Pixel2Mesh算法将获取到的节点映射到立体空间中； S22、 通过SpatialRelationship Net网络对空间节点数据进行计算， 将得到的特征图重 新排布； S23、 重新排布后的特征图经过全连接层的计算输出最终的结果， 即关节点位置分布信 息。 5.如权利要求4所述的一种抽烟行为识别方法， 其特征在于： 所述步骤S21中， 利用 Pixel2Mesh算法将获取到的节点映射到立体空间中， 包括以下的步骤： S201、 将任意输入的图片均随机的初始化一个目标的外接椭圆， 作为初始的三维特征 形状， 网络模型有两个 分支， 一个分支用全卷积神经网络负责输入图片的特征提取， 另外一 个分支负责三维网格特 征的提取； S202、 通过 所述两个分支的不断融合计算， 将三维网格 变形为所需要的三维模型。 6.如权利要求5所述的一种抽烟行为识别方法， 其特征在于： 所述步骤S22， 包括以下的 步骤： S221、 将输入的图片计算 转换成特定的密集空间点 位置信息； S222、 卷积神经网路CBL结构输出两种类型的特张图， 分别由最大池化和平均池化所 得， 将该两种池化结果进行 特征融合； S223、 将融合后的特 征送入到下一个网络结构中， 将所 得到的特 征图重新 排布。 7.一种抽 烟行为识别系统， 其特征在于： 包括深度学习目标检测模型e fficientDet、 手 部节点模型和判断模块， 深度学习目标检测模型e fficientDet用于对获取的实时视频流进行计算， 获取人员的权　利　要　求　书 1/2 页 2 CN 115359381 A 2感兴趣区域， 所述感兴趣区域包括手的位置和嘴的位置； 手部节点模型用于获取所述感兴趣区域中关节点的位置， 并计算关节点位置分布信 息； 判断模块用于对所述关节点的位置分布信 息， 和已有的标准手持香烟手掌节点分布进 行对比， 判断当前正在发生的手掌动作是否 符合抽烟时的手掌节点位置 分布， 若是， 则识别 为抽烟行为。权　利　要　求　书 2/2 页 3 CN 115359381 A 3