(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672129.3 (22)申请日 2021.12.31 (71)申请人 无锡致同知新科技有限公司 地址 214000 江苏省无锡市新吴区龙山路4 号C幢116-1 (72)发明人 宋晓宁　刘振兴　周晋成　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 代理人 沈鑫 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多维度特征抽取的拥挤行人检测 方法 (57)摘要 本发明公开了一种基于多维度特征抽取的 拥挤行人检测方法， 包括， 利用数据增强模块对 图像数据I增强， 并将增强后的图像数据输入特 征提取网络得到特征图F； 将特征图F输入多维度 特征抽取模块， 得到携带目标信息的特征图， 并 输入候选区域网络进行一阶段分类和回归获得 候选框及锚点； 将携带目标信息的特征图输入感 兴趣区域对齐模块和选框及锚点结合输入全连 接层进行二阶段的分类和回归， 完成行人检测； 本发明基于多维度特征抽取模块在严重遮挡情 况下经过多维度特征抽取以及数据增强过程依 旧可以实现很好的识别效果。 权利要求书2页 说明书7页 附图3页 CN 114419548 A 2022.04.29 CN 114419548 A 1.一种基于多维度特 征抽取的拥挤行 人检测方法， 其特 征在于： 包括： 利用数据增强模块对图像数据I增强， 并将增强后的图像数据输入特征提取网络得到 特征图F； 将所述特征图F输入多维度 特征抽取模块， 得到携带目标信 息的特征图， 并输入候选区 域网络进行一阶段分类和回归获得候选 框及锚点； 将所述携带目标信息的特征图输入感兴趣区域对齐模块和所述选框及锚点结合输入 全连接层进行二阶段的分类和回归， 完成行 人检测。 2.如权利要求1所述的基于多维度特征抽取的拥挤行人检测方法， 其特征在于： 所述数 据增强模块基于随机擦除算法丰富图像数据I。 3.如权利要求2所述的基于多维度特征抽取的拥挤行人检测方法， 其特征在于： 还包 括： 图像数据 I∈[H×W×C]， H为高， W为宽， C为通道数， 设置擦除区域的宽不超过0.5W且不 小于0.3W， 设置擦除区域的高为0.1H， 对每张图像至多做两次的数据增强。 4.如权利要求1～3任一所述的基于多维度特征抽取的拥挤行人检测方法， 其特征在 于： 所述特 征提取网络为特 征金字塔网络 。 5.如权利要求4所述的基于多维度特征抽取的拥挤行人检测方法， 其特征在于： 还包 括： 所述特征金字塔网络包括自下而上结构和自上而下结构， 且所述自下而上结构和自上 而下结构横向连接， 选取残差特征抽取网络作为所述自下而上结构， 用每个阶段的最后一 个残差块输出的特征图， 并定义为C2、 C3、 C4、 C5， 自上而下结构的每一层特征通过最近邻插 值上采样法， 输出 特征被定义 为P2、 P3、 P4、 P5， 与C2、 C 3、 C4、 C5相对应。 6.如权利要求5所述的基于多维度特 征抽取的拥挤行 人检测方法， 其特 征在于： 包括： 自上而下 结构与自下而上 结构通过1 ×1卷积减少通道数后进行 逐元素相加输出。 7.如权利要求1、 5或6任一所述的基于多维度 特征抽取的拥挤行人检测方法， 其特征在 于： 所述多维度特 征抽取模块包括近邻通道特 征抽取层、 空间特 征抽取层和可变形 卷积； 所述特征图F经过近邻通道特征抽取层并利用有效通道进行注意力处理， 并将处理后 的目标特征通过 空间特征层输出特征并和原特征逐元素相加， 将相加后的特征使用可变形 卷积对齐后输出携带目标信息的特 征图。 8.如权利要求7所述的基于多维度特征抽取的拥挤行人检测方法， 其特征在于： 所述邻 通道特征抽取层包括： 输入特征图F∈[H ×W×C]至近邻通道特征抽取层， 在不降低维度的情况下进行逐通道 的全局平均池化， 同时仅考虑每个通道及其k个近邻通道之间的跨通道交互， 通过sigmoid 函数处理， 与输入特 征图F进行 逐元素相乘， 输出 特征K。 9.如权利要求8所述的基于多维度特征抽取的拥挤行人检测方法， 其特征在于： 所述空 间特征抽取层包括： 所述特征K通过一个基于通道的全局最大池化和全局平均池化操作， 得到两个大小为 [H×W×1]的特征图， 将两个特征图基于通道进行拼接， 作为7 ×7卷积的输入， 经过卷积把 通道数降维为1， 最后把降维后的特征经过sigmoid函数得到携带目标信息的特征图， 与原 输入特征做逐元素乘法得到空间注意力的输出， 公式如下：权　利　要　求　书 1/2 页 2 CN 114419548 A 2S(K)＝σ(f7×7([GAP(K)； GMP(K)]) ) 其中， S(K)为空间特征抽取操作， σ()为sigmoid函数， f7×7()为对特征进行卷积核大小 为7x7的卷积操作， GAP(K)为对特征K进行全局平均池化操作， GMP(K)为对特征K进行全局最 大池化操作。 10.如权利要求1、 2、 3、 5、 8或9任一所述的基于多维度特征抽取的拥挤行人检测方法， 其特征在于： 分类和回归 包括： 分类和回归的交叉熵损失函数L({pi}， {ti})为： 其中， i为每个训练批次中的锚点下标， pi表示第i个锚点预测是目标的概率， ti为预测 框的4个坐标向量， Ncls为目标类别数量， Lcls为分类损失， 为地面真实值的标签， Nreg为 候选框数量， Lreg为回归损失， 为面真实值的框 。权　利　要　求　书 2/2 页 3 CN 114419548 A 3