(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111620249.9 (22)申请日 2021.12.28 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 刘潇　李培华　谢江涛　张雪飞　 吴永秋　吕莎莎　 (74)专利代理 机构 大连理工大 学专利中心 21200 代理人 梅洪玉 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于人体关键点的图卷积网络跌倒检 测方法 (57)摘要 本发明提供了一种基于人体关键点的图卷 积网络跌倒检测方法， 属于计算机视觉技术领 域。 本发明设计了双流图卷积网络， 以图的形式 建模人体姿态， 充分挖掘和利用了人体的姿态信 息， 提高了姿态特征的鲁棒性， 有利于后续的姿 态分类； 同时利用了时序信息， 结合前序帧和当 前帧的检测结果做跌倒的联合判决， 增强跌倒检 测算法的泛化能力； 本发明所述的跌倒检测方法 具有计算复杂度低、 识别准确率高、 易部署和迁 移的特点。 权利要求书2页 说明书5页 附图2页 CN 114387666 A 2022.04.22 CN 114387666 A 1.一种基于人体关键点的图卷积网络跌倒检测方法， 其特征在于， 该方法包括以下步 骤： S1、 人体关键点 提取 基于姿态估计算法对监控图像中的人体进行关键点 提取， 构建姿态关键点数据集； S2、 姿态特 征提取分类 设计一个双流图卷积网络对人体关键点进行姿态特征提取； 所述的双流图卷积网络由 图卷积网络和全连接网络组成； 其中， 图卷积网络提取人体关键点的几何结构信息， 全连接 网络提取关键点的全局信息； 将图卷积网络和全连接网络提取到的姿态特征进行拼接融 合， 送入分类 器完成姿态分类， 得到当前 行人的姿态状态； S3、 跌倒判决 设置姿态分类结果队列， 结合时序信息和分类结果设置风险系数， 对当前行人是否发 生跌倒进行判断。 2.根据权利要求1所述的一种基于人体关键点的图卷积网络跌倒检测方法， 其特征在 于， 所述步骤S1的具体过程如下： S11、 将姿态划分为站立、 弯腰、 坐和躺四类姿态， 采集四类姿态的图像数据； S12、 基于姿态估计算法获取每类姿态图像所对应的关键点信息， 构建姿态关键点数据 集； 具体地， 姿态估计算法所获取的是人体17个关键点的坐标信息， 以鼻子关键点为例， 其 坐标信息为pnose＝[x1,y1]， 将所有关键点的坐标信息级联排列， 得到姿态向量P＝[pnose, pneck,…,pleft_ankle]＝[x1,y1,...,x17,y17]， 以此构建姿态关键点数据集。 3.根据权利要求1或2所述的一种基于人体关键点的图卷积网络跌倒检测方法， 其特征 在于， 所述 步骤S2的具体过程如下： S21、 将姿态向量送入图卷积网络时先将姿态向量构建为骨架图， 再将非结构化的骨架 图表征成结构化的数据形式； 具体过程如下： 首先， 将姿态向量P连接构建成一张无向图， 连接方式如下： 鼻子 ‑左眼， 鼻子 ‑右眼， 左 眼‑右眼， 左眼 ‑左耳， 右眼 ‑右耳， 左耳 ‑左肩， 右眼 ‑右肩， 左肩 ‑左手肘， 右肩 ‑右手肘， 左肩 ‑ 右肩， 左手肘 ‑左手腕， 右手肘 ‑右手腕， 左肩 ‑左胯， 右肩 ‑右跨， 左胯 ‑左膝， 右胯 ‑右膝， 左 膝‑左脚踝， 右膝 ‑右脚踝； 按此 方式连接得到人体骨架图G， G有17个节点和19条边； 其次， 对骨架图G进行结构化的数据表征： 对于骨架图G中的第i个节点， 其节点特征用 其坐标向量pi＝[xi,yi]表示； 对于未检测到的缺省节点， 其节点特征填充0向量， 将17个关 键点的特征向量p1,…,p17按行排列， 得到关于骨架图G 的特征矩阵H； 对于节点的连接关系 采用邻接矩阵A表 示， 邻接矩阵A的第i行第 j列存储了骨架图第个i节 点与第个j节 点的连接 信息， 表示 为 至此， 特征矩阵H和邻接矩阵A对人体骨架图G进行了结构化的数据表征； S22、 搭建图卷积网络对骨架图进行特征提取， 图卷积中对每个节点进行特征更新 时都 会依据节点的连接信息， 对相连 的节点进行特征聚合再更新， 然后将更新后的特征输入到 非线性激活函数中以增强网络的非线性能力； 同时， 经过多层堆叠后深层的网络具有更深 的感受野， 每个节 点能够感知其更多的邻居节点的特征信息， 并将此信息传递到下一层中，权　利　要　求　书 1/2 页 2 CN 114387666 A 2通过堆叠多层图卷积层可以充分挖掘人体姿态的几何结构信息； 定义第l层图卷积函数如 下： 其中， W(l)是卷积网络第l层的权重矩阵， H(l)是第l层的输入特征矩阵， A是邻接矩阵， ReLU是非线性激活函数， D是骨架图节点度的对角阵； 骨架图G的特征矩阵H经过多层图卷积的更新后， 输出特征矩阵Hfinal， 将Hfinal的所有行 向量进行平均池化， 得到姿态特 征向量 S23、 依据提取到的人体的鼻子关键点Pnose＝[x1,y1]和脚踝关键点Pankle＝[x17,y17]， 估 计人体的近似身高h＝max(|x1‑x17|,|y1‑y17|)， 对步骤S 1提取的姿态向量进行身高归一化 得到归一 化后的姿态向量Pnorm； S24、 堆叠两层全连接层构建全连接网络， 对归 一化的姿态向量Pnorm进行特征提取， 得到 姿态特征向量 S25、 将步骤S24中全连接网络提取的姿态特征向量 和步骤S22中图卷积网络提取的姿 态特征向量 进行级联拼接， 得到融合后的特征向量F， 表示按通道进行特征 拼接； 最后将该特征F输入到由两个全 连接层组成的分类器， 最后经过softmax函数归一化， 输出预测的姿态类别。 4.根据权利要求1或2所述的一种基于人体关键点的图卷积网络跌倒检测方法， 其特征 在于， 所述步骤S 3中， 依据前序检测结果进行跌倒判决， 其判决过程如下： 设置一个长度为T 帧的结果队列， 用于存放T帧的姿态分类结果， 依据视频流的每一帧对当前队列做循环更 新； 设置阈值系数α， T帧长度的结果队列里 ‘躺’姿的帧数和为Tlie， 当Tlie＞α T时则做出跌倒 判断。 5.根据权利要求3所述的一种基于人体关键点的图卷积网络跌倒检测方法， 其特征在 于， 所述步骤S 3中， 依据前序检测结果进行跌倒判决， 其判决过程如下： 设置一个长度为T帧 的结果队列， 用于存放T帧的姿态分类结果， 依据视频流的每一帧对当前队列做循环更新； 设置阈值系数α， T帧长度的结果队列里 ‘躺’姿的帧数和为Tlie， 当Tlie＞αT时则做出跌倒判 断。权　利　要　求　书 2/2 页 3 CN 114387666 A 3