(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210436478.3 (22)申请日 2022.04.25 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 冯悠扬　崔秀芬　凌霄　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 郑小娟 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) (54)发明名称 人体重建插帧方法及相关产品 (57)摘要 本申请实施例公开了一种人体重建插帧方 法及相关产品， 方法包括： 获取处理帧队列中的 第m帧图像， 第m帧图像的拍摄时刻为第k时刻； 将 第m帧图像输入实时人体重建网络模型中， 得到 第m帧图像对应的实时人体重建结果， 并确定计 算出实时人体重建结果的时刻为第k+n时刻； 将 第m帧图像输入姿态预测网络模型， 得到第k+1时 刻对应的预测人体重建结果； 在第k+n时刻送显 实时人体重建结果和第m帧图像； 获取处理帧队 列中第k+1时刻拍摄得到的第m+1帧图像； 根据第 m+1帧图像和预测人体重建结果， 在第k+n+1时刻 进行插帧处理， 并送显预测人体重建结果和第m+ 1帧图像。 采用本申请实施例有利于提高人体重 建的实时渲染帧率。 权利要求书2页 说明书14页 附图5页 CN 115035238 A 2022.09.09 CN 115035238 A 1.一种人体重建插帧方法， 其特 征在于， 包括： 获取处理帧 队列中的第m 帧图像， 其中， 所述处理帧 队列中包括按照时间顺序排列的由 摄像模块实时拍摄得到的多帧图像， 所述第m帧图像的拍摄时刻为第k时刻， k、 m均为正整 数； 将所述第m帧图像输入实时人体重建网络模型中， 得到所述第m帧图像对应的实时人体 重建结果， 并确定计算出 所述实时人体重建结果的时刻为第k+n时刻， n 为正整数； 将所述第m帧图像输入姿态预测网络模型， 得到第k+1时刻对应的预测人体重建结果； 在所述第k+n时刻向显示屏送显所述实时人体重建结果和所述第m帧图像； 获取所述处理帧队列中第k+1时刻拍摄得到的第m+1帧图像； 根据所述第m+1帧图像和所述预测人体重建结果， 在所述第k+n+1时刻进行插帧处理， 并向所述显示屏送显所述预测人体重建结果和所述第m+1帧图像。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 分别对所述多帧图像中每一帧图像进行人体框检测和人体关节点提取， 得到每一帧图 像对应的人体框和人体关节点对应的像素坐标， 其中， 每一人体关节点对应一个 像素坐标； 将所述每一帧图像和所述每一帧图像对应的人体框和所述像素坐标逐个输入到所述 处理帧队列。 3.根据权利要求1或2所述的方法， 其特征在于， 所述实时人体重建结果用于驱动所述 第m帧图像中的人体 关节点， 所述预测人体重 建结果用于驱动所述第m+1帧图像中的人体关 节点。 4.根据权利要求3所述的方法， 其特征在于， 所述实时人体重建网络模型包括： 第一网 络模块和第二网络模块； 所述将所述第m帧图像输入实时人体重建网络模型中， 得到所述第m 帧图像对应的实时 人体重建结果， 包括： 将所述第m帧图像和所述第m帧图像对应的人体关节点对应的像素坐标输入所述第一 网络模块中， 得到所述第m帧图像对应的关节点 位置信息； 将所述关节点位置信息和预处理以后的第m帧图像输入所述第二网络模块中， 得到所 述第m帧图像中每一人体关节点对应的姿态参数； 将所述关节点位置信息和所述每一关节 点对应的姿态参数作为所述人体重建结果。 5.根据权利要求2所述的方法， 其特征在于， 所述分别对所述多帧图像中每一帧图像进 行人体框检测和人体关节点提取， 得到每一帧图像对应的人体框和人体关节点对应的像素 坐标， 包括： 将所述每一帧图像输入预先训练好的关节点提取网络模型中的第 三网络模块， 得到所 述人体关节点对应的特 征向量； 将所述特征向量输入所述预先训练好的关节点提取网络模型中的第四网络模型， 估算 得到每一所述人体关节点对应的像素坐标； 根据所述每一人体关节点对应的像素坐标， 确定所述人体框 。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述第m帧图像输入姿态预测网络 模型， 得到第k+1时刻对应的预测人体重建结果， 包括： 将所述第m帧图像对应的人体关节点的像素坐标输入所述姿态预测网络模型， 得到在权　利　要　求　书 1/2 页 2 CN 115035238 A 2所述第m帧图像中人体关节点对应的姿态 矩阵和所述姿态 矩阵对应的角速度； 确定所述第m帧图像和所述第m+1帧图像之间的时间差； 根据所述姿态矩阵、 角速度和时间差， 确定在所述第m+1帧图像 中所述人体关节点对应 的姿态参数； 确定所述第m帧图像中人体关节点对应的线速度和关节点 位置； 根据所述时间差、 所述线速度和所述关节点位置， 确定在所述第m+1帧图像 中所述人体 关节点对应的关节点位置信息， 并将所述第m+1帧图像中所述人体关节点对应的姿态参数 和所述关节点 位置信息确定为所述预测人体重建结果。 7.一种人体重建插帧装置， 其特征在于， 所述装置包括： 获取单元、 输入单元、 送显单元 和插帧单 元， 其中， 所述获取单元， 用于获取处理帧队列中的第m帧图像， 其中， 所述处理帧队列中包括按 照时间顺序排列的由摄像模块 实时拍摄得到的多帧图像， 所述第m帧图像的拍摄时刻为第k 时刻， k、 m均为 正整数； 所述输入单元， 用于将所述第m帧图像输入实时人体重建网络模型中， 得到所述第m帧 图像对应的实时人体重 建结果， 并确定计算出所述 实时人体重 建结果的时刻为第k+n时刻， n为正整数； 所述输入单元， 还用于将所述第m帧图像输入姿态预测网络模型， 得到第k+1时刻对应 的预测人体重建结果； 所述送显单元， 用于在所述第k+n 时刻向显示屏送显所述实时人体重建结果和所述第m 帧图像； 所述获取 单元， 还用于获取 所述处理帧队列中第k+1时刻拍摄得到的第m+1帧图像； 所述插帧单元， 用于根据所述第m+1帧图像和所述预测人体重建结果， 在所述第k+n+1 时刻进行插帧处 理， 并向所述显示屏送显所述预测人体重建结果和所述第m+1帧图像。 8.一种电子设备， 其特征在于， 包括处理器、 存储器、 通信接口， 以及一个或多个程序， 所述一个或多个程序被存储在所述存储器中， 并且被配置由所述处理器执行， 所述程序包 括用于执 行如权利要求1 ‑6任一项所述的方法中的步骤的指令 。 9.一种计算机可读存储介质， 其特征在于， 存储用于电子数据交换的计算机程序， 其 中， 所述计算机程序使得计算机执 行如权利要求1 ‑6任一项所述的方法。 10.一种计算机程序产品， 其中， 所述计算机程序产品包括存储了计算机程序的非瞬时 性计算机可读存储介质， 上述计算机程序可操作来使计算机执行如权利要求1 ‑6任一项所 描述的方法。权　利　要　求　书 2/2 页 3 CN 115035238 A 3