(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210545200.X (22)申请日 2022.05.17 (71)申请人 东南大学 地址 211102 江苏省南京市江宁区东 南大 学路2号 (72)发明人 张宇宁　杨粲然　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 秦秋星 (51)Int.Cl. G06F 3/01(2006.01) G06V 20/20(2022.01) G06V 40/20(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/02(2006.01) (54)发明名称 一种动态鲁棒的头戴式增强现实设备注册 方法 (57)摘要 本发明公开了一种动态鲁棒的头戴式增强 现实设备注册方法， 所述方法包括以下步骤： 步 骤1、 对头戴式增强现实设备上的相机及惯性传 感器数据进行实时追踪。 步骤2、 对相机获得的视 频流进行掩膜， 剔除掉其中存在的可能动态物 体。 步骤3、 对掩膜后的图像提取特征点， 使其分 布均匀。 步骤4、 利用之前步骤 得到的数据进行同 时定位与建图， 得到设备在环境中的位姿。 步骤 5、 根据设备的位姿以及相机到显示空间的坐标 变换进行三维注册与显示。 本方法利用图像掩膜 及相应的特征点提取方法， 减少了头戴式增强现 实设备使用情境下定位与注册 算法的动态干扰， 提高了三维注 册的动态鲁棒 性。 权利要求书2页 说明书4页 附图2页 CN 114860079 A 2022.08.05 CN 114860079 A 1.一种动态鲁棒的头戴 式增强现实设备注 册方法， 其特 征在于， 包括如下步骤： 步骤1、 对头戴式增 强现实设备上的相机及IMU数据进行追踪， 将数据实时传输到计算 硬件上； 步骤2、 对相机获得的视频流， 利用语义分割神经网络进行掩膜； 步骤3、 遵循静态区域特征点分布均匀， 动态区域不提取特征点的原则， 对2通道图像提 取特征点； 步骤4、 利用之前步骤得到的已提取特征点的图像数据与IMU数据进行同时定位与建图 算法， 得到 头戴式增强现实设备在环境中的实时位姿； 步骤5、 根据设备的位姿， 并结合相机到双眼显示空间的坐标变换进行三维注册与显 示。 2.根据权利要求1所述的一种动态鲁棒的头戴式增强现实设备注册方法， 其特征在于， 步骤2包括以下子步骤： 步骤2.1、 加载动态 物体的语义分割模型； 步骤2.2、 利用模型对相机图像流中的动态物体进行语义分割， 将输入的3通道RGB图像 转换为双通道图像， 其中一通道为原图像的八位灰度图像， 另一通道为语义分割 得到的二 值掩膜图像。 3.根据权利要求2所述的一种动态鲁棒的头戴式增强现实设备注册方法， 其特征在于， 步骤2.1中语义分割模型选用人体语义分割网络， 先采集足够多头戴式增强现实设备使用 过程中相 机采集的图像流， 将其中每张图片 中属于使用者动态 区域的像素进行手动标记， 得到训练集， 用于训练语义分割模型。 4.根据权利要求1所述的一种动态鲁棒的头戴式增强现实设备注册方法， 其特征在于， 步骤3包括以下子步骤： 步骤3.1、 使用卷积核对语义分割得到的二值掩膜图像进行腐蚀操作， 为特征点的提取 预留空间； 步骤3.2、 对图像进行尺度变换， 得到图像金字塔； 对不同尺度的每一张图像， 按比例提 取特征点； 步骤3.3、 对已提取特征点的图像， 假定宽大于高， 根据图像宽高比的整数部分N， 将图 像左右依次分为 N个子矩形； 步骤3.4、 考虑图像所包含的所有子矩形， 若其中含有特征点且特征点隶属于静态区 域， 则将该矩形再均分为若干个子矩形； 之后对当前图像中含有特征点且特征点隶属于静 态区域的所有子矩形计数； 步骤3.5、 迭代执行步骤3.4， 直到图像中含有特征点且特征点隶属于静态区域的所有 子矩形数目大于 设定的阈值， 或子矩形过小不能再被均分； 对每个被计数的子矩形， 取其中 Harris响应值 最大的特 征点作为有效特 征点； 步骤3.6、 叠加金字塔各层的有效特征点， 并利用预先标定的相机畸变参数对有效特征 点的位置进行去畸变处 理。 5.根据权利要求1所述的一种动态鲁棒的头戴式增强现实设备注册方法， 其特征在于， 步骤4包括以下子步骤： 4.1、 同时定位与建图算法开始时， 先利用图像流与IMU数据建立起具有绝对尺度的初权　利　要　求　书 1/2 页 2 CN 114860079 A 2始地图； 4.2、 对设备的位姿进行实时追踪， 利用上一帧位姿与两帧间的IMU预积分数据初始化 当前帧位姿； 将当前帧的有效特征点与上一帧的有效特征点进行匹配， 得到匹配点数n； 根 据n的大小对当前帧进行位姿调整、 关键帧选择以及整体捆集优化操作； 4.3、 在实时追踪的同时， 进行回环检测； 即若出现关键帧， 若存在与该帧特征点描述子 匹配良好且不直接相连的关键帧， 则对 所有关键帧做捆集优化， 更新位姿、 地图点坐标、 IMU 六轴偏置 。 6.根据权利要求5所述的一种动态鲁棒的头戴式增强现实设备注册方法， 其特征在于， 步骤4.2中根据n的大小对当前帧进 行位姿调整、 关键帧选择以及 整体捆集优化操作的具体 步骤包括： 根据具体应用环境设定阈值T1、 T2， 与n比较； 若： n<T1， 认为跟踪失败， 直接认为两帧间 IMU预积分数据为相对位姿进 行追踪； 当恢复至n>＝T1时进 行重定位， 即在 描述子词袋中搜 索与当前帧特征点描述子相似的关键帧， 将当前帧与相近的关键帧做捆集优化以求得当前 位姿； 若无相似关键帧则回到步骤4.1； n>T1， 认为跟踪成功， 利用两帧间IMU预积分将上一帧有效特征点对应的地图点重投影 到当前帧， 计算重投影误差， 利用帧间捆集优化更新当前帧位姿； T1<＝n<T2， 在认为跟踪成功的同时， 认为本帧为关键帧； 对与该帧观察到相同地图点 的所有关键帧做捆集优化， 更新 位姿、 地图点 坐标以及IMU的六轴偏置 。权　利　要　求　书 2/2 页 3 CN 114860079 A 3