(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210380104.4 (22)申请日 2022.04.12 (71)申请人 上海影创信息科技有限公司 地址 200120 上海市浦东 新区自由贸易试 验区芳春路40 0号1幢301-462室 (72)发明人 陈伟桦　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 施嘉薇 (51)Int.Cl. G06F 3/01(2006.01) G06F 3/0487(2013.01) G06F 3/04815(2022.01) G06F 3/04817(2022.01) G06F 9/451(2018.01)G06F 9/54(2006.01) H04M 1/72415(2021.01) H04L 67/141(2022.01) (54)发明名称 基于手机进行虚实交 互的方法及系统 (57)摘要 本发明提供了一种基于手机进行虚实交互 的方法及系统， 包括： 步骤S1： 在虚拟设备中运行 3D系统； 步骤S2： 将手机与虚拟设备建立连接； 步 骤S3： 基于手机与虚拟设备建立的连接， 手机向 虚拟设备中3D系统发送操作指令； 步骤S4： 虚拟 设备通过 RGB相机捕捉手机的姿态结合操作指令 实现交互。 本发明通过采用动态设置APP分辨率 的技术， 解决了不同手 机的操作兼容 性问题。 权利要求书1页 说明书5页 附图3页 CN 115390657 A 2022.11.25 CN 115390657 A 1.一种基于手机进行虚实交 互的方法， 其特 征在于， 包括： 步骤S1： 在虚拟设备中运行3D系统； 步骤S2： 将手机与虚拟设备建立连接； 步骤S3： 基于手机与虚拟设备建立的连接， 手机向虚拟设备中3D系统发送操作指令； 步骤S4： 虚拟设备通过RGB相机捕捉手机的姿态结合操作指令实现交 互。 2.根据权利要求1所述的基于手机进行虚实交互的方法， 其特征在于， 所述步骤S2采 用： 将手机与虚拟设备建立Socket连接 。 3.根据权利要求1所述的基于手机进行虚实交互的方法， 其特征在于， 基于手机与虚拟 设备建立的Socket连接， 将手机的设备信息发送至虚拟设备； 所述手机的设备信息包括分辨 率。 4.根据权利要求1所述的基于手机进行虚实交互的方法， 其特征在于， 所述步骤S4采 用： 步骤S4.1： 通过RGB相机捕捉手机的姿态， 包括手机在空间中的位置和旋转； 基于手机 的姿态在3D系统中控制操作射线的方向； 步骤S4.2： 通过射线选定待打开手机APP图标， 基于手机与虚拟设备建立的连接， 将现 实中对手机屏幕的操作同步作用到虚拟世界的2DAP P中， 实现虚拟交 互。 5.根据权利要求4所述的基于手机进行虚实交互的方法， 其特征在于， 当应用打开后， 自动设置成手机相同分辨率， 并且使用捕捉到的手机姿态， 从而实现在虚拟世界中应用的 显示贴合在显示的手机屏幕中。 6.根据权利要求1所述的基于手机进行虚实交互的方法， 其特征在于， 所述虚拟设备包 括VR虚拟设备、 AR虚拟设备或MR虚拟设备。 7.一种基于手机进行虚实交 互的系统， 其特 征在于， 包括： 模块M1： 在虚拟设备中运行3D系统； 模块M2： 将手机与虚拟设备建立连接； 模块M3： 基于手机与虚拟设备建立的连接， 手机向虚拟设备中3D系统发送操作指令； 模块M4： 虚拟设备通过RGB相机捕捉手机的姿态结合操作指令实现交 互。 8.根据权利要求7所述的基于手机进行虚实交互的系统， 其特征在于， 所述模块M2采 用： 将手机与虚拟设备建立Socket连接； 基于手机与虚拟设备建立的Socket连接， 将手机的设备信息发送至虚拟设备； 所述手机的设备信息包括分辨 率。 9.根据权利要求7所述的基于手机进行虚实交互的系统， 其特征在于， 所述模块M4采 用： 模块M4.1： 通过RGB相机捕捉手机的姿态， 包括手机在空间中的位置和旋转； 基于手机 的姿态在3D系统中控制操作射线的方向； 模块M4.2： 通过射线选定待打开手机APP图标， 基于手机与虚拟设备建立的连接， 将现 实中对手机屏幕的操作同步作用到虚拟世界的2DAP P中， 实现虚拟交 互。 10.根据权利要求7所述的基于手机进行虚实交互的系统， 其特征在于， 当应用打开后， 自动设置成手机相同分辨率， 并且使用捕捉到的手机姿态， 从而实现在虚拟世界中应用的 显示贴合在显示的手机屏幕中。权　利　要　求　书 1/1 页 2 CN 115390657 A 2基于手机进行虚实交互的方 法及系统 技术领域 [0001]本发明涉及虚拟现实技术领域， 具体地， 涉及基于手机进行虚实交互的方法及系 统。 背景技术 [0002]目前MR/VR的交互一般采用手柄或者手势。 这两种方式都无法真正体验到虚实结 合的操作体验， 我们这种新型使用手机进 行虚实交互方式可以让用户享受在虚拟 世界操作 手机一样的体感。 [0003]专利文献CN 106790996A(申请号： 201611047520.3)公开了一种手机虚拟现实交互 系统和方法， 该系统包括： 包括头戴设备和手机， 手机的显示屏用于播放VR视频； 手机具有： 图像录制 模块， 用于实时录制视频； 图像叠加模块， 用于将录制的视频与VR视频进行叠加， 使录制视频和播放的VR视频同时在手机的显示屏上进行播放； 动作捕捉模块， 动作捕捉模 块用于捕捉录制视频画面中的出现的手势操作， 并对手势操作进行识别后转换为操作指 令； 图像控制模块， 用于根据动作捕捉模块识别出 的操作指令对显示屏上播放的视频执行 相应操作。 发明内容 [0004]针对现有技术中的缺陷， 本发明的目的是提供一种基于手机进行虚实交互的方法 及系统。 [0005]根据本发明提供的一种基于手机进行虚实交 互的方法， 包括： [0006]步骤S1： 在虚拟设备中运行3D系统； [0007]步骤S2： 将手机与虚拟设备建立连接； [0008]步骤S3： 基于手机与虚拟设备建立的连接， 手机向虚拟设备中3D系统发送操作指 令； [0009]步骤S4： 虚拟设备通过RGB相机捕捉手机的姿态结合操作指令实现交 互。 [0010]优选地， 所述 步骤S2采用： 将手机与虚拟设备建立Socket连接 。 [0011]优选地， 基于手机与虚拟设备建立 的Socket连接， 将手机的设备信息发送至虚拟 设备； [0012]所述手机的设备信息包括分辨 率。 [0013]优选地， 所述 步骤S4采用： [0014]步骤S4.1： 通过RGB相机捕捉手机的姿态， 包括手机在空间中的位置和旋转； 基于 手机的姿态在3D系统中控制操作射线的方向； [0015]步骤S4.2： 通过射线选定待打开手机APP图标， 基于手机与虚拟设备建立 的连接， 将现实中对手机屏幕的操作同步作用到虚拟世界的2DAP P中， 实现虚拟交 互。 [0016]优选地， 当应用打开后， 自动设置成手机相同分辨率， 并且使用捕捉到的手机姿 态， 从而实现在虚拟世界中应用的显示贴合在显示的手机屏幕中。说　明　书 1/5 页 3 CN 115390657 A 3