(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210362677.4 (22)申请日 2022.04.08 (65)同一申请的已公布的文献号 申请公布号 CN 114449205 A (43)申请公布日 2022.05.06 (73)专利权人 浙江华创视讯科技有限公司 地址 310052 浙江省杭州市滨江区滨安路 1168号1号楼16层 (72)发明人 孙俊伟　王克彦　曹亚曦　俞鸣园　 费敏健　吕少卿　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 专利代理师 江宇 (51)Int.Cl. H04N 7/15(2006.01) H04L 65/80(2022.01)G06F 9/451(2018.01) (56)对比文件 CN 112788276 A,2021.0 5.11 CN 112788276 A,2021.0 5.11 CN 110933359 A,2020.0 3.27 CN 113206975 A,2021.08.0 3 CN 101031065 A,2007.09.05 CN 113542660 A,2021.10.2 2 CN 113315927 A,2021.08.27 CN 109089070 A,2018.12.25 JP 20210 56840 A,2021.04.08 US 20212 27169 A1,2021.07.2 2 US 201513 0892 A1,2015.0 5.14 龙艳等.级联视频会议中的多画面的处 理方 法. 《甘肃科技纵横》 .2013,(第02期),全 文. 审查员 王亚辉 (54)发明名称 数据处理方法、 终端设备、 电子设备及存储 介质 (57)摘要 本公开提供了一种数据处理方法、 终端设 备、 电子设备及存储介质， 基于第一服务器发送 的会控操作信息所包括的至少一个会控场景信 息和与所述至少一个会控场景对应的媒体流信 息， 确定显示在所述终端设备的目标会控场景； 基于所述至少一个会控场景对应的媒体流信息 和所述目标会控场景， 向第二服务器发送媒体流 订阅请求信息， 以获取所述目标会控场景对应的 媒体流； 通过所述目标会控场景输出所述目标会 控场景对应的媒体流； 其中， 所述媒体流包括至 少一个终端设备对应的视频流和音频流， 和/或， 所述第二服务器基于所述至少一个终端设备对 应的视频流和音频流所确定的虚拟流。 权利要求书4页 说明书22页 附图7页 CN 114449205 B 2022.07.29 CN 114449205 B 1.一种数据处 理方法， 其特 征在于， 应用于终端设备， 所述方法包括： 基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少 一个会控场景对应的媒体流信息， 确定 显示在所述终端设备的目标会 控场景； 基于所述至少一个会控场景对应的媒体流信 息和所述目标会控场景， 向第 二服务器发 送媒体流 订阅请求信息， 以获取 所述目标会 控场景对应的媒体流； 通过所述目标会 控场景输出 所述目标会 控场景对应的媒体流； 其中， 所述媒体流包括至少一个终端设备对应的视频流和音频流， 和/或， 所述第二服 务器基于所述至少一个终端设备对应的视频流和音频流所确定的虚拟流； 所述基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述 至少一个会 控场景对应的媒体流信息， 确定 显示在所述终端设备的目标会 控场景， 包括： 响应于所述至少一个会控场景信 息中， 第一会控场景对应的媒体流包括所述至少一个 会控场景信息中第二会控场景的媒体流， 则确定所述第一会控场景的会控场景系数为所述 第二会控场景的会控场景系数； 确定所述第一会控场景的优先级为所述第二会控场景的会 控场景系数与所述第二会 控场景对应的媒体流系数之和； 或者， 响应于所述至少一个会控场景信息中， 第一会控场景对应的媒体流不包括所述 至少一个会控场景信息中第二会控场景的媒体流， 则确定所述第一会控场景的优先级为所 述第一会 控场景的会 控场景系数； 基于会控场景的优先级由高到低， 对所述终端设备待显示的至少一个会控场景排序， 获得排序结果； 基于所述 排序结果， 确定 显示在所述终端设备的目标会 控场景。 2.根据权利要求1所述的方法， 其特征在于， 所述基于第 一服务器发送的会控操作信 息 所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息， 确定显示 在所述终端设备的目标会 控场景之前， 所述方法还 包括： 确认所述至少一个会控场景的会控场景系数， 和/或所述至少一个会控场景对应的媒 体流的媒体流系数。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述至少一个会控场景对应的媒 体流信息， 向第二 服务器发送媒体流 订阅请求信息之前或之后， 所述方法还 包括： 向所述第二 服务器发送所述终端设备对应的视频流和音频流； 其中， 所述终端设备对应的视频流包括所述终端设备采集的视频， 所述终端设备对应 的音频流包括所述终端设备采集的音频。 4.一种数据处 理方法， 其特 征在于， 应用于第二 服务器， 所述方法包括： 接收至少一个终端设备发送的视频流； 基于第一服务器发送的虚拟流配置信 息， 和/或所述至少一个终端设备发送的视频流， 生成与所述虚拟流配置信息对应的至少一个虚拟流； 基于终端设备发送的媒体流订 阅请求信 息， 向所述终端设备发送与 所述媒体流订阅请 求信息对应的至少一个媒体流； 其中， 所述媒体流包括至少一个终端设备对应的视频流和音频流， 和/或与所述虚拟流 配置信息对应的虚拟流； 所述媒体流订阅请求信息基于目标会控场景确定， 所述 目标会控 场景由所述终端设备待显示的至少一个会 控场景的优先级确定， 包括： 响应于所述至少一个会控场景信 息中， 第一会控场景对应的媒体流包括所述至少一个权　利　要　求　书 1/4 页 2 CN 114449205 B 2会控场景信息中第二会控场景的媒体流， 则确定所述第一会控场景的会控场景系数为所述 第二会控场景的会控场景系数； 确定所述第一会控场景的优先级为所述第二会控场景的会 控场景系 数与所述第二会控场景对应的媒体流系 数之和； 或者， 响应于所述至少一个会控 场景信息中， 第一会控场景对应的媒体流不包括所述至少一个会控场景信息中第二会控场 景的媒体流， 则确定所述第一会 控场景的优先级为所述第一会 控场景的会 控场景系数。 5.根据权利要求4所述的方法， 其特征在于， 所述基于第 一服务器发送的虚拟流配置信 息， 和所述至少一个终端设备发送的视频流， 生成与所述虚拟流配置信息对应的至少一个 虚拟流， 包括针对所述虚拟流配置信息对应的每一个原 始媒体流标识执 行以下操作： 基于所述虚拟流配置信 息中包括的原始媒体流标识， 确定与 所述原始媒体流标识对应 的终端设备发送的第一视频流； 响应于接收所述第 一视频流的第 一标识帧， 将所述第 一视频流的原始媒体流标识替换 为所述虚拟流配置信息中包括的虚拟流标识； 更新所述第一视频流的帧元 数据； 确定替换所述原始媒体流标识， 且更新所述帧元数据的视频流为与 所述虚拟流配置信 息对应的虚拟流。 6.根据权利要求5所述的方法， 其特征在于， 所述更新所述第一视频流的帧元数据， 包 括： 更新所述第一视频流中至少一帧的帧序列号； 和/或， 更新所述第一视频流中， 至少一帧的帧时间戳。 7.根据权利要求5所述的方法， 其特征在于， 所述基于第 一服务器发送的虚拟流配置信 息， 和所述至少一个终端设备发送的视频流， 生成与所述虚拟流配置信息对应的至少一个 虚拟流， 还 包括： 响应于未接收所述第 一视频流， 基于预设 帧生成所述虚拟流配置信 息对应的至少一个 虚拟流。 8.一种数据处 理方法， 其特 征在于， 应用于第一 服务器， 所述方法包括： 向至少一个终端设备发送会控操作信 息， 以使所述至少一个终端设备响应于所述会控 操作信息包括的至少一个会控场景信息中， 第一会控场景对应的媒体流包括所述至少一个 会控场景信息中第二会控场景的媒体流， 则确定所述第一会控场景的会控场景系数为所述 第二会控场景的会控场景系数； 确定所述第一会控场景的优先级为所述第二会控场景的会 控场景系 数与所述第二会控场景对应的媒体流系 数之和； 或者， 响应于所述至少一个会控 场景信息中， 第一会控场景对应的媒体流不包括所述至少一个会控场景信息中第二会控场 景的媒体流， 则确定所述第一会控场景 的优先级为所述第一会控场景 的会控场景系 数； 基 于所述至少一个会 控场景的优先级， 确定 显示在所述终端设备的目标会 控场景； 向第二服务器发送虚拟流配置信 息， 以使所述第 二服务器基于所述虚拟流配置信 息和 至少一个终端设备对应的视频流和音频流确定对应的虚拟流。 9.根据权利要求8所述的方法， 其特征在于， 所述向至少一个终端设备发送会控操作信 息之前， 所述方法还 包括： 接收第一设备发送的会 控信息； 基于所述会 控信息， 生成所述会 控操作信息；权　利　要　求　书 2/4 页 3 CN 114449205 B 3