(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211051568.7 (22)申请日 2022.08.31 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 郭莉　徐士彪　张卓然　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 王晓雅 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/42(2022.01) G06V 10/774(2022.01) G06V 10/50(2022.01) G06V 10/56(2022.01)G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 视频热度预测方法及装置 (57)摘要 本申请提供一种视频热度预测方法及 装置， 方法包括： 提取视频数据对应的基于深度表示的 多模态特征各自对应的特征向量； 将各个所述特 征向量输入预设的基于变分自编码器VAE的热度 预测模型， 并将该热度预测模型对应输出的热度 序列作为所述视频数据的热度预测结果。 本申请 能够有效提高视频模态利用率， 降低模型训练阶 段的信息冗余， 并能够提高视频热度预测结果的 准确性。 权利要求书2页 说明书15页 附图2页 CN 115457436 A 2022.12.09 CN 115457436 A 1.一种视频 热度预测方法， 其特 征在于， 包括： 提取视频 数据对应的基于深度表示的多模态特 征各自对应的特 征向量； 将各个所述特征向量输入预设的基于变分自编码器VAE的热度预测模型， 并将该热度 预测模型对应输出的热度 序列作为所述视频 数据的热度预测结果。 2.根据权利要求1所述的视频热度预测方法， 其特征在于， 所述热度预测模型包括： 依 次连接的输入层、 变分自编码器V AE和输出层； 所述隐层包括两个依次连接的全连接层； 所述变分自编码器V AE包括： 随机DN N编码器、 隐层和基于递归神经网络的解码器； 其中， 所述 解码器包括依次连接的多个卷积层、 一个完全连接层和一个LSTM层； 所述输入层用于 接收自所述视频 数据对应的多模态特 征向量； 所述随机DNN编码器用于自所述输入层获取视频数据对应的多模态特征向量输出对应 的概率表示； 所述解码器用于根据 所述概率表示输出对应的多维特征向量， 并经由所述输出层输出 长度与该多维向量的维度相同的热度 序列。 3.根据权利要求2所述的视频热度预测方法， 其特征在于， 所述解码器中的各个所述卷 积层包括： 依次连接的第一卷积层、 第二卷积层、 第三卷积层、 第四卷积层和第五卷积层， 且 所述第一卷积层、 第二卷积层和第五卷积层之后均设有最大池化层； 其中， 所述热度预测模型中的各个所述卷积层和各个所述全连接层 之后均设有ReLu激 活函数， 且所述热度预测模型中的首个所述全连接层和所述LSTM层之后均设有随机失活 dropout层。 4.根据权利要求1所述的视频 热度预测方法， 其特 征在于， 还 包括： 获取各个历史视频 数据； 提取各个所述历史视频数据分别对应的基于深度表示的多模态特征向量， 得到对应的 数据集； 采用预设的交叉验证法划分所述数据集， 得到对应的训练集和 测试集； 基于所述训练集训练包含有依次连接的输入层、 变分自编码器VAE和输出层的机器学 习模型， 并基于该机器学习模型针对所述测试集的测试结果对所述机器学习模型进行调 整， 以形成用于预测视频 数据的热度 序列的热度预测模型。 5.根据权利要求1至4任一项所述的视频热度预测方法， 其特征在于， 所述多模态特征 包括： 视觉特征、 听觉特 征、 文字特 征和社会特 征； 其中， 所述视 觉特征包括： 全局特 征、 第一情感特 征和物体特 征； 所述听觉特 征包括： 梅尔倒谱系数； 所述文字特 征包括： 语义特 征和第二情感特 征； 所述社会特征包括： 所述视频数据的视频发布者的粉丝数、 关注数和用于表示所述视 频发布者是否经平台认证的标识。 6.根据权利要求5所述的视频热度预测方法， 其特征在于， 所述提取视频数据对应的基 于深度表示的多模态特 征各自对应的特 征向量， 包括： 采用颜色直方图向量空间中的特 征向量作为所述视频 数据的全局特 征向量； 基于预设的SentiBan k数据集提取所述视频 数据的第一情感特 征向量；权　利　要　求　书 1/2 页 2 CN 115457436 A 2应用预设的密集连接卷积网络DenseNet提取 所述视频 数据的物体特 征向量； 自所述视频 数据中的音频背景提取梅尔倒谱系数； 以及， 获取所述视频数据对应的包含有视频标题和视频描述的文本数据， 并根据该文 本数据获取 所述语义特 征向量和第二情感特 征向量。 7.根据权利要求6所述的视频热度预测方法， 其特征在于， 所述根据该文本数据获取所 述语义特 征向量和第二情感特 征向量， 包括： 基于预先训练好的word2vec表示和词袋模型自所述文本数据中提取对应的语义特征 向量； 基于预设的中文文本处理工具SnowNLP为所述文本数据分配情感分数以得到对应的第 二情感特 征向量。 8.一种视频 热度预测装置， 其特 征在于， 包括： 多模态特征提取模块， 用于提取视频数据对应的基于深度表示的多模态特征各自对应 的特征向量； 热度预测模块， 用于将各个所述特征向量输入预设的基于变分自编码器VAE的热度预 测模型， 并将该 热度预测模型对应输出的热度 序列作为所述视频 数据的热度预测结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述 的视频热度预测方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时实现如权利要求1至 6任一项所述的视频 热度预测方法。权　利　要　求　书 2/2 页 3 CN 115457436 A 3