(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210918660.2 (22)申请日 2022.08.01 (66)本国优先权数据 202210201600.9 2022.03.02 CN (71)申请人 杭州摸象大 数据科技有限公司 地址 311121 浙江省杭州市余杭区仓前街 道海智中心6号楼1单 元201-1 (72)发明人 高鹏　康维鹏　袁兰　吴飞　 周伟华　高峰　潘晶　 (74)专利代理 机构 杭州知学知识产权代理事务 所(普通合伙) 33356 专利代理师 张雯 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01)G06F 40/30(2020.01) G06N 5/02(2006.01) G06T 13/20(2011.01) G06T 13/40(2011.01) (54)发明名称 智能数字人营销交互方法、 装置、 计算机设 备及存储介质 (57)摘要 本发明实施例公开了智能数字人营销交互 方法、 装置、 计算机设备及存储介质。 所述方法包 括： 获取各类营销产品素材； 根据所述营销产品 素材生成智能营销对话逻辑知识库； 采集用户视 觉信息； 将所述用户视觉信息转化为语音信息以 及肢体信息； 对 所述语音信息以及所述肢体信息 进行语义文本解析， 并结合所述智能营销对话逻 辑知识库生成响应文本； 根据所述响应文本进行 语音合成和数字人肢体表情合 成， 以得到交互结 果； 反馈所述交互结果至终端， 以在终端显示所 述交互结果。 通过实施本发明实施例的方法可实 现提供更为丰富视觉、 听觉、 文本图表信息的营 销交互形式， 提高最终营销体验和转 化率。 权利要求书2页 说明书14页 附图13页 CN 115455136 A 2022.12.09 CN 115455136 A 1.智能数字人 营销交互方法， 其特 征在于， 包括： 获取各类营销产品素 材； 根据所述营销产品素 材生成智能营销对话逻辑知识库； 采集用户视 觉信息； 将所述用户视 觉信息转 化为语音信息以及肢体信息； 对所述语音信 息以及所述肢体信 息进行语义文本解析， 并结合所述智能营销对话逻辑 知识库生成响应文本； 根据所述响应文本进行语音合成和数字人肢体表情合成， 以得到交 互结果； 反馈所述交 互结果至终端， 以在终端显示所述交 互结果。 2.根据权利要求1所述的智能数字人营销交互方法， 其特征在于， 所述根据所述营销产 品素材生成智能营销对话逻辑知识库， 包括： 对所述营销产品素 材进行文档内容的特 征抽取， 以得到营销产品特 征； 将所述营销产品特 征转化为问句与答案的形式， 以得到转 化结果； 整理通用常见问答对； 采用树形状态图结构根据转化结果以及所述通用常见问答对整理对话逻辑流程， 以得 到智能营销对话逻辑知识库。 3.根据权利要求1所述的智能数字人营销交互方法， 其特征在于， 所述将所述用户视觉 信息转化为语音信息以及肢体信息， 包括： 对所述用户视 觉信息进行语音识别， 以得到语音信息； 对所述用户视 觉信息进行用户肢体动作识别， 以得到肢体信息 。 4.根据权利要求3所述的智能数字人营销交互方法， 其特征在于， 所述对所述用户视觉 信息进行语音识别， 以得到语音信息， 包括： 对所述用户视 觉信息内的声 音进行分帧， 以得到语音帧； 对所述语音帧进行 预处理， 以得到预处 理结果； 对所述预处 理结果进行声 音特征提取， 以得到多维声 音特征向量； 采用声学模型将所述多维声 音特征向量转化为音素信息序列； 对所述音素信息序列进行因素信息 字典映射， 以得到映射结果； 构建语言模型； 将多维声 音特征向量转化为文字， 以得到语音信息 。 5.根据权利要求3所述的智能数字人营销交互方法， 其特征在于， 所述对所述用户视觉 信息进行用户肢体动作识别， 以得到肢体信息， 包括： 对所述用户视 觉信息内的视 觉内容进行分帧， 以得到若干帧图片信息； 对每帧图片信息进行 灰度图二 值化处理， 以得到处 理结果； 对所述处 理结果进行 标准化处理， 以得到标准图像； 计算所述标准图像的每 个像素的梯度， 以得到像素梯度； 对所述标准图像进行分块以及特 征抽取， 以得到图片块以及对应的特 征； 根据所述图片块以及对应的特征计算每帧图片时序间的关联语义信 息， 以得到肢体语 义向量； 根据所述肢体 语义向量进行分类处 理， 以得到肢体信息 。权　利　要　求　书 1/2 页 2 CN 115455136 A 26.根据权利要求1所述的智能数字人营销交互方法， 其特征在于， 所述对所述语音信 息 以及所述肢体信息进行语义文本解析， 并结合所述智能营销对话逻辑知识库生成响应文 本， 包括： 对所述语音信息以及所述肢体信息进行语义文本解析， 以得到语义信息； 根据所述语义信息结合所述智能营销对话逻辑知识库按照对话逻辑状态树进行对话 引导或就营销产品信息进行问答， 以形成响应文本 。 7.根据权利要求1所述的智能数字人营销交互方法， 其特征在于， 所述根据所述响应文 本进行语音合成和数字人肢体表情合成， 以得到交 互结果， 包括： 根据所述响应文本采用语音合成技 术生成语音内容； 根据所述响应文本采用视觉合成模型进行肢体表情合成， 以得到数字人肢体表情内 容； 整合所述语音内容以及所述数字人肢体表情内容， 以得到交 互结果。 8.智能数字人 营销交互装置， 其特 征在于， 包括： 素材获取单元， 用于获取 各类营销产品素 材； 知识库生成单 元， 用于根据所述营销产品素 材生成智能营销对话逻辑知识库； 信息采集单 元， 用于采集用户视 觉信息； 转化单元， 用于将所述用户视 觉信息转 化为语音信息以及肢体信息； 响应内容生成单元， 用于对所述语音信息以及所述肢体信息进行语义文本解析， 并结 合所述智能营销对话逻辑知识库生成响应文本； 合成单元， 用于根据所述响应文本进行语音合成和数字人肢体表情合成， 以得到交互 结果； 反馈单元， 用于反馈所述交 互结果至终端， 以在终端显示所述交 互结果。 9.一种计算机设备， 其特征在于， 所述计算机设备包括存储器及处理器， 所述存储器上 存储有计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至7中任一项所述 的方法。 10.一种存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计算机程序被 处理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115455136 A 3