(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210998292.7 (22)申请日 2022.08.19 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 胡晗　朱兴武　吴伟　王鸿　鲍楠　 左加阔　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 冯宁 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/126(2020.01) G06F 40/279(2020.01) G06F 40/30(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) H04L 1/00(2006.01) (54)发明名称 一种一对多的多用户语义通信模型及通信 方法 (57)摘要 本发明公开了一种一对多的多用户语义通 信模型及通信方法， 模型由一个发送端和分别与 发送端建立通讯关系且相互独立的多个接收端 集成； 方法为： 根据预设的用户需求采集多种类 型不同的文本语句； 将类型不同的文本语句组合 成文本序列转换为数字ID序列作为发送端的发 送信息； 发送信息在发送端生 成用于信道传输的 通信信号， 并发送至每个接收端； 每个接收端将 接收的通信信号进行信道解码和语义解码， 恢复 出发送端发送的原语句； 并输入基于蒸馏双向语 言表征预训练模 型的语义识别器， 根据用户的需 求输出相应语句； 通过本发明系统模 型和通信方 法， 简化了多用户通信的传输程序， 提高了信息 传输效率； 并结合迁移学习方法对接收端进行训 练， 提高训练效率。 权利要求书3页 说明书9页 附图4页 CN 115309869 A 2022.11.08 CN 115309869 A 1.一种一对多的多用户语义 通信方法， 其特 征在于， 包括： 根据预设的用户需求采集多种类型不同的文本语句； 将类型不同的文本语句组合成文本序列， 并转换为数字ID序列作为发送端的发送信 息； 发送信息在发送端基于注意力 机制和线性神经网络进行语义编码和信道编码， 从而生 成用于信道传输的通信 信号； 将通信信号进行一对多传输， 发送至每 个接收端； 每个接收端将接收的通信信号进行信道解码和语义解码， 恢复出发送端发送的原语 句； 将恢复出的原语句输入基于蒸馏双向语言表征预训练模型的语义识别器， 根据用户的 需求输出相应 语句； 其中， 发送端的语义信道编码器以及每个接收端的信道语义解码器基于迁移学习方法 进行多次迭代训练， 调整一对多语义 通信模型信息传输的有效性。 2.根据权利要求1所述的一对多的多用户语义通信方法， 其特征在于， 将类型不同的文 本语句组合成文本序列， 并转换为数字ID序列 作为发送端的发送信息的方法为： 对所有文本语句进行分词处 理， 获得去除停用词的文本语句； 将分词后得到的每个单词或符号赋予一个数字ID， 构建出一个词汇表作为背景知识 库； 其中背景知识库的表达集合为： K＝{ “a”:1，“b”:2…， word:num， …}， word为分词 后得到 的单词或符号， num为单词对应的数字id； 将发送给不同用户的语句组合成一个长文本序列， 并在组合过程中所有用户的语句的 前后顺序随机打乱； 其中， 文本序列的表达集 合为： 分别表示发送给不同用户的语句中的单词， <sep>是每个语句 之间的分隔符号； 随后通过查询背景知识库中每个单词和符合的ID， 将文本序列转换为数 字ID序列 作为发送信息 。 3.根据权利要求1所述的一对多的多用户语义通信方法， 其特征在于， 发送信 息在发送 端基于注意力机制和线性神经网络进 行语义编 码和信道编 码， 从而生成用于信道传输的通 信信号的方法为： 将数字ID序列输入到嵌入层， 通过嵌入层将每个单词ID转换成向量， 得到向量符号序 列； 基于注意力机制的编码层通过多头注意力机制得到向量符号序列中每个位置的单词 向量与其他位置单词向量之间的重要依赖关系， 获得每个位置的单词在语句中的含义， 进 而输出语句的语义符号序列； 将输出的语义符号序列导入带有线性修正单元激活函数线性神经网络， 得到便于信道 传输的通信 信号； 其中， 线性 修正单元激活函数的表达式为： f(z)＝max(0,z) 式中， max(·)表示计算 括号内对象的最大值， z表示线性 修正单元激活函数的输入。权　利　要　求　书 1/3 页 2 CN 115309869 A 24.根据权利要求1所述的一对多的多用户语义通信方法， 其特征在于， 将通信信号进行 一对多传输， 发送至每个接收端， 每个接收端将接收的通信信号进 行信道解码和语义解码， 恢复出发送端发送的原语句的方法包括： 发送端将通信信号发送至每个接收端； 其中， 发送端与每个接收端通过信道建立传输 关系； 将每个接收端接收的通信信号导入带有线性修正单元激活函数的线性神经网络进行 转换， 获得升维重塑的语义符号序列； 将升维重塑的语义符号序列导入基于注意力机制的编码层对语义特征进行逆运算解 码， 恢复出发送端发送的原语句。 5.根据权利要求1所述的一对多的多用户语义通信方法， 其特征在于， 将恢 复出的原语 句输入基于蒸馏双向语言表征预训练模型的语义识别器， 根据用户的需求输出相应语句的 方法为： 将恢复出的原语句导入蒸馏双 向语言表征预训练模型； 其中， 原语句中包含发送给两 个发送不同用户的语句， 经过数十亿个语句的预训练的蒸馏双向语言表征预训练模型通过 注意力机制计算得到每个语句的整体语义特征， 并对比不同语句之间的整体语义特征， 获 得语句之间整体 语义特征的差异性； 根据语句之间整体 语义特征的差异性和预设的用户需求， 输出相应的语句。 6.根据权利要求1所述的一对多的多用户语义通信方法， 其特征在于， 发送端的语义信 道编码器以及每个接收端的信道语义解码器基于迁移学习方法进 行多次迭代训练， 调整一 对多语义 通信模型信息传输的有效性的方法包括： 在训练网络预设训练集， 对发送端和第一个接收端进行多次训练， 分别获得发送端和 第一个接收端训练误差； 其中， 初始 化网络训练迭代次数epoch等于1， 迭代次数的上限值为 80， 学习率 为0.001， 并采用Adam优化 算法作为网络训练优化器； 将发送端和第 一个接收端训练误差导入误差损失函数计算并反向传播， 分别获得发送 端和第一个接收端的网络优化参数； 其中， 在 迭代过程中判断误差损失函数是否收敛， 或判 断发送端和第一个接收端的迭代训练次数已达上限； 根据判断结果选择对第二个接收端进行多次训练， 获得第 二个接收端训练误差； 其中， 训练第二个接收端时导入第一个接收端最终迭代的训练参数， 并冻结发送端的训练参数； 将第二个接收端训练误差导入误差损失函数计算并反 向传播， 分别获得第 二个接收端 的网络优化参数； 其中， 基于接收端的数量导入第二个接 收端的网络优化参数依 次进行循 环训练获得若干个接收端的网络优化 参数； 分别基于发送端、 第一个接收端、 第 二个接收端、 若干个接收端的网络优化参数调整一 对多语义 通信模型， 进 而使调整一对多语义 通信模型保持有效性； 其中， 误差损失函数采用交叉熵函数， 计算式如下： 其中， s表示编码器的输入语句， 表示解码器的输出语句， α表示语义编码器中可训练 参数， β 表示信道编码器中可训练参数， χ表示信道解码器中可训练参数， δ表示语义解码器 中可训练参数， q(wl)是第l个单词wl出现在输入语句s中的实际概率， p(wl)是第l个单词wl权　利　要　求　书 2/3 页 3 CN 115309869 A 3