(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653502.0 (22)申请日 2021.12.31 (71)申请人 北京泰迪熊移动科技有限公司 地址 100085 北京市海淀区信息路甲28号7 层D座07A3 6 (72)发明人 崔燕红　魏风顺　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 代理人 江宇 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于小样本进行增量学习的方法及装 置 (57)摘要 本发明公开了一种基于小样本进行增量学 习的方法及装置， 属于人工智 能技术领域。 该方 法包括： 首先基于知识蒸馏对第一小样本数据进 行增量学习， 得到损失函数； 并基于损失函数获 得历史训练样本数据中的错误样本数据； 之后， 对所述错误样本数据进行特征聚类处理， 并基于 特征聚类结果对第二小样本数据进行增量处理， 得到更新后第二小样本数据； 最后， 基于知识蒸 馏对更新后第二小样本数据进行增量学习， 得到 最终新模型。 由此， 能够基于新增小样本对原始 模型进行增量学习， 解决了 现有技术中由于历史 训练样本数据丢失导致无法利用新增小样本数 据来迭代原始模 型的问题， 从而对原始模型实现 了有效更新。 权利要求书2页 说明书7页 附图3页 CN 114004315 A 2022.02.01 CN 114004315 A 1.一种基于小样本进行增量学习的方法， 其特 征在于， 包括： 基于知识蒸馏对第一小样本数据进行增量学习， 得到损失函数； 基于所述损失函数获得历史训练样本数据中的错 误样本数据； 对所述错误样本数据进行特征聚类处理， 并基于特征聚类结果对第 二小样本数据进行 增量处理， 得到更新后第二小样本数据； 基于知识蒸馏对所述更新后第二小样本数据进行增量学习， 得到最终新模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于特征聚类结果对第 二小样本数据 进行增量处 理， 得到更新后第二小样本数据， 包括： 基于特征聚类结果对所述错误样本数据标记类别标签， 得到具有类别标签的错误样本 数据； 将具有类别标签的错 误样本数据添加至第二小样本数据中； 更新添加后第二小样本数据中错误特征类别的采样权重， 得到更新后第二小样本数 据。 3.根据权利要求1所述的方法， 其特征在于， 所述基于知识蒸馏对第 一小样本数据进行 增量学习， 得到损失函数， 包括： 基于第一小样本数据训练原 始模型生成第一 新模型， 获得第一损失函数； 基于所述第 一小样本数据同时训练所述第 一新模型和所述原始模型生成第 二新模型， 获得第二损失函数； 基于所述第一小样本数据训练所述第一 新模型生成第三 新模型， 获得第三损失函数； 将所述第一损失函数、 所述第 二损失函数和所述第 三损失函数确定为对第 一小样本数 据进行增量学习得到的损失函数。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述损失函数获得历史训练样本 数据中的错 误样本数据， 包括： 基于所述第一损失函数， 获得历史训练样本数据中的第一 错误样本数据； 基于所述第二损失函数， 获得历史训练样本数据中的第二 错误样本数据； 基于第三损失函数， 获得历史训练样本数据中的第三 错误样本数据； 将所述第一错误样本数据、 第 二错误样本数据和第 三错误样本数据确定为错误样本数 据。 5.根据权利要求1或2所述的方法， 其特征在于， 所述基于知识蒸馏对所述更新后第二 小样本数据进行增量学习， 得到最终新模型， 包括： 基于所述更新后第二小样本数据训练原 始模型生成第四新模型， 获得第四损失函数； 基于所述更新后第二小样本数据同时训练所述第四新模型和所述原始模型生成第五 新模型， 获得第五损失函数； 基于所述更新后第二小样本数据训练所述第五新模型， 获得第六损失函数； 将所述第四损失函数、 所述第五损失函数和所述第六损失函数确定为总损失函数； 当所述总损失函数达 到最小时， 得到最终新模型。 6.一种基于小样本进行增量学习的装置， 其特 征在于， 包括： 第一学习模块， 用于基于知识蒸馏对第一小样本数据进行增量学习， 得到损失函数； 获取模块， 用于基于所述损失函数获得历史训练样本数据中的错 误样本数据；权　利　要　求　书 1/2 页 2 CN 114004315 A 2增量模块， 用于对所述错误样本数据进行特征聚类处理， 并基于特征聚类结果对进行 增量处理， 得到更新后第二小样本数据； 第二学习模块， 用于基于知识蒸馏对所述更新后第二小样本数据进行增量学习， 得到 最终新模型。 7.根据权利要求6所述的装置， 其特 征在于， 所述增量模块包括： 聚类单元， 用于基于特征聚类结果对所述错误样本数据标记类别标签， 得到具有类别 标签的错 误样本数据； 添加单元， 用于将具有类别标签的错 误样本数据添加至第二小样本数据中； 增量单元， 用于更新添加后第二小样本数据中错误特征类别的采样权重， 得到更新后 第二小样本数据。 8.根据权利要求6所述的装置， 其特 征在于， 所述第一学习模块包括： 第一获取单元， 用于基于第一小样本数据训练原始模型生成第一新模型， 获得第一损 失函数； 第二获取单元， 用于基于所述第 一小样本数据同时训练所述第 一新模型和所述原始模 型生成第二 新模型， 获得第二损失函数； 第三获取单元， 用于基于所述第一小样本数据训练所述第一新模型生成第三新模型， 获得第三损失函数； 确定单元， 用于将所述第一损 失函数、 所述第二损 失函数和所述第三损 失函数确定为 对第一小样本数据进行增量学习得到的损失函数。 9.一种电子设备， 包括： 一个或多个处 理器； 存储器， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器 执行时， 使得 所述一个或多个处 理器实现如权利要求1 ‑5任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑5中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114004315 A 3