(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111673099.8 (22)申请日 2021.12.31 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 高嘉欣　廖名学　晁永越　吕品　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 毛宏宝 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 自适应的神经网络训练方法、 电子设备、 介 质和程序 产品 (57)摘要 本发明提供一种自适应的神经网络训练方 法、 电子设备、 介质和程序产品， 其中方法包括： 基于当前训练轮次的自适应参数， 对目标神经网 络进行训练， 所述自适应参数用于确定对所述目 标神经网络进行训练的各训练节点的训练任务 量； 基于所述各训练节点在当前训练轮次的训练 时间， 调整所述当前训练轮次的自适应参数， 并 将调整后的自适应参数确定为下一训练轮次的 自适应参数。 本发明提供的方法、 电子设备、 介质 和程序产品， 无需手工为性能不同的训练节点分 配训练任务， 可减少人力成本， 并提高异构集群 下深度学习任务的训练效率， 同时， 可 以实现按 能分配的分布式训练方式， 从而进一步提高异构 集群下深度学习任务的训练效率。 权利要求书2页 说明书12页 附图3页 CN 114492787 A 2022.05.13 CN 114492787 A 1.一种自适应的神经网络训练方法， 其特 征在于， 包括： 基于当前训练轮次的自适应参数， 对目标神经网络进行训练， 所述自适应参数用于确 定对所述目标神经网络进行训练的各训练节点的训练任务 量； 基于所述各训练节点在 当前训练轮次的训练时间， 调 整所述当前训练轮次的自适应参 数， 并将调整后的自适应参数确定为下一训练轮次的自适应参数。 2.根据权利要求1所述的自适应的神经网络训练方法， 其特征在于， 所述基于当前训练 轮次的自适应参数， 对目标神经网络进行训练， 包括： 基于当前训练轮次的自适应参数， 确定所述各训练节点的任务 量权重； 基于所述各训练节点的任务 量权重， 对目标神经网络进行训练。 3.根据权利要求2所述的自适应的神经网络训练方法， 其特征在于， 任一训练节点基于 如下步骤 对目标神经网络进行训练： 基于所述任一训练节点的任务量权重， 从总训练数据集中确定出所述任一训练节点的 子训练数据集； 基于所述任一训练节点的子训练数据集， 对所述目标神经网络进行梯度累加训练， 得 到梯度累加参数； 基于所述梯度累加参数， 更新所述目标神经网络的网络参数。 4.根据权利要求1所述的自适应的神经网络训练方法， 其特征在于， 所述基于所述各训 练节点在当前训练轮次的训练时间， 调整所述当前训练轮次的自适应参数， 包括： 基于所述各训练节点在 当前训练轮次的训练时间和所述当前训练轮次的自适应参数， 确定所述各训练节点的任务变化 量； 基于所述各训练节点的任务变化 量， 调整所述当前训练轮次的自适应参数。 5.根据权利要求1至4中任一项所述的自适应的神经网络训练方法， 其特征在于， 所述 基于当前训练轮次的自适应参数， 对目标神经网络进行训练， 之前还 包括： 获取表征训练任务的训练脚本， 并基于预置的训练脚本编写规范， 对所述训练脚本进 行校验； 若所述训练脚本符合所述训练脚本编写规范， 则对所述训练脚本进行自适应封装， 并 启动封装后的训练脚本， 所述自适应封装用于为所述训练脚本加入首轮训练轮次的自适应 参数。 6.根据权利要求5所述的自适应的神经网络训练方法， 其特征在于， 所述获取表征训练 任务的训练脚本， 并基于预置的训练脚本编写规范， 对所述训练脚本进行校验， 之后还包 括： 若所述训练脚本不符合所述训练脚本编写规范， 则发出错误提示信息， 所述错误提示 信息用于提 示对所述训练脚本进行修改； 获取修改后的训练脚本， 并基于所述训练脚本编写规范， 对所述修改后的训练脚本进 行校验； 若所述修改后的训练脚本符合所述训练脚本编写规范， 则对所述修改后的训练脚本进 行自适应封装， 并启动封装后的训练脚本； 若所述修改后的训练脚本不符合所述训练脚本编写规范， 则发出错误提示信息， 并返 回获取修改后的训练脚本， 并基于所述训练脚本编写规范， 对所述修改后的训练脚本进行权　利　要　求　书 1/2 页 2 CN 114492787 A 2校验的步骤， 直至修改后的训练脚本符合所述训练脚本编写规范。 7.根据权利要求5所述的自适应的神经网络训练方法， 其特征在于， 所述训练脚本编写 规范包括： 文件格式规范、 文件名称规范、 训练框架的调用规范、 关键变量的命名规范中的 至少一种。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述自适应的神经网络训练方法的步骤。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至7任一项所述自适应的神经网络训练方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至7任一项所述自适应的神经网络训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 114492787 A 3