www.ChinaAET.comArtificialIntelligence人工智能一种深度神经网络的分布式训练方法原野1，田园1，蒋七兵2，3（1.云南电网有限责任公司信息中心，云南昆明650214；2.云南云电同方科技有限公司云南昆明650214；3.西南林业大学大数据与智能工程学院，云南昆明650224）摘要：深度神经网络在高维数据的分类和预测中取得了巨大成功。训练深度神经网络是数据密集型的任务，需从多个数据源收集大规模的数据。这些数据中通常包含敏感信息时，使得深度神经网络的训练过程容易泄露数据隐私。针对训练过程中的数据隐私和通信代价问题，提出了一种深度神经网络的分布式训练方法，允许基于多个数据源共同训练深度神经网络。首先，提出了分布式训练架构，由1个计算中心和多个代理组成。其次，提出了基于多代理的分布式训练算法，允许代理在数据不出本地和减少通信代价的情况下，通过切割深度神经网络，实现分布式地共同训练模型。然后，分析了算法的正确性。最后，实验结果表明该方法是有效的。关键词：深度神经网络；分布式训练；监督学习；隐私保护中图分类号：TP311文献标志码：ADOI:10.16157/j.issn.0258-7998.223244中文引用格式：原野，田园，蒋七兵.一种深度神经网络的分布式训练方法[J].电子技术应用，2023，49(3)：48-53.英文引用格式：YuanYe，TianYuan，JiangQibing.Distributedtrainingmethodfordeepneuralnetworks[J].ApplicationofElec‐tronicTechnique，2023，49(3)：48-53.DistributedtrainingmethodfordeepneuralnetworksYuanYe1，TianYuan1，JiangQibing2，3(1.InformationCenter，YunnanPowerGridCo.，Ltd.，Kunming650214，China；2.YunnanYundianTongfangTechnologyCo.，Ltd.，Kunming650214，China；3.SchoolofBigDataandIntelligentEngineering，SouthwestForestryUniversity，Kunming650224，China)Abstract：Deepneuralnetworkshaveachievedgreatsuccessinclassificationandpredictionofhigh-dimensionaldata.Trainingdeepneuralnetworksisadata-intensivetask,whichneedstocollectlarge-scaledatafrommultipledatasources.Thesedatausu‐allycontainsensitiveinformation,whichmakesthetrainingprocessofconvolutionalneuralnetworkseasytoleakdataprivacy.Aimingattheproblemsofdataprivacyandcommunicationcostinthetrainingprocess,thispaperproposesadistributedtrainingmethodfordeepneuralnetworks,whichallowstojointlylearnde...
