2023-05-10计算机应用,JournalofComputerApplications2023,43(5):1543-1550ISSN1001-9081CODENJYIIDUhttp：//www.joca.cn基于改进深度强化学习的边缘计算服务卸载算法曹腾飞*，刘延亮，王晓英（青海大学计算机技术与应用系，西宁810016）（∗通信作者电子邮箱caotf@qhu.edu.cn）摘要：在边缘计算（EC）网络中，针对边缘节点计算资源和存储空间有限的问题，提出一种基于改进深度强化学习（DRL）的边缘计算服务卸载（ECSO）算法，以降低节点处理时延和提高服务性能。具体来说，将边缘节点服务卸载问题转化为资源受限的马尔可夫决策过程（MDP），利用DRL算法解决边缘节点的请求状态转移概率难以精确预测的问题；考虑到边缘节点执行缓存服务的状态动作空间过大，定义新的动作行为替代原有动作，并依据提出的动作筛选算法得到最优动作集合，以改进计算动作行为奖励值的过程，进而大幅度降低动作空间大小，提高算法训练的效率以及收益。仿真实验结果表明，对比原深度Q网络（DQN）算法、邻近策略优化（PPO）算法以及传统的最流行（MP）算法，ECSO算法的总奖励值分别提升了7.0%、12.7%和65.6%，边缘节点服务卸载时延分别降低了13.0%、18.8%和66.4%，验证了算法的有效性，说明ECSO能有效提升边缘计算服务的卸载性能。关键词：边缘计算；缓存服务；服务卸载；深度强化学习；动作行为奖励中图分类号：TP393；TP183文献标志码：AEdgecomputingandserviceoffloadingalgorithmbasedonimproveddeepreinforcementlearningCAOTengfei*，LIUYanliang，WANGXiaoying（DepartmentofComputerTechnologyandApplications，QinghaiUniversity，XiningQinghai810016，China）Abstract:TosolvetheproblemoflimitedcomputingresourcesandstoragespaceofedgenodesintheEdgeComputing（EC）network，anEdgeComputingandServiceOffloading（ECSO）algorithmbasedonimprovedDeepReinforcementLearning（DRL）wasproposedtoreducenodeprocessinglatencyandimproveserviceperformance.Specifically，theproblemofedgenodeserviceoffloadingwasformulatedasaresource-constrainedMarkovDecisionProcess（MDP）.Duetothedifficultyofpredictingtherequeststatetransferprobabilityoftheedgenodeaccurately，DRLalgorithmwasusedtosolvetheproblem.Consideringthatthestateactionspaceofedgenodeforcachingservicesistoolarge，bydefiningnewactionbehaviorstoreplacetheoriginalactions...
