第29卷第1期2024年1月doi:10.13682/j.issn.2095-6533.2024.01.001基于深度Q网络算法的卫星边缘卸载策略西安邮电大学学报JOURNALOFXI'ANUNIVERSITYOFPOSTSANDTELECOMMUNICATIONSVol.29No.1Jan.2024王军选12，王月雯1-2，高阔阔1.2（1.西安邮电大学通信与信息工程学院，陕西西安710121;2.陕西省信息通信网络及安全重点实验室，陕西西安710121)摘要：在星地融合网络中，为了降低用户卸载计算任务的时延和能耗，将边缘计算（MobileEdgeComputing，MEC)技术与星地协同网络结合，提出一种基于深度Q网络(DeepQ-Network,DQN)算法的卫星边缘卸载策略。在卫星网络边缘部署MEC服务器，将中心处理单元（CentralProcessingUnit,CPU)设为可与周围环境交互的智能体，建立任务卸载时延和能耗加权和最小化问题。为求解该非凸优化问题，将其转化为马尔科夫决策过程，确立对应的状态空间、动作空间和奖励函数及策略更新函数，寻求最优解。仿真结果表明，与基于Q学习（Q-learning)策略和基于演员家-评论家（Actor-Critic，AC)策略进行对比，所提策略可以有效地增加系统的平均回报值，降低系统开销。关键词：移动边缘计算；高地球轨道卫星；低地球轨道卫星；深度Q网络；马尔科夫决策过程；第六代移动通信系统中图分类号：TN927AnedgeoffloadingstrategyinsatellitebasedondeepQWANGJunxuanl-2,WANGYuewenl-2,GAOKuokuol.(1.SchoolofCommunicationsandInformationEngineering,Xi'anUniversityofPostsandTelecommunications,Xi'an710121,China;2.ShaanxiKeyLaboratoryofInformationCommunicationNetworkandSecurity,Xi'anAbstract:Inthesatellite-groundfusionnetwork,inordertoreducethedelayandenergyconsump-tionofusers'offloadingcomputingtasks,asatelliteedgeoffloadingcomputingstrategybasedondeepQ-network(DQN)algorithmisproposedbycombiningthemobileedgecomputing(MEC)technologywiththesatellite-groundcollaborativenetwork.TheMECserverisdeployedattheedgeofthesatellitenetwork,andthecentralprocessingunit(CPU)issettobeanintelligentagentthatcaninteractwiththesurroundingenvironment,andthetaskoffloadingdelayandenergyconsump-tionweightingandminimizationproblemsareestablished.Inordertosolvethenon-convexoptimi-zationproblem,itisconvertedtoaMarkovdecisionprocess,andthecorrespondingstatespace,re-wardfunctionandstrategyupdatefun...
