2024年1月第1期71移动通信ReinforcementLearningpproach[J].MobileCommunications,2024,48(1):71-78.LIAOChengjian,LIUSiyi,ZHAOChenyu,etal.Anti-JammingTransmissionforAir-GroundIntegratedNetworks:AMulti-Agent引用格式：廖程建,刘思懿,赵晨羽，等.基于多智能体强化学习的空地网络抗干扰传输方法研究[J].移动通信，2024,48(1)：71-78.文献标志码：A文章编号：1006-1010(2024)01-0071-08doi:10.3969/j.issn.1010.20231209-0002中图分类号：TN929.5OSID:扫描二维码与作者交流总第521期第48卷基于多智能体强化学习的空地网络抗干扰传输方法研究廖程建，刘思懿，赵晨羽，张果，侯宏伟，朱瀚然，夏晓晨，许魁（陆军工程大学通信工程学院，江苏南京210007）【摘要】提出了一种基于多智能体强化学习的抗干扰传输算法，旨在抵御空地一体化网络中的功率干扰，使所有用户的可达速率之和最大化。将优化问题转化为部分可观察马尔可夫决策过程问题，采用了集中式训练和分布式执行框架。在集中式训练过程中，每个智能体与环境交互获得的经验存储在经验回放池中，用于训练演员-评论员网络。在分布式执行过程中，每架无人机使用经过训练的演员网络根据观测结果输出动作，并调整其飞行位置和传输功率以提供联合服务。采用基于剪切和计数的改进近端策略优化算法来更新演员-评论员网络参数，使其在复杂的多智能体环境中更加有效。仿真结果表明，所提算法相较于对比算法具有更快的收敛速度，且在相同干扰条件下，所提算法比对比算法获取的用户可达和速率提升约68.9%【关键词】多智能体；强化学习；空地网络；抗干扰Anti-JammingTransmissionforAir-GroundIntegratedNetworks:AMulti-AgentReinforcementLearningApproachLIAOChengjian,LIUSiyi,ZHAOChenyu,ZHANGGuo,HOUHongwei,ZHUHanran,XIAXiaochen,XUKui(ArmyEngineeringUniversityofPLA,Nanjing210007,China)[Abstract]Thispaperpresentsananti-jammingtransmissionalgorithmbasedonmulti-agentreinforcementlearning,designedtocounterpowerinterferenceinair-groundintegratednetworksandmaximizethesumrateofallusers.TheoptimizationproblemisformulatedasapartiallyobservableMarkovdecisionprocessandtackledusingacentralizedtraininganddecentralizedexecutionframework.Duringcentralizedtraining,experiencesgatheredbyeachagentfrominteractionswiththeenvironmentarestoredinareplaybuffer,whichist...
