第49卷第2期2023年2月ComputerEngineering计算机工程基于改进PPO算法的机器人局部路径规划刘国名，李彩虹，李永迪，张国胜，张耀玉，高腾腾（山东理工大学计算机科学与技术学院，山东淄博255000）摘要：利用强化学习训练机器人局部路径规划模型存在算法收敛速度慢、易陷入死锁区域导致目标不可达等问题。对传统近端策略优化(PPO)算法进行改进，引入长短期记忆(LSTM)神经网络并设计虚拟目标点法，提出LSTM-PPO算法。将PPO神经网络结构中的全连接层替换为LSTM记忆单元，控制样本信息的记忆和遗忘程度，优先学习奖励值高的样本，从而更快地累积奖励优化模型。在此基础上，加入虚拟目标点，通过雷达传感器收集的环境信息判断机器人陷入死锁区域时弃用目标点给予机器人的引导，使机器人走出陷阱区域并趋向目标点，减少在死锁区域不必要的训练。分别在特殊障碍物场景和混合障碍物场景中对LSTM-PPO算法进行仿真验证，结果表明，与传统PPO算法和改进算法SDAS-PPO相比，该算法在两种场景训练中均能最快到达奖励峰值，可加快模型收敛速度，减少冗余路段，优化路径平滑度并缩短路径长度。关键词：机器人；局部路径规划；长短期记忆神经网络；近端策略优化算法；虚拟目标点开放科学（资源服务）标志码（OSID）：中文引用格式：刘国名，李彩虹，李永迪，等.基于改进PPO算法的机器人局部路径规划［J］.计算机工程，2023，49（2）：119-126，135.英文引用格式：LIUGM，LICH，LIYD，etal.LocalpathplanningofrobotbasedonimprovedPPOalgorithm［J］.ComputerEngineering，2023，49（2）：119-126，135.LocalPathPlanningofRobotBasedonImprovedPPOAlgorithmLIUGuoming，LICaihong，LIYongdi，ZHANGGuosheng，ZHANGYaoyu，GAOTengteng（SchoolofComputerScienceandTechnology，ShandongUniversityofTechnology，Zibo255000，Shandong，China）【Abstract】Thetraditionalreinforcementlearningalgorithmhastheproblemofslowconvergenceandfailstoreachthetargetowingtothepossibilityoffallingintothedeadlockarea.Thus，basedontheProximalPolicyOptimization（PPO）algorithmcombinedwithaLongShort-TermMemory（LSTM）neuralnetworkanddesignedvirtualtargetpointmethod，thisstudyintroducesaLSTM-PPOalgorithm.Inthisalgorithm，thefullyconnectedlayerinthePPOneuralnetworkstructureisreplacedwithanLSTMmemoryunittocontrolthememoryandforgettingdegreeofsa...
