基于DQN的探测干扰一体化波形优化设计_陈涛.pdf

第 卷第期 年月系统工程与电子技术 文章编号：（）网址：收稿日期：；修回日期：；网络优先出版日期：。网络优先出版地址：基金项目：上海航天科技创新基金（）；国防科技基础加强计划（）资助课题通讯作者引用格式：陈涛，张颖，胡学晶，等基于 的探测干扰一体化波形优化设计系统工程与电子技术，（）：，（）：基于 的探测干扰一体化波形优化设计陈涛，张颖，胡学晶，肖易寒，（哈尔滨工程大学信息与通信工程学院，黑龙江 哈尔滨 ；哈尔滨工程大学先进船舶通信与信息技术工业和信息化部重点实验室，黑龙江 哈尔滨 ）摘要：由于侦察干扰机设备具有发射功能，为使发射的干扰信号还具有探测的效果，考虑将探测信号隐藏在干扰信号中，提出一种基于非均匀间歇采样重复转发的探测干扰一体化信号波形。首先，建立一体化信号模型，并利用非均匀间歇采样重复转发技术实现幅度编码调制；然后，在优化过程中，从模糊函数以及雷达检测环节分析一体化信号的特征，根据距离、速度分辨率以及脉压后幅度的均值与标准差之比，构造相应的目标函数；最后，利用深度 学习算法求解目标函数，获取最优的幅度编码方式。仿真结果表明，当编码状态量小时，深度 网络（，）算法与强化学习算法收敛效果一致。与遗传算法相比，算法最优解的质量提高了 ；当编码状态量增大时，相对于遗传算法和强化学习算法，算法的收敛值更优，最优解更稳定。关键词：探测干扰一体化信号；非均匀间歇采样重复转发；模糊函数；脉冲幅度编码；深度 学习中图分类号：文献标志码：，（.，；.，）：，（），：；第期陈涛等：基于 的探测干扰一体化波形优化设计 引言随着现代军事电子干扰、电子侦察技术的不断发展，雷达面临的电磁环境日益复杂，有效攻击对方电子系统和有效保护己方电子系统以阻止和破坏对方电子设备对电磁的利用都尤为重要，因此作战平台需要配备雷达、干扰机等，而功能单一且相互独立的作战设备占用大量资源且相互之间有较强电磁干扰，严重影响作战能力。未来系统化战争武器装备趋向于向一机多能的方向发展。近年来，有一些学 者 研 究 了 雷 达 干 扰 一 体 化 共 享 信 号 的 方 法。文献 提出了一种基于双载频伪随机二相编码信号的干扰探测一体化信号波形。文献 提出了一种伪码噪声调频与线性调频复合调制的探测干扰共享波形。文献 应用遗传算法设计了一种基于正交频分复用的雷达通信一体化共享信号波形优化方法。文献 根据干扰带宽设计了探测干扰一体化信号波形。文献 研究了具有低截获概率的雷达干扰波形设计。同时，随着认知雷达的发展，一些基于智能算法的雷达干扰波形设计也得到了广泛关注。文献 通过模仿蝙蝠的认知学习过程，将信息反馈给发射机，实现自适应探测和处理。文献 提出了基于学习的智能雷达对抗方法。文献 提出了基于强化学习的认知干扰波形设计，有效地对雷达检测环节进行了干扰。文献 提出了基于深度网络（，）的干扰决策方法。上述论文更多是从雷达角度出发设计具有噪声压制特性的探测干扰一体化信号。受此启发，本文考虑从干扰的角度出发设计一体化信号，使发射的干扰信号还具有探测功能。首先介绍了一体化信号的工作场景，在此基础上对一体化信号进行了建模。同时，从模糊函数以及恒虚警概率（，）检测技术的角度设计了探测干扰一体化性能评价函数。其中，作为一种智能算法，针对数据量大的状态空间具有良好的决策能力，尤其是在实际环境中，雷达信号形式不固定使得传统干扰库方法无法满足实际需求 。因此，采用 算法进行求解，获取最优一体化波形，最后通过对比仿真验证了该方法的有效性。一体化信号模型建立 场景描述干扰信号可以分为压制干扰信号和欺骗干扰信号，欺骗干扰信号主要是在对方雷达信号的基础上设计干扰信号。而本文设计的探测干扰一体化信号是欺骗干扰信号，即将探测信号隐藏在干扰信号中，一体化信号的工作场景如图所示。图中，假设对方雷达发射雷达信号（），己方在检测到对方雷达信号后，将（）信号与调制信号（）进行相干调制，得到干扰信号（），对方将接收到的干扰信号误认为自己发射的雷达信号，然后经过一个系统函数为（）的匹配滤波器进行滤波处理，得到信号（），同时干扰信号（）又可作为己方的探测信号，对其他目标进行探测。图一体化信号工作场景 均匀间歇采样转发干扰信号为了解决距离与距离分辨率相矛盾的问题，现代雷达普遍采用脉冲压缩雷达，而线性调频（，）信号 是脉冲压缩雷达常用的一种调制信号，因此假设针对 信号设计干扰信号。考虑到侦察干扰机不能同时收发，而数字射频存储（，）是一种应用高速数字采样与存储技术来实现对微波信号存储与转发功能的技术，因此大多数干扰机采用间歇采样转发干扰技术 。该技术可将接收到的大时宽脉冲压缩信号分成若干个短脉冲进行发射，其原理如图所示。图间歇采样重复转发干扰原理图 图中，为截获到的雷达信号，为间歇采样周期，为采样时间，为转发时间。当（即转发时间倍数）时，信号为均匀间歇采样转发干扰信号。截获到的 信号（）的一般表达式为（）（）（）（）式中：为载波频率；为信号持续时间；为带宽；为调频斜率；（）为矩形信号，表达式为（）（），其他（）信号（）匹配滤波器的系统函数为 系统工程与电子技术第 卷（）（）式中：“”代表取共轭；是使其为因果可实现系统的常数，可令。故（）的表达式为（）（）（）（）信号经过匹配滤波器的输出为（）（）（）（）（）（）（）（）式中：表示卷积；。采样信号（）的表达式为（）（）（）（）（）式中：（）为冲激函数。干扰信号（）经过一次延时转发得到：（）（）（）（）经过匹配滤波得到：（）（）（）（）（）（）（）（）（）（）（）式中：为间歇采样频率。重复转发次后的干扰信号脉压输出为（）（）（）（）（）（）由式（）可知，间歇采样重复转发干扰信号经过匹配滤波后的第个求和项为主假目标，其幅度与有关，位置相对于（）进行 的时延；第个求和项为次假目标，幅度与（）有关，频移量为。当采样时间固定时，两侧假目标对应位置的幅度相同且恒定，不能形成幅度变化的假目标，因此真实目标无法淹没在假目标中，仍有可能被检测到。同时，假目标的个数还与重复转发的次数有关，因此本文设计了一种新的非均匀间歇采样重复转发干扰 方 式，使 雷 达 信 号 在 脉 压 后 能 产 生 压 制 干 扰 的效果。非均匀间歇采样重复转发干扰信号对雷达信号进行间歇采样转发干扰在时域上也可体现为对雷达信号进行脉冲幅度调制，新的间歇采样转发干扰机制如图所示。图中，固定最小采样时间单元，编码序列中的“”代表采样。若出现一个“”，则采样时间为，若连续出现两个“”，则采样时间为，以此类推；“”代表转发，此转发为将前一时刻的所有采样信号进行转发，连续出现“”意为将前一时刻的采样信号重复转发。图非均匀间歇采样重复转发干扰原理 例如，当序列为“”时，出现个，对应转发时间依次为、，意为非均匀转发。为了易于书写，不妨对序列先进行扩展，使得每一位码元对应的码元宽度均为，即可将上述序列扩展为“”。可令二进制序列，的扩展序列为，其中代表扩展后的序列长度，扩展序列的第个码元对应的幅度包络（）可表示为（）（）（）（）式中：，的取值范围为（，）；为最小采样时间单元。（）为矩形信号，其表达式为（）（），其他（）转发信号（）可表示为（）（）（）（）式中：（）为第个码元对应发射的短脉冲，表达式为（），（）（），（）式中：为当码元为时，此码元前的连串个数。由分析可知，最终的转发信号（）取决于编码序列，而编码序列充分体现了非均匀间歇采样时间以及转发次数的取值，因此编码序列的选取成为了问题的关键。目标函数建立及优化求解转发信号（）除了应具备干扰特性，还应具备雷达探测特性。技术是针对大时宽带宽积信号的一种有效检测手段，因此可从雷达检测环节分析干扰性能。探测信号能够从回波信号中得到目标的运动信息，而模糊函数在一定程度上反映了距离和速度分辨力，因此可以从模糊函数的角度分析探测性能。第期陈涛等：基于 的探测干扰一体化波形优化设计 干扰性能优化分析在一定的信噪比下，雷达根据系统的检测概率和虚警概率的要求确定检测门限，当信号的强度超过该门限时，说明检测到目标。能够自适应调整检测门限，是现代雷达普遍采用的一种检测技术，其原理如图所示。图 原理 算法常用的方法有单元平均 （，）、最大选择 （，）、最 小 选 择 （，）。以 为例，检测门限由左右个参考单元的均值与检测因子相乘得到。为了对雷达检测环节进行干扰以达到掩盖真实信号的目的，应提高雷达检测门限，即提高参考单元信号的幅度值。参考单元的幅度值与信号脉压后的幅度有关，即设计的干扰信号脉压后假目标的个数越多，幅度越大且干扰效果越好。因此不妨将干扰信号脉压后信号幅度标准差与均值之比作为评价干扰性能的标准。的表达式为（）（）（）式中：（）为标准差运算；（）为均值运算；（）为干扰信号脉压后得到的信号。越大则说明干扰效果越好。探测性能优化分析模糊函数是分析雷达探测性能的重要工具，主要用来刻画雷达信号分辨邻近目标运动距离与速度的能力。理想的模糊函数应具有“图钉”形状，即能量主要集中在主瓣，旁瓣能量均匀分开。一体化信号（）的模糊函数可以定义为（，）（）（）（）时延分辨常数可表示为（，）（，）（）根据时延分辨常数可定义距离分辨率为（）式中：代表光速。多普勒分辨常数可表示为（，）（，）（）根据多普勒分辨常数可定义速度分辨率为（）式中：代表发射信号波长。当雷达信号的距离分辨力以及速度分辨力越大，即距离和速度分辨率越小，则说明雷达信号的探测性能越好。根据式（）和式（）可知，当光速以及发射信号波长为定值时，时延分辨常数与多普勒分辨常数越小，则雷达信号的距离和速度分辨率越小，探测性能越好。一体化信号目标函数建立通过以上分析可知，探测干扰一体化信号的设计应从两个方面考虑：一是雷达探测性能最佳，即信号距离分辨率以及速度分辨率尽可能小；二是干扰性能最佳，即干扰信号脉压后假目标的个数越大幅度越高，脉压后信号幅度均值与标准差之比尽可能大。因此可以转化为求最大值问题，目标函数可以定义为 （）（）目标函数确定后，需要对目标函数求解，获取最优的编码序列。其中，、分别为单目标时式（）、式（）的倒数对应的最大值，为单目标时式（）对应的最大值，目的是将各项进行归一化处理，、分别为探测性能和干扰性能的权重，可根据实际情况进行调节。基于 的优化序列求解与强化学习不同的是，深度强化学习适用于状态连续或者状态数据量大的空间。本文中每一组不同的编码序列对应一个状态，总体的状态量可以表示为 （）式中：为总状态量；为雷达信号长度；为最小采样时间。随着序列长度的变化，编码类型也会成指数倍增加，因此数据量大，而强化学习的状态和动作值是离散且有限的。若将连续空间离散化，则离散点空间数据量大，不利于表的更新，且不足以保证泛化能力，因此可选择 算法进行优化序列求解。更新公式为（，）（，）（，）（，）（）式中：表示学习率；表示奖励函数；表示折扣因子；（，）表示在下一状态时取动作可以得到的 的最大值。的四元组为，。此外，算法采用了记忆回放机制，即由每一次智能体与环境交互得到的四元组均会存入记忆库，每间隔一定的步数，将会从记忆库中选取一定的样本来训练网络。将 算法应用到探测干扰波形设计中的原理的框图如图所示。要设计最优的一体化波形，使得其探测性能以及干扰性能最佳，则需要得到最优的二进制编码序列。结合前 系统工程与电子技术第 卷文构造的目标函数，设计规则如下。智能体：己方干扰机。环境：对方雷达。初始状态：随机产生一组长度为的二进制序列，再固定序列第一位为，即先采样，后转发。动作值：此刻码元的取值为或，采用 算法，以的概率随机选取，以的概率进行利用。下一时刻状态：采取动作后产生的新的二进制序列。奖励函数：目标函数，即目标函数越大，奖励越大。图基于 的一体化波形设计框图 将 算法应用到一体化波形设计中的流程如图所示。图基于 的一体化波形设计流程 实验仿真与分析为了验证基于 的探测干扰一体化信号波形优化设计方法的有效性，分别从探测性能与干扰性能方面进行分析验证。同时，将从传统的均匀间歇采样转发设计一体化信号以及采用遗传算法、强化学习算法求解的最优编码序列进行对比分析。算法仿真分析算法