基于神经架构搜索的非结构化剪枝方法王宪保１刘鹏飞１项圣１王辛刚１摘要由于难以使用客观标准删除深度神经网络中的冗余单元，剪枝后的网络表现出性能的急剧退步．针对此问题，文中提出基于神经架构搜索的非结构化剪枝方法．首先，将掩码学习模块定义在搜索空间中，以便删除冗余的权重参数．然后，引入层级相关系数传播，在反向传播过程中为每个网络权重分配一个层级相关系数，以此衡量每个权重对网络输出的贡献度，并帮助二值掩码参数的更新．最后，对网络权重、架构参数和层级相关系数进行统一更新．在ＣＩＦＡＲ⁃１０、ＩｍａｇｅＮｅｔ分类数据集上的实验表明，文中方法能够在高剪枝率场景下保持网络的泛化能力，满足模型部署的要求．关键词网络剪枝，神经架构搜索（ＮＡＳ），搜索空间，层级相关系数传播，掩码参数引用格式王宪保，刘鹏飞，项圣，王辛刚．基于神经架构搜索的非结构化剪枝方法．模式识别与人工智能，２０２３，３６（５）：４４８－４５８．ＤＯＩ１０．１６４５１／ｊ．ｃｎｋｉ．ｉｓｓｎ１００３⁃６０５９．２０２３０５００５中图法分类号ＴＰ１８１ＵｎｓｔｒｕｃｔｕｒｅｄＰｒｕｎｉｎｇＭｅｔｈｏｄＢａｓｅｄｏｎＮｅｕｒａｌＡｒｃｈｉｔｅｃｔｕｒｅＳｅａｒｃｈＷＡＮＧＸｉａｎｂａｏ１，ＬＩＵＰｅｎｇｆｅｉ１，ＸＩＡＮＧＳｈｅｎｇ１，ＷＡＮＧＸｉｎｇａｎｇ１ＡＢＳＴＲＡＣＴＤｕｅｔｏｔｈｅｄｉｆｆｉｃｕｌｔｙｏｆｕｓｉｎｇｏｂｊｅｃｔｉｖｅｃｒｉｔｅｒｉａｔｏｒｅｍｏｖｅｒｅｄｕｎｄａｎｔｕｎｉｔｓｉｎｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ｐｒｕｎｅｄｎｅｔｗｏｒｋｓｏｆｔｅｎｅｘｈｉｂｉｔａｓｈａｒｐｄｅｃｌｉｎｅｉｎｐｅｒｆｏｒｍａｎｃｅ．Ｔｏａｄｄｒｅｓｓｔｈｉｓｉｓｓｕｅ，ａｎｕｎｓｔｒｕｃｔｕｒｅｄｐｒｕｎｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｎｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｓｅａｒｃｈ（ＵＰＮＡＳ）ｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ａｍａｓｋｌｅａｒｎｉｎｇｍｏｄｕｌｅｉｓｄｅｆｉｎｅｄｉｎｔｈｅｓｅａｒｃｈｓｐａｃｅｔｏｒｅｍｏｖｅｔｈｅｒｅｄｕｎｄａｎｔｗｅｉｇｈｔｐａｒａｍｅｔｅｒｓ．Ｔｈｅｎ，ｌａｙｅｒ⁃ｗｉｓｅｒｅｌｅｖａｎｃｅｐｒｏｐａｇａｔｉｏｎｉｓｉｎｔｒｏｄｕｃｅｄ，ａｎｄａｌａｙｅｒ⁃ｗｉｓｅｒｅｌｅｖａｎｃｅｓｃｏｒｅｔｏｅａｃｈｎｅｔｗｏｒｋｗｅｉｇｈｔｉｓａｓｓｉｇｎｅｄｄｕｒ...
