第31卷第4期2023年2月Vol.31No.4Feb.2023光学精密工程OpticsandPrecisionEngineering结合残差收缩和时空上下文的行为检测网络黄忠1，2*，陶孟元1，胡敏2，刘娟1，占生宝1（1.安庆师范大学电子工程与智能制造学院，安徽安庆246133；2.合肥工业大学计算机与信息学院，安徽合肥230009）摘要：针对R-C3D行为检测网络特征提取冗余度高及边界定位不准确的问题，结合残差收缩结构和时空上下文，提出一种改进的行为检测网络（RS-STCBD）。首先，将收缩结构和软阈值化操作融入到3D-ResNet的残差模块中，设计通道自适应阈值的残差收缩单元（3D-RSST），并级联多个3D-RSST单元构建特征提取网络以消除行为特征中的噪声、背景等冗余信息；然后，在时序候选子网中嵌入多层卷积替代一次卷积，以增加时序侯选片段的时序维度感受野；最后，在行为分类子网引入非局部注意力机制，通过捕获优质行为时序片段间的远程依赖以获取动作时空上下文信息。在THU⁃MOS14和ActivityNet1.2数据集上的实验结果表明：改进网络的mAP@0.5分别达到36.9%和41.6%，比R-C3D方法提升了8.0%和14.8%。基于改进网络的行为检测方法提高了动作边界定位精度和行为分类准确率，有利于改善自然场景下的人机交互质量。关键词：行为检测网络；残差收缩结构；时空上下文；多层卷积；非局部注意力机制中图分类号：TP394.1；TH691.9文献标识码：Adoi：10.37188/OPE.20233104.0552Combiningresidualshrinkageandspatio-temporalcontextforbehaviordetectionnetworkHUANGZhong1，2*，TAOMengyuan1，HUMin2，LIUJuan1，ZHANShengbao1（1.SchoolofElectronicEngineeringandIntelligentManufacturing，AnqingNormalUniversity，Anqing246133，China；2.SchoolofComputerScienceandInformationEngineering，HefeiUniversityofTechnology，Hefei230009，China）*Correspondingauthor，E-mail：huangzhong3315@163.comAbstract：Tosolvetheproblemsofhighredundancyofbehaviorfeatureextractionandinaccuratelocaliza⁃tionofbehaviorboundaryofR-C3D，animprovedbehaviordetectionnetwork（RS-STCBD）basedonre⁃sidualshrinkageandspatio-temporalcontextisproposed.First，theresidualshrinkagestructureandsoftthresholdoperationareintegratedintotheresidualmoduleof3D-ResNet，andaunitof3Dresidualshrink⁃agewithchannel-adaptivesoftthresholds（3D-RSST）isdesigned.Moreover，multiple3D-RSSTsarecas...
