DOI:10.11991/yykj.202301006网络出版地址:https://link.cnki.net/urlid/23.1191.u.20240202.1536.004基于双分支交互的实时语义分割算法杨迪,陈春雨哈尔滨工程大学信息与通信工程学院,黑龙江哈尔滨150001摘要:针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branchinteractivemulti-scalefusionnetworkforreal-timesemanticsegmentation,DIMFNet)。算法以引导聚合双边语义分割网络(bilateralnetworkwithguidedaggregationforreal-timesemanticsegmentation,BiseNetV2)的双分支结构为基准进行改进,空间分支提取空间细节特征,上下文分支提取深层上下文特征。结合注意力思想提出注意力引导高级语义融合模块(attentionguidehigh-levelsemanticsfusionmodule,AGHSM)实现双分支的交互融合,以获得更好的空间特征表示;对金字塔池化模块进行改进,提出采用多层聚合金字塔池化模块(multi-layeraggregationpyramidpoolingmodule,MAPPM)提取多尺度上下文特征,以获得更好的上下文特征表示。算法在Cityscapes数据集上进行消融实验并与现有实时语义分割网络进行对比,验证了各模块的有效性,以124.5f/s达到了77.9%的平均交并比(meanintersectionoverunion,MIoU);在CamVid数据集上以211.1f/s达到了75.1%的MIoU。相比现有的实时语义分割网络,本文算法更好地权衡了分割的精度和速度。关键词:实时语义分割;空间分支;上下文分支;特征融合;注意力机制;多尺度特征提取;池化金字塔;深度监督中图分类号:TP391.4文献标志码:A文章编号:1009−671X(2024)02−0048−08Real-timesemanticsegmentationalgorithmbasedontwo-branchinteractionYANGDi,CHENChunyuCollegeofInformationandCommunicationEngineering,HarbinEngineeringUniversity,Harbin150001,ChinaAbstract:Inresponsetocurrentissuesofthedual-branchreal-timesemanticsegmentationalgorithm,suchaspoorinteractionbetweenthetwobranchesandincompleteextractionofmulti-scalecontextualinformation,thispaperproposesthedual-branchinteractivemulti-scalefusionnetworkforreal-timesemanticsegmentation(DIMFNet).Thealgorithmisbasedonthedual-branchstructureofthebilateralnetworkwithguidedaggregationforreal-timesemanticsegmentation(BiseNetV2),withthespatialbranchextractingspatialdetailfea...