2023⁃03⁃10计算机应用,JournalofComputerApplications2023,43(3):713-722ISSN1001⁃9081CODENJYIIDUhttp：//www.joca.cn面向交通场景解析的局部和全局上下文注意力融合网络王泽宇1*，布树辉2，黄伟1，郑远攀1，吴庆岗1，张旭1（1.郑州轻工业大学计算机与通信工程学院，郑州450002；2.西北工业大学航空学院，西安710072）（∗通信作者电子邮箱wangzeyu@zzuli.edu.cn）摘要：为解决交通场景解析中局部和全局上下文信息自适应聚合的问题，提出3模块架构的局部和全局上下文注意力融合网络（LGCAFN）。前端的特征提取模块由基于串联空洞空间金字塔池化（CASPP）单元改进的ResNet-101组成，能够更加有效地提取物体的多尺度局部特征；中端的结构化学习模块由8路长短期记忆（LSTM）网络分支组成，可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征；后端的特征融合模块采用基于注意力机制的3阶段融合方式，能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息，且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明，相较于逆变换网络（ITN）和对象上下文表示网络（OCRN）等方法，LGCAFN实现了最优的平均交并比（mIoU），达到了84.0%和86.3%，表明LGCAFN能够准确地解析交通场景，有助于实现车辆自动驾驶。关键词：交通场景解析；自适应聚合；串联空洞空间金字塔池化；长短期记忆；注意力融合中图分类号：TP391.4；TP18文献标志码：ALocalandglobalcontextattentivefusionnetworkfortrafficsceneparsingWANGZeyu1*，BUShuhui2，HUANGWei1，ZHENGYuanpan1，WUQinggang1，ZHANGXu1（1.CollegeofComputerandCommunicationEngineering，ZhengzhouUniversityofLightIndustry，ZhengzhouHenan450002，China；2.SchoolofAeronautics，NorthwesternPolytechnicalUniversity，Xi’anShaanxi710072，China）Abstract:Inordertosolvethelocalandglobalcontextualinformationadaptiveaggregationproblemintrafficsceneparsing，aLocalandGlobalContextAttentiveFusionNetwork（LGCAFN）withthree-modulearchitecturewasproposed.Thefront-endfeatureextractionmoduleconsistedoftheimproved101-layerResidualNetwork（ResNet-101）whichwasbasedonCascadedAtrousSpatialPyramidPooling（CASPP）unit，andwasabletoextractobject’smulti-scalelocalfeaturesmoreeffectively.Themid-endstr...
