2023.7,3(4)|专题:数智低碳交通技术毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述王文博,朱世豪,陈泽宇,张伟斌(南京理工大学电子工程与光电技术学院,江苏南京210014)摘要:目标检测是现代智慧交通感知的基础研究内容之一,近年来随着传感器技术与机器学习算法的发展,基于多传感器融合的目标检测方法得到了广泛的关注。针对毫米波雷达与视觉融合的目标检测方法展开了较为全面的综述。介绍了目标检测的评估指标与常见公开数据集;简述了毫米波雷达与视觉传感器的标定方法,然后从前融合、后融合、特征融合三个角度对相关数据融合方法进行了对比;结合目前研究现状与难点问题对未来的研究方向进行了展望。研究表明,毫米波雷达和视觉传感器的融合检测方案可以突破单一传感器检测的固有缺陷,在复杂场景下表现出更优秀的检测性能和鲁棒性,是未来实现高等级智能交通的一条可行之路。现有的方法受限于算力、数据集质量、传感器数量等因素,多停留在理论与试验阶段,后续研究应注重实际的复杂场景、融合更多传感器,使其在检测精度、检测速度、鲁棒性等方面更接近于使用,使之更好地服务于工程实际。关键词:交通工程;车辆目标检测;雷视融合;毫米波雷达;深度学习ResearchadvancesonmillimeterwaveradarandvisionfusionintrafficobjectdetectionWANGWenbo,ZHUShihao,CHENZeyu,ZHANGWeibin(SchoolofElectronicandOpticalEngineering,NanjingUniversityofScienceandTechnology,Nangjing210014,China)Abstract:Objectdetectionisoneofthebasicresearchcontentsoftrafficperception.Inrecentyears,withthedevelopmentofsensortechnologyandmachinelearning,objectdetectionbasedonmulti-sensorfusionhasreceivedextensiveattention.Thispapergivesacomprehensiveoverviewofobjectde⁃tectionmethodsbasedonthefusionofmillimeterwaveradarandvision.Theevaluationindicatorsandcommonpublicdatasetsofobjectdetectionareintroduced.Thecalibrationofmillimeterwaveradarandvisualsensorarebrieflydescribed,andthentherelevantdatafusionmethodsarecomparedfromtheperspectiveoffrontfusion,postfusionandfeaturefusion.Combinedwiththecurrentresearchanddifficultproblems,thefutureresearchdirectionsareprospected.Theresearchshowsthatthefusionde⁃tectionschemeofmillimeterwaveradarandvisualsensorcanbreakthroug...