单目视觉融合激光投射的无人机障碍探测方法_刘峰.pdf

文章编号：1002-2082(2023)01-0202-09单目视觉融合激光投射的无人机障碍探测方法刘峰1,2，汪瓒1,2，王向军1,2（1.天津大学精密测试技术及仪器国家重点实验室，天津300072；2.天津大学微光机电系统技术教育部重点实验室，天津300072）摘摘 要：要：针对微小型无人机在飞行作业任务中的主动避障需求，提出一种用于微小型无人机避障的、基于单目视觉与主动激光点阵投射的障碍探测方法。使用单目相机采集投射的激光点阵图案，经过图像分割、聚类、质心提取等处理过程，通过像面激光线方程约束快速排除特征一致激光点的歧义，使用激光点探测出无人机前方空间中障碍的方位信息。实验验证装置在基线距离为65mm，工作距离为 7m 的条件下，障碍探测的相对误差在 1.5%以内。该方法精度高、时间复杂度低，可满足低算力的微小型无人机对障碍探测方法的需求，为进一步避障策略的生成提供数据支撑。关键词：关键词：障碍探测；微小型无人机；单目视觉；空间方位中图分类号：TN206文献标志码：ADOI：10.5768/JAO202344.0107002Obstacles detection method for UAV based on monocular visionand laser projectionLIUFeng1,2，WANGZan1,2，WANGXiangjun1,2（1.StateKeyLaboratoryofPrecisionMeasuringTechnologyandInstruments,TianjinUniversity,Tianjin300072,China；2.KeyLaboratoryofMicroOpticalElectroMechanicalSystemTechnology(MinistryofEducation),TianjinUniversity,Tianjin300072,China）Abstract：Inordertomeettherequirementofactiveobstacleavoidanceofmicrominiatureunmannedaerialvehicle(UAV)inflightmission,anobstaclesdetectionmethodbasedonmonocularvisionandactivelaserlatticeprojectionofmicrominiatureUAVforobstaclesavoidancewasproposed.Theprojectedlaserlatticepatternswerecollectedbyamonocularcamera,andthroughtheprocessesofimagesegmentation,clusteringandcentroidextraction,theambiguityofthecharacteristicconsistentlaserpointwasquicklyeliminatedbytheconstraintofthelaserlineequationoftheimageplane.ThelaserpointswereusedtodetectthedistributionofobstaclesinthefrontspaceoftheUAV.Theexperimentalresultsshowthattherelativeerrorofobstaclesdetectioniswithin1.5%whenthebaselinedistanceis65mmandtheworkingdistanceis7m.Theproposedmethodhashighaccuracyandlowtimecomplexity,andcanmeettherequirementsforobstaclesdetectionmethods of microminiature UAV with low computing power,which provides the data support for thegenerationoffurtherobstaclesavoidancestrategies.Key words：obstacles detection；microminiature unmanned aerial vehicle；monocular vision；dimensionalorientation引言近年来，微小型无人机因其体积小、机动能力强的优势在民用、军用领域得到广泛应用，但其本身对机载设备的体积、重量等参数有着严苛的要收稿日期：2022-05-10；修回日期：2022-06-13基金项目：国家自然科学基金面上项目（51575388）作者简介：刘峰（1978），男，博士，主要从事图像分析与计算机视觉、光电传感与探测方面的研究。E-mail：通信作者：汪瓒（1997），男，硕士研究生，主要从事无人机避障、视觉测量方面的研究。E-mail：sang_第44卷第1期应用光学Vol.44No.12023年1月JournalofAppliedOpticsJan.2023求，在自动避障方面为机载障碍探测系统设计带来了一些挑战1-6。在目前已有的障碍探测方法中，文献 7 使用二维激光雷达作为障碍探测手段获取环境信息，将三维空间的避障问题简化成二维，不考虑无人机在垂直地面方向上的移动，因使用了激光雷达，具有精度上的优势；文献 8 使用单线结构光作为障碍探测手段，同样不考虑垂直地面方向上的移动，能够测量出无人机飞行过程中前方障碍物的距离、方位角度和宽度；文献 9融合了深度相机和激光雷达作为障碍探测手段，利用 SLAM（同步定位与建图）算法，将空间中的障碍物信息建成地图，取得了良好的避障效果：上述3 个方法存在一个共同的问题，因为分别涉及到激光点云处理、线结构光图像、深度 SLAM 算法处理，数据量和计算量庞大，在搭载了计算性能较强平台的中大型无人机上或在离线任务中会有比较好的表现，但在实际应用中很难将这些方法使用到微小型无人机在线任务当中，不能满足计算快的要求。文献 10 使用双目视觉系统作为障碍探测手段，在基线距离为 120mm 的条件下，可用于5m 内的障碍探测，但双目视觉系统不能应用于纹理特征少或光照条件差的环境当中，且要提高精度则势必要增加传感器的体积，难以满足通用性和小型化的要求。在技术已经成熟的工业产品中，英特尔公司的 RealSense 深度摄像头用到了散斑测量的原理11，体积小、输出帧率较高，已得到广泛应用，但此测量方法的工作距离极其有限，如2020 年发布的 D455 型在基线距离超过 100mm 情况下，能够保证 2%测量相对误差的工作距离仅为4m，难以满足通用性的要求。基于以上分析，本文提出了一种单目视觉融合激光投射的无人机障碍探测方法，投射激光点阵图案，使用单目相机采集图像，通过像面激光线方程约束快速排除特征一致激光点的歧义，实现使用投射激光点阵图案解决单目歧义性的效果，输出前方空间中多个投射激光点的位置坐标，为微小型无人机实时生成避障策略提供数据保证。1 多点激光投射单目视觉测量模型本文中相机模型采用了针孔摄像机模型，由相机坐标系到像素坐标系的映射可以用(1)式表示:Zcuv1=fx0u000fyv000010XcYcZc1（1）(Xc,Yc,Zc)(u,v)fx,fy,u0,v0M1fx,fyxy(u0,v0)式中是激光点在相机坐标系下的位置坐标，是激光点成的像在图像坐标系中的坐标，而矩阵中的是相机内参矩阵的参数，分别代表 轴和 轴上的归一化焦距，则是图像中心，这 4 项参数通过相机标定得到。将(1)式的第一行单独提取出来可得：Zcu=fxXc+u0Zc（2）空间中直线方程的一般表达形式为XcXc0l=YcYc0m=ZcZc0n（3）(l,m,n)(Xc0,Yc0,Zc0)k1=ln,b1=Xc0lnZc0,k2=mn,b2=Yc0mnZc0（3）式称为空间直线的标准方程，在标准方程中，为直线的方向矢量，为直线上的已知点。设，则可将（3）式改写为Xc=k1Zc+b1Yc=k2Zc+b2（4）k1,b1,k2,b2Xc这里的这 4 个参数皆通过激光线方程标定获得，(4)式在几何意义上代表了空间中2 个平面的交线12。与(1)式联立消去可得：uu0fxZc=k1Zc+b1（5）整理得：Zc=b1fxuu0k1fx（6）类似地，也可以得到Zc=b2fyvv0k2fy（7）k1,b1,k2,b2(u,v)ZcXcXc,Yc(Xc,Yc,Zc)式中的这些参数为空间激光的结构参数，4 个参数确定了唯一的一条空间激光直线，通过空间激光点阵标定获得。只需要获得激光点的像在图像坐标系下的坐标，即可通过(6)式或(7)式求得激光点的深度信息，在实际应用中，需根据激光器和相机的不同安装方式选择不同的深度信息计算公式。若相机光学中心与激光器中心的连线与相机坐标系的轴夹角更小，则使用(6)式进行计算，反之则使用(7)式。再由(4)式或(1)式即可求得，进一步得到激光点在相机坐标系下的坐标。若投射出多束激光线，就可以得到多个投射到障碍物上形成的光点，从而估计出视野中障碍物的方位信息。为获得多束激光线，本文在激光器前方安装分束光栅，可将单束激光线变为 9 点圆环图案的激光投射图案，如图 1 所示。为便于后文表述，将中心的点记为“中心 0 号激光点”，其上方的点记为应用光学2023，44（1）刘峰，等：单目视觉融合激光投射的无人机障碍探测方法203“1 号激光点”，按照顺时针顺序，将剩余点分别命名为 2 号8 号激光点。1 号点2 号点0 号点图 1 9 点激光图案Fig.1 Laser pattern of nine points2 多点激光投射单目视觉测量系统标定视觉系统的标定主要包括相机参数标定和空间激光点阵图案的标定。2.1 系统标定总体流程1）准备一个张氏标定法的棋盘格靶标，棋盘格的大小已知，用待标定的相机拍摄若干张摆放成各种角度的棋盘格靶标的图像，记为 A 组图像。2）开启激光器，摆放棋盘格靶标使激光点落在靶标上，拍摄各个角度带有激光点的棋盘格靶标的图像，并记为 B 组。此处需要保证对于每一个激光点（如中心 0 号激光点），需要采集至少 2 张带有该激光点的棋盘格靶标图像，此外若考虑使标定结果尽可能小地受到随机误差和粗大误差的影响，减小激光点对棋盘格角点提取的干扰，需要采集 10 张以上的图片。M13）利用上述 A 组和 B 组图像，使用张氏标定法13标定相机的内部参数矩阵。(Xw,Yw,Zw)4）对于 B 组的每一张图像，提取出激光点的中心，另外图片中激光点中心在棋盘格靶标上的世界坐标是已知的。M2(Xc,Yc,Zc)5）通过张氏标定法得到 B 组每一张图片的外部参数矩阵，该矩阵与上一步中得到的世界坐标相乘，得到 B 组每一张图片上激光点在相机坐标系下的坐标。6）针对投射图案的 9 个光点，使用最小二乘法得到每一个光点所在空间直线的方程，每个方程包含 4 个参数，总计得到 9 组共 36 个参数。2.2 相机参数标定M1k1,k2k1,k2p1,p2M2相机参数标定，主要是确定相机的内参矩阵，用于后续计算；确定径向畸变参数（此处仅代表相机的径向畸变参数，与空间激光点阵图案标定中的无关）和切向畸变参数，对图像进行畸变校正；确定外参矩阵，用于计算 B 组每张图像中的标定板坐标系相对于相机坐标系的位姿，从而得到标定板上的激光点的位置信息，用于空间激光点阵图案的标定。2.3 空间激光点阵标定使用位于不同位姿的棋盘格靶标图像以及得到的靶标上的激光点位置，即可通过多张图像中的激光点空间坐标拟合得到激光点阵图案中每个点所在激光线的空间直线方程。由 1.1 节模型推导可知，相机坐标系下的空间直线方程在几何意义上可以表示为空间中 2 个平面的交线，用方程表示为(4)式的形式。利用离差平方和最小的原则确定方程中的参数，即