基于改进U-Net的球栅阵列气泡缺陷检测方法_曹鹏娟.pdf

第4 1卷 第1期2 0 2 3年1月MA CH I N E R Y&E L E C T R ON I C SV o l.4 1N o.1J a n.2 0 2 3收稿日期:2 0 2 2 0 7 0 6基金项目:山西省重点研发计划(2 0 1 8 0 3 D 1 2 1 0 6 9);山西省高等学校科技创新项目(2 0 2 0 L 0 6 2 4);山西省信息探测与处理重点实验室基金(I S P T 2 0 2 0 5)作者简介:曹鹏娟(1 9 9 8-),女,山西忻州人,硕士研究生,研究方向为图像处理等;王明泉(1 9 7 0-),男,博士,教授,博士研究生导师,研究方向为图像处理与重建,通信作者。基于改进UN e t的球栅阵列气泡缺陷检测方法曹鹏娟,王明泉,范 涛,朱榕榕,刘嘉宇(中北大学仪器科学与动态测试教育部重点实验室,山西 太原0 3 0 0 5 1)摘 要:针对现有基于深度学习的图像分割算法在球栅阵列(B GA)焊点气泡检测中检测效率较低,无法满足工业生产中实时性的检测需求,提出了一种基于改进UN e t的球栅阵列缺陷识别方法。该方法在现有的UN e t经典网络的基础上提出用深度可分离卷积与密集连接结合的轻量密集连接单元替换常规的卷积单元,同时添加多尺度跳跃连接减少编解码特征之间的差异,实现针对B GA焊点气泡的精确分割和提取。采用自建数据集对该方法的有效性进行实验,结果表明,改进的UN e t模型网络在减少UN e t网络计算复杂度的同时提升了网络性能,能够增加B GA焊点气泡的检测效率。关键词:UN e t;深度可分离卷积;密集块;图像分割中图分类号:T P 3 9 1.4;T N 4 0 5 文献标志码:A 文章编号:1 0 0 1 2 2 5 7(2 0 2 3)0 1 0 0 2 0 0 5D e f e c tD e t e c t i o nM e t h o do fB u b b l e i nB a l lG r i dA r r a yB a s e do nI m p r o v e dU N e tC A OP e n g j u a n,WA N GM i n g q u a n,F A NT a o,Z H UR o n g r o n g,L I UJ i a y u(K e yL a b o r a t o r yo f I n s t r u m e n t a t i o nS c i e n c ea n dD y n a m i cM e a s u r e m e n t(M i n i s t r yo fE d u c a t i o n),N o r t hU n i v e r s i t yo fC h i n a,T a i y u a n0 3 0 0 5 1,C h i n a)A b s t r a c t:A i m i n ga t t h el o wd e t e c t i o ne f f i c i e n c yo fe x i s t i n gi m a g es e g m e n t a t i o na l g o r i t h m sb a s e do nd e e pl e a r n i n g i nb a l l g r i da r r a y(B GA)s o l d e r s p o tb u b b l ed e t e c t i o n,w h i c hc a nn o tm e e t t h e r e a l t i m ed e-t e c t i o nr e q u i r e m e n t s i ni n d u s t r i a lp r o d u c t i o n,ad e f e c tr e c o g n i t i o nm e t h o db a s e do ni m p r o v e dUN e t f o rb a l l g r i da r r a y i sp r o p o s e d.B a s e do n t h e e x i s t i n gUN e t c l a s s i c a l n e t w o r k,t h i sm e t h o dp r o p o s e s t o r e p l a c et h ec o n v e n t i o n a l c o n v o l u t i o nu n i tw i t ha l i g h t w e i g h td e n s ec o n n e c t i o nu n i tc o m b i n i n gd e e ps e p a r a b l ec o n-v o l u t i o na n dd e n s e c o n n e c t i o n,a n da d dm u l t i s c a l e j u m pc o n n e c t i o n t o r e d u c e t h ed i f f e r e n c e s a m o n gc o d e cf e a t u r e s,s oa st oa c h i e v ea c c u r a t es e g m e n t a t i o na n de x t r a c t i o no fB GAs o l d e rj o i n tb u b b l e s.T h er e s u l t ss h o wt h a t t h e i m p r o v e dUN e tm o d e l n e t w o r k i m p r o v e sn e t w o r kp e r f o r m a n c ew h i l e r e d u c i n gt h ec o m p u-t a t i o n a l c o m p l e x i t yo f t h eUN e tn e t w o r ka n dc a ni n c r e a s et h ee f f i c i e n c yo fB GAs o l d e r j o i n tb u b b l ed e-t e c t i o n.K e yw o r d s:UN e t;d e p t hs e p a r a b l ec o n v o l u t i o n;d e n s eb l o c k;i m a g es e g m e n t a t i o n0 引言随着生产集成电路方法的改进,B GA封装技术应用性变高,且封装手段越来越难,在B GA焊点的检测上,由于基板附着在B GA的上方,采用传统的可见光手段难以穿透基板,无法获取球栅阵列的语义和视觉信息。由于X射线具有强穿透性,能对基板下的B GA特性进行定性、定量描述,因此,在工业生产中,利用X射线对球栅阵列进行检测具有一定的必要性和不可替代性。而被X射线透射后的02曹鹏娟等:基于改进UN e t的球栅阵列气泡缺陷检测方法自动控制与检测B GA图像有噪声大、对比度低等缺点,使得B GA检测图像中的背景和目标较难区分,检测图像易混叠,识别难度较大。近年来,许多学者对B GA焊点空洞缺陷的检测算法进行了大量的研究。张瑞秋1利用F i s h e r函数对焊球中的缺陷进行定量判断;李乐等2采用O t s u阈值分割法完成焊球的轮廓提取,再对B GA焊点中的气泡使用B l o b分析法来进行连通性分析,完成气泡的选择;张俊生等3采用一种动态阈值分割算法提取出焊球区域和气泡区域,实现对缺陷的分割。上述传统数字图像处理算法受X射线图像的影响大,存在检测精确度低、泛化性差和效率低的问题。卷积神经网络之类的深度学习在缺陷检测等任务中显示着出色的性能。基于C NN的焊点缺陷检 测 方 法 很 多,如C NN网 络4、神 经 网 络M a s kR C NN5、3 DC NN网络6和F C N网络7等。然而基于神经网络的检测算法在运行中消耗的内存与时间资源都很大,且准确率有待提高,并不具备工 业 检 测 的 实 时 性 需 求。而 且 近 年 来 以UN e t为例的语义分割网络在分割任务中展现出了优势,UN e t是R o n n e b e r g e r等在2 0 1 5年提出的一种网络模型,是近几年医学图像分割中最流行的一种网络结构81 0。但含有B GA封装的印刷电路板往往是多层结构,且印刷电路板尺寸小,焊点边缘气泡的像素与背景的像素对比度差。针对以上问题,本文提出一种改进的UN e t。在原有UN e t结构框架基础上,将传统的卷积层替换为密集连接的深度可分离卷积层,以此来减少计算量,添加密集块可以增强信息流,缓解梯度消失,提高模型的分割性能。在编码与解码部分加入多尺度跳跃连接,加强特征融合,减少特征描述上的差异。1 检测方法1.1 改进的U N e t分割网络结构B GA焊点空洞检测是印刷电路板在质量检测中最重要的工序之一,而且印刷电路板X射线图像背景复杂、灰度分布不均匀,在检测中往往有很大的挑战。但是焊点空洞缺陷分布芯片四周的焊球内部,并且缺陷种类均为气泡缺陷,其语义信息较为简单明确。同时,在实际生产过程中,印刷电路板中B GA焊点气泡缺陷率较低,相较于医学图像,缺陷工业数据集的获取较为困难,且人工标注难度较大,检测效率要求较高。因此,分割模型应满足少量数据即可达到较高准确率、检测速度及较小的内存的要求。因此,本文在UN e t分割模型基础上进行改进,保留了UN e t端到端的结构,并且包含由密集连接的深度可分离卷积和多尺度跳跃连接。本文所提出的改进UN e t的网络架构如图1所示。该网络模型受M o b i l e N e t1 1的概念启发,在UN e t架构上进行改进:采用深度可分离卷积替代常规卷积减少网络特征提取计算量;采用密集连接架构防止网络梯度消失;采用简易的多尺度跳跃连接加强语义信息的融合。?图1 改进UN e t网络架构1.2 深度可分离卷积针对传统UN e t分割网络中常规卷积单元运算量较大导致网络性能差的问题,提出采用深度可分离卷积单元替代常规卷积单元,在降低UN e t网络整体运算量的同时提升网络表征效能1 2。深度可分离卷积在处理单次卷积运算时分解为深度卷积和点卷积。深度卷积在输入的每个通道上独立进行,逐点卷积再进行11卷积将深度通道输出映射到新的通道空间。图2和图3为常规卷积单元和深度可分离卷积单元的对比示意图。PPKffPPKnn LPPmm L图2 常规卷积?PPKffPPKnnPPKmm1?K1 LPPLmm图3 深度可分离卷积在卷积运算中,输入特征映射的大小为PfPfK并与特征映射m生成大小为PmPmL的输出,其中,Pf为输入特征映射的空间宽度和高度;122 0 2 3(1)K为输入通道的数量;Pm为输出特征地图的空间宽度和高度;L为输出通道的数量。然后,对于尺寸大小为PnPnKL的卷积核N进行常规卷积运算,运算量为Gc=PnPnKLPfPf(1)在深度可分离卷积中,运算量是深度卷积和点卷积的总和,即Gd=PnPnKPfPf+KLPfPf(2)结合式(1)和式(2),减少的运算量为G=GdGc=1L+1P2n(3)式(3)表示与传统卷积相比,深度可分离卷积的计算需求减少,从而使网络的计算和参数量大大降低。由于UN e t的网络深度执行小目标的分割任务时精度不高,而直接添加网络层数虽然可以解决小目标缺陷的分割问题,但是更深层次的神经网络在网络训练中容易出现梯度消失和冗余计算的问题。所以为了克服上述问题,本文引入了密集连接的思想。1.3 轻量密集连接单元本文受D e n s e N e t1 3的启发,在轻量密集连接单元中,采用d e n s eb l o c k作为本文改进UN e t的主要构建块。D e n s e N