第60卷第2期/2023年1月/激光与光电子学进展0217002-1研究论文结合自注意力与卷积神经网络的腺体及息肉分割方法张家宝，肖志勇*江南大学人工智能与计算机学院，江苏无锡214122摘要腺体和息肉的自动分割是人工智能辅助结直肠腺癌诊断的基础，但医学图像中的分割目标大小、形状多变，基于单一的卷积神经网络的自动分割方法已陷入瓶颈。基于此，提出了一种卷积神经网络和自注意力相结合的双分支网络（LGUNet），用以提升分割的精度。首先，基于U-Net设计了LocalUNet分支，利用卷积神经网络的优势，学习分割目标的局部信息。然后在GlobalTransformer分支中，利用Transformer全局依赖关系的学习能力来优化分割细节。最后在编码过程中通过交叉融合模块将Local分支和Global分支的特征图进行融合，将两者优势互补。在腺体分割挑战数据集Glas的两个测试子集TestA和TestB上，以Dice系数和交并比（IOU）系数为主要评价指标，LGUNet的测试结果分别为93.62%、88.44%和88.17%、80.49%。在息肉分割数据集Kvasir-SEG上，LGUNet的Dice系数和IOU系数分别为85.63%和77.82%。实验结果表明，结合Transformer和卷积神经网络优势的LGUNet在腺体和息肉分割上取得了更好的性能。关键词医用光学；自注意力机制；卷积神经网络；双分支网络；结直肠腺癌；腺体分割；息肉分割中图分类号TP391文献标志码ADOI：10.3788/LOP212696GlandandColonoscopySegmentationMethodCombiningSelf-AttentionandConvolutionalNeuralNetworkZhangJiabao,XiaoZhiyong*SchoolofArtificialIntelligenceandComputerScience,JiangnanUniversity,Wuxi214122,Jiangsu,ChinaAbstractTheautomaticsegmentationofglandsandpolypsisthefoundationforthediagnosisofartificialintelligence-assistedcolorectaladenocarcinoma.However,thesizeandshapeofsegmentationtargetsinmedicalimagesvaryconsiderably,andtheautomaticsegmentationapproachbasedonaconvolutionalneuralnetworkhasthusrunintoahindrance.Therefore,adualbranchnetwork(LGUNet)combiningconvolutionalneuralnetworkandselfattentionisproposedtoimprovetheaccuracyofsegmentation.First,theLocalUNetbranchwasdevelopedbasedonU-Net,andtheconvolutionalneuralnetwork’sbenefitswereemployedtoelucidatethesegmentationtarget’slocalinformation.Subsequently,thesegmentationdetailswereoptimizedusingtheTransformer’slearningabilityof...
