2023-05-10计算机应用,JournalofComputerApplications2023,43(5):1596-1605ISSN1001-9081CODENJYIIDUhttp://www.joca.cn基于Transformer的结构强化IVOCT导丝伪影去除方法郭劲文1,马兴华1,骆功宁1,王玮1,曹阳2,王宽全1*(1.哈尔滨工业大学计算学部,哈尔滨150001;2.哈尔滨医科大学附属第一医院,哈尔滨150001)(∗通信作者电子邮箱wangkq@hit.edu.cn)摘要:为去除导丝伪影以提高血管内光学相干断层扫描(IVOCT)的图像质量,辅助医师更加准确地诊断心血管疾病,降低误诊及漏诊的概率,针对IVOCT图像结构信息复杂且伪影区域占比大的难点,提出一种采用生成对抗网络(GAN)架构的基于Transformer的结构强化网络(SETN)。首先,GAN的生成器在提取纹理特征的原始图像(ORI)主干生成网络的基础上,并联了RTV(RelativeTotalVariation)图像强化生成网络用于获取图像的结构信息;其次,在ORI/RTV图像的伪影区域重建过程中,引入了分别关注时/空间域信息的Transformer编码器,用于捕获IVOCT图像序列的上下文信息以及纹理/结构特征之间的关联性;最后,利用结构特征融合模块将不同层次的结构特征融入ORI主干生成网络的解码阶段,配合判别器完成导丝伪影区域的图像重建。实验结果表明,SETN的导丝伪影去除结果在纹理和结构的重建上均十分优秀。此外,导丝伪影去除后IVOCT图像质量的提高,对于IVOCT图像的易损斑块分割及管腔轮廓线提取任务均具有积极意义。关键词:生成对抗网络;Transformer;结构强化;血管内光学相干断层扫描;伪影去除中图分类号:TP183;TP391.4文献标志码:AGuidewireartifactremovalmethodofstructure-enhancedIVOCTbasedonTransformerGUOJinwen1,MAXinghua1,LUOGongning1,WANGWei1,CAOYang2,WANGKuanquan1*(1.FacultyofComputing,HarbinInstituteofTechnology,HarbinHeilongjiang150001,China;2.TheFirstAffiliatedHospitalofHarbinMedicalUniversity,HarbinHeilongjiang150001,China)Abstract:ImprovingtheimagequalityofIntraVascularOpticalCoherenceTomography(IVOCT)throughguidewireartifactremovalcanassistphysiciansindiagnosingcardiovasculardiseasesmoreaccurately,whichreducestheprobabilitiesofmisdiagnosisandmisseddiagnosis.AimingatthedifficultiesofcomplexstructureinformationandalargeproportionofartifactareasinIVOCTimages,aStructure-EnhancedTransformerNetwork(SETN)usin...