收稿日期:2022-11-02.基金项目:国家重点研发计划项目(2021YFB3600603);福建省自然科学基金项目(2020J01468).*通信作者:林志贤E-mail:lzx2005000@163.com光电技术及应用DOI:10.16818/j.issn1001-5868.2022110201基于YOLACT与Transformer相结合的实例分割算法研究赵敬伟1,2,林珊玲2,3,梅婷1,2,林志贤1,2,3*,郭太良1,2(1.福州大学物理与信息工程学院,福州350116;2.中国福建光电信息科学与技术创新实验室,福州350116;3.福州大学先进制造学院,福建泉州362200)摘要:为提高单阶段实例分割的检测精度和改善小目标漏检、错检情况,提出一种基于YOLACT改进的YOLACTR算法。该算法首先利用CNN与Transformer相结合,设计一种新的头部预测网络,对特征进一步提取,并使用双向注意力来关联同一实例的掩码信息并区分不同实例之间的掩码特征,注重特征点周围的关联信息,使得检测框的预测更加准确;然后利用多级上采样和设计的CS注意力模块结合形成掩码分支,使其融入多种不同尺度信息,并利用CS注意力来关注不同的尺度信息。在MSCOCO数据上,YOLACTR算法与YOLACT算法相比,其边框和掩码检测精度分别提升了7.4%和2.9%,在小目标检测上分别提升了18.9%和13.5%。实验表明,YOLACTR算法可以在多目标复杂场景下,提升检测和分割精度以及分类的准确度,改善小目标和重叠目标漏检、错检的问题。关键词:YOLACT;实例分割;Transformer;注意力机制;小目标检测中图分类号:TP391.4文章编号:1001-5868(2023)01-0134-07ResearchonInstanceSegmentationAlgorithmBasedonYOLACTandTransformerZHAOJingwei1,2,LINShanling2,3,MEITing1,2,LINZhixian1,2,3,GUOTailiang1,2(1.CollegeofPhysicsandInformationEngineering,FuzhouUniversity,Fuzhou350116,CHN;2.FujianScience&TechnologyInnovationLaboratoryforOptoelectronicInformationofChina,Fuzhou350116,CHN;3.SchoolofAdvancedManufacturing,FuzhouUniversity,Quanzhou362200,CHN)Abstract:Inordertoimprovethesegmentationaccuracyofsinglestageinstancesegmentationandimprovethesituationofmissedandwrongdetectionofsmalltargets,animprovedYOLACTRalgorithmisproposedbasedonYOLACTalgorithm.ThealgorithmfirstusedthecombinationofCNNandTransformertodesignanewheadpredictionnetworktofurtherextractfeatures,andusedtwo-wayattentiontocorrelatethemaskinformationofthesameinstanceanddistinguishthemaskfeaturesbetweendifferentinstan...
