第49卷第4期2023年4月ComputerEngineering计算机工程基于生成对抗网络的图像场景转换罗嗣卿,陈慧(东北林业大学信息与计算机工程学院,哈尔滨150040)摘要:由于时间、地点、摄影设备等因素的限制,导致在真实世界中很难获得内容相同而场景不同的图像,一种可行方式是利用生成对抗网络(GAN)在没有成对数据集的情况下对图片中的场景进行转换,但是已有基于GAN的图像场景转换方法主要关注单个类别、单向、结构简单的场景。为了解决具有丰富类别和高度复杂语义结构的图像场景转换问题,提出一种基于GAN的图像场景转换模型,以实现晴天、雨天、雾天等不同场景之间的转换。将GAN、注意力模块和场景分割模块相结合,使模型正确识别并转换感兴趣区域同时保持其他区域不变。为了进一步提高输出的多样性,提出一种新型的正则化损失来抑制潜在噪声。此外,为了避免因缺乏噪声约束而出现的模态崩溃问题,在鉴别器中嵌入噪声分离模块。实验结果表明,相较CycleGAN、UNIT、MUNIT、NICE-GAN等6种对比模型,该模型所生成图像的FID得分和KID得分平均分别提高约7.25%和19%,其能够在不同场景下生成视觉效果更佳的图像。关键词:图像处理;图像转换;生成对抗网络;场景转换;注意力机制开放科学(资源服务)标志码(OSID):源代码链接:https://pan.baidu.com/s/1G6GAlx4G19A_bEFsG-pmWA?pwd=77i1中文引用格式:罗嗣卿,陈慧.基于生成对抗网络的图像场景转换[J].计算机工程,2023,49(4):217-225.英文引用格式:LUOSQ,CHENH.Image-scenetransformationbasedongenerativeadversarialnetworks[J].ComputerEngineering,2023,49(4):217-225.Image-SceneTransformationBasedonGenerativeAdversarialNetworksLUOSiqing,CHENHui(CollegeofInformationandComputerEngineering,NortheastForestryUniversity,Harbin150040,China)【Abstract】Duetothelimitationsoftime,place,photographicequipment,andotherfactors,itisdifficulttoobtainimageswiththesamecontentbutdifferentscenesintherealworld.OnefeasiblewayistouseGenerativeAdversarialNetworks(GAN)toconvertthescenesintheimageswithoutapairofdatasets.However,theexistingGAN-basedimage-scenetransformationapproachesmainlyfocusonsingle-category,one-way,andsimple-structurescenetransformation.Toachieveeffectivescenetransformationwithrichcategoriesandhighlycomple...