基于三元采样图卷积网络的半监督遥感图像检索冯孝鑫①王子健②吴奇*①①(上海交通大学电子信息与电气工程学院上海200240)②(香港大学化学系香港999077)摘要：该文提出了一种基于三元采样图卷积网络的度量学习方法，以实现遥感图像的半监督检索。所提方法由三元图卷积网络(TGCN)和基于图的三元组采样(GTS)两部分组成。TGCN由3个具有共享权重的并行卷积神经网络和图卷积网络组成，用以提取图像的初始特征以及学习图像的图嵌入。通过同时学习图像特征以及图嵌入，TGCN能够得到用于半监督图像检索的有效图结构。接着，通过提出的GTS算法对图结构内隐含的图像相似性信息进行评价，以选择合适的困难三元组(HardTriplet)，并利用困难三元组组成的样本集合对模型进行有效快速的模型训练。通过TGCN和GTS的组合，提出的度量学习方法在两个遥感数据集上进行了测试。实验结果表明，TGCN-GTS具有以下两方面的优越性：TGCN能够根据图像及图结构学习到有效的图嵌入特征及度量空间；GTS有效评估图结构内隐含的图像相似性信息选择合适的困难三元组，显著提升了半监督遥感图像检索效果。关键词：遥感图像检索；度量学习；图神经网络；半监督学习中图分类号：TN911.73;TP181文献标识码：A文章编号：1009-5896(2023)02-0644-10DOI:10.11999/JEIT211478Semi-supervisedLearningRemoteSensingImageRetrievalMethodBasedonTripletSamplingGraphConvolutionalNetworkFENGXiaoxin①WANGZijian②WUQi①①(SchoolofElectronic,InformationandElectricalEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China)②(DepartmentofChemistry,TheUniversityofHongKong,HongKong999077,China)Abstract:Inthispaper,anovelmetriclearningmethodbasedonthetripletsamplinggraphconvolutionalnetworkisproposedtorealizesemi-supervisedContent-BasedImageRetrieval(CBIR)forremotesensingimages.Theproposedmethodconsistsoftwoparts:TripletGraphConvolutionalNetwork(TGCN)andGraph-basedTripletSampling(GTS).TGCNiscomposedofthreeparallelconvolutionalneuralnetworksandgraphconvolutionalnetworkswithsharedweightstoextracttheinitialfeaturesoftheimageandlearnthegraphembeddingoftheimage.Bylearningsimultaneouslyimagefeaturesandgraphembedding,TGCNcanobtainaneffectivegraphstructureforsemi-supervisedimageretrieval.Besides,theimagesimilarityinformationimp...
