现代计算机ModernComputer第28卷第24期2022年12月25日文章编号:1007-1423（2022）24-0057-05DOI:10.3969/j.issn.1007-1423.2022.24.010基于矩阵分解的标签语义约束跨模态检索梁林清，冯士华（贵州师范大学数学科学学院，贵阳550025）摘要：跨模态检索是指在不同类型的模态中搜索具有相似语义的数据。现有方法未充分利用样本对多标签信息，且未充分利用标签的语义信息。基于此，提出一种基于矩阵分解的标签语义约束跨模态哈希方法。首先，分别为各模态的样本学习语义表示；然后，根据多标签信息构造语义相似度矩阵来约束模态间语义相关性；最后，利用语义表征学习哈希码及哈希函数。实验结果表明，本方法优于大多数矩阵分解哈希跨模态检索领域的方法。关键词：哈希算法；语义约束；矩阵分解；跨模态检索0引言随着社交媒体的发展和普及，互联网上产生了大量的多媒体数据，如图像、文本、视频等。大量多模态数据的产生导致单一模态的数据处理方法已不能满足人们的需求，而是需要跨不同模态分析这些数据。例如从一种模态的数据出发，查询与其语义相关的另一种模态数据，即跨模态检索。由于不同模态数据存在异构鸿沟与语义鸿沟，跨模态检索面临的关键挑战是如何弥合语义差距，以便获取来自不同模态的异构数据之间的语义相关性。为解决这些问题，直观的思路是利用异构数据学习一个共同的空间，并在此空间中直接度量来自不同模态数据之间的相似性。这种思路代表性的方法有CCA［1］，由于不同模态数据有不同的特征空间，CCA方法只考虑共同语义表征的相关性显然不够。除此之外，现有的子空间方法需要计算大规模高维数据，计算量非常大。近年来，跨模态哈希检索方法［2］由于存储成本低和查询速度快得到了大量的研究。跨模态哈希的主要思想是学习公共汉明空间，从而保留异构数据之间的语义［3］相似性。现有的跨模态哈希方法主要包括无监督方法和有监督方法。无监督方法通过探索模态数据之间的相似性来学习公共汉明空间，如无监督深度跨模态谱哈希（DCSH）［4］等。然而，在无监督信息的情况下学习能保持异构数据的语义相似性的哈希码并不简单，所以在样本标签的指导下，监督方法可以学习到更有判别性的哈希码。例如，Liu等［5］提出通过集体矩阵分解的图正则化来保持多模态原始特征之间的相似性。虽然上述方法通过探索各种语义监督信息取得了改进，但不同模态数据的异构鸿沟并未有效弥合，我们应该考虑公共语义表示是否能准确描述模态特定的表征。已有的很多...
