模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别石林波１李华锋１张亚飞１谢明鸿１摘要跨模态行人重识别方法主要通过对齐不同模态的像素分布或特征分布以缓解模态差异，却忽略具有判别性的行人细粒度信息．为了获取不受模态差异影响且更具判别性的行人特征，文中提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法．方法主要包括模态不变性特征学习模块和语义一致的细粒度信息挖掘模块，联合两个模块，使特征提取网络获取具有判别性的特征．具体地，首先利用模态不变性特征学习模块去除特征图中的模态信息，缓解模态差异．然后，使用语义一致的细粒度信息挖掘模块，对特征图分别进行通道分组和水平分块，在充分挖掘具有判别性的细粒度信息的同时实现语义对齐．实验表明，文中方法性能较优．关键词跨模态行人重识别，模态差异，细粒度信息，语义一致性引用格式石林波，李华锋，张亚飞，谢明鸿．模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别．模式识别与人工智能，２０２２，３５（１２）：１０６４－１０７７．ＤＯＩ１０．１６４５１／ｊ．ｃｎｋｉ．ｉｓｓｎ１００３⁃６０５９．２０２２１２００２中图法分类号ＴＰ３９１．４１ＭｏｄａｌＩｎｖａｒｉａｎｃｅＦｅａｔｕｒｅＬｅａｒｎｉｎｇａｎｄＣｏｎｓｉｓｔｅｎｔＦｉｎｅ⁃ＧｒａｉｎｅｄＩｎｆｏｒｍａｔｉｏｎＭｉｎｉｎｇＢａｓｅｄＣｒｏｓｓ⁃ＭｏｄａｌＰｅｒｓｏｎＲｅ⁃ｉｄｅｎｔｉｆｉｃａｔｉｏｎＳＨＩＬｉｎｂo１，ＬＩＨｕａｆｅｎｇ１，ＺＨＡＮＧＹａｆｅｉ１，ＸＩＥＭｉｎｇｈoｎｇ１ＡＢＳＴＲＡＣＴＩｎｔｈｅｅｘｉｓｔｉｎｇｃｒoｓｓ⁃ｍoｄａｌｐｅｒｓoｎｒｅ⁃ｉｄｅｎｔｉｆｉｃａｔｉoｎｍｅｔｈoｄｓ，ｍoｄａｌｄｉｆｆｅｒｅｎｃｅｓａｒｅｌｅｓｓｅｎｅｄｂｙａｌｉｇｎｉｎｇｆｅａｔｕｒｅｓoｒｐｉｘｅｌｄｉｓｔｒｉｂｕｔｉoｎｓoｆｄｉｆｆｅｒｅｎｔｍoｄａｌｉｔｉｅｓ．Ｈoｗｅｖｅｒ，ｔｈｅｄｉｓｃｒｉｍｉｎａｔｉｖｅｆｉｎｅ⁃ｇｒａｉｎｅｄｉｎｆoｒｍａｔｉoｎoｆｐｅｄｅｓｔｒｉａｎｓｉｓｉｇｎoｒｅｄｉｎｔｈｅｓｅｍｅｔｈoｄｓ．Ｔooｂｔａｉｎｍoｒｅｄｉｓｃｒｉｍｉｎａｔｉｖｅｐｅｄｅｓｔｒｉａｎｆｅａｔｕｒｅｓｉｎｄｅｐｅｎｄｅｎｔoｆｍoｄａｌｄｉｆｆｅｒｅｎｃｅｓ，ａｍoｄａｌｉｎｖａｒｉａｎｃｅｆｅａｔｕｒｅｌｅａｒｎｉｎｇａｎｄｃoｎｓｉｓｔｅｎｔ...
