第49卷第4期2023年4月ComputerEngineering计算机工程基于多任务学习的多模态命名实体识别方法李晓腾1，张盼盼1，勾智楠2，高凯1（1.河北科技大学信息科学与工程学院，石家庄050018；2.河北经贸大学信息技术学院，石家庄050061）摘要：针对传统多模态命名实体识别方法无法有效融合图文模态信息且不能区分易混淆实体等问题，提出一种基于多任务学习的多模态命名实体识别方法，通过对比融合辅助任务促进图文模态信息的融合，通过实体聚类辅助任务提升模型对易混淆实体的判断能力。利用BERT预训练语言模型和ResNet模型分别对原始文本和图片进行特征映射获得相应的特征向量，并利用跨模态Transformer结构融合图文模态信息。在多模态命名实体识别任务基础上，增加对比融合辅助任务促进图文模态信息融合，增加实体聚类辅助任务学习实体类别之间的差异，提升模型对易混淆实体的区分能力。最后，利用条件随机场层学习上下文转移概率，并输出最优预测结果。实验结果显示，在国际公开数据集Twitter-2017上，所提方法相较于基线方法取得了更高的准确率、召回率和F1值，其中F1值可达85.59%，表明对比融合辅助任务和实体聚类辅助任务能够促进模型对实体的识别效果。关键词：命名实体识别；多任务学习；多模态信息；对比学习；聚类开放科学（资源服务）标志码（OSID）：中文引用格式：李晓腾，张盼盼，勾智楠，等.基于多任务学习的多模态命名实体识别方法［J］.计算机工程，2023，49（4）：114-119.英文引用格式：LIXT，ZHANGPP，GOUZN，etal.Multi-modalnamedentityrecognitionmethodbasedonmulti-tasklearning［J］.ComputerEngineering，2023，49（4）：114-119.Multi-ModalNamedEntityRecognitionMethodBasedonMulti-TaskLearningLIXiaoteng1，ZHANGPanpan1，GOUZhinan2，GAOKai1（1.SchoolofInformationScienceandEngineering，HebeiUniversityofScienceandTechnology，Shijiazhuang050018，China；2.SchoolofInformationTechnology，HebeiUniversityofEconomicsandBusiness，Shijiazhuang050061，China）【Abstract】Withtheaimofovercomingtheineffectivenessoftraditionalmulti-modalNamedEntityRecognition（NER）methodsinintegratingtextandimagemodalinformationanddistinguishingconfusableentities，amulti-modalNERmethodbasedonmulti-tasklearningisproposed.Here，thefusionofmodalinformationispromotedbyacontrastfusionauxiliarytask，andthea...
