基于自注意力机制模拟实体信息的实体关系抽取①何松泽,王婷,梁佳莹,陈永雄,戴青江(成都信息工程大学计算机学院,成都610225)通信作者:王婷,E-mail:wangting@cuit.edu.cn摘要:在信息抽取领域,从非结构化文本中抽取实体关系是一项基础且重要的任务,且面临实体重叠和模型误差累积等挑战.本文以关系为导向,提出一种改进的实体关系联合抽取方法.该方法将实体关系抽取任务分为关系抽取与实体抽取两个子任务.在关系抽取任务上采用自注意力机制关注词与词之间的重要程度从而模拟实体信息,并使用平均池化来表征整个句子信息;在实体抽取任务上结合关系信息使用条件随机场识别该关系下的实体对.本模型不仅能够利用存在关系必定存在实体对的思想解决实体对重叠问题,还能够在训练过程中利用数据集中已知的关系使实体抽取模块不依赖于关系抽取模块的结果来训练,从而在训练阶段避免误差累积.最后,在WebNLG和NYT公开数据集上验证了该模型的有效性.关键词:信息抽取;深度学习;注意力机制;自然语言处理;人工智能引用格式:何松泽,王婷,梁佳莹,陈永雄,戴青江.基于自注意力机制模拟实体信息的实体关系抽取.计算机系统应用,2023,32(2):364–370.http://www.c-s-a.org.cn/1003-3254/8963.htmlEntityRelationExtractionSimulationofEntityInformationBasedonSelf-attentionMechanismHESong-Ze,WANGTing,LIANGJia-Ying,CHENYong-Xiong,DAIQing-Jiang(SchoolofComputerScience,ChengduUniversityofInformationTechnology,Chengdu610225,China)Abstract:Inthefieldofinformationextraction,itisabasicandimportanttasktoextractentityrelationsfromunstructuredtexts,andchallengessuchasentityoverlapandmodelerroraccumulationoftenappear.Thisstudyisrelation-oriented,anditproposesanimprovedjointextractionmethodforentityrelations.Themethoddividestheentityrelationextractiontaskintotwosubtasks:relationextractionandentityextraction.Fortherelationextractionsubtask,aself-attentionmechanismisadoptedtoevaluatethedegreeofassociationbetweenwords,soastosimulateentityinformationandrepresentthewholesentenceinformationbytheaveragepooling.Fortheentityextractionsubtask,accordingtorelationinformation,theconditionalrandomfieldisusedtoidentifytheentitypairsundertherelation.Thismethodcannotonlysolvetheproblemofentityoverlapbyusingtheideatha...
