2024年│3期│2092024年第46卷第3期基于预训练模型的医疗命名实体识别凯比努尔·赛地艾合买提基金项目:喀什大学校内课题:知识图谱构建中命名实体识别研究((2020)2737)作者简介:凯比努尔·赛地艾合买提(1984-),本科,实验师,研究方向为人工智能。(喀什大学计算机科学与技术学院新疆喀什844008)摘要文中针对生物医学实体识别中存在的边界识别不准确和鲁棒性差的问题,提出了一种融合了预训练语言模型BERT与跨度标签网络的命名实体识别模型。该模型利用BERT获取文本的上下文信息,并结合跨度标签网络进行实体分类及边界判定,显著提升了实体识别的准确性。为增强模型的鲁棒性,引入对抗训练策略,通过迭代训练正常样本与对抗样本,以优化模型参数。基于CCKS2019评测数据集的实验表明,应用对抗训练方法后,其精准率、召回率及F1值均有所提升,验证了对抗训练能对提高模型的预测能力和鲁棒性的有效性。关键词:医疗命名实体识别;预训练模型;神经网络;对抗训练中图分类号TP391.1MedicalNamedEntityRecognitionBasedonPre-trainingModelKAIBINUERSaidiaihemaiti(SchoolofComputerScienceandTechnology,KashiUniversity,Kashi,Xinjiang844008,China)AbstractAimingattheproblemsofinaccurateboundaryrecognitionandpoorrobustnessinbiomedicalentityrecogni-tion,thispaperproposesanamedentityrecognitionmodelthatcombinesthepre-trainedlanguagemodelBERTwiththespanlabelnetwork.ThemodelusesBERTtoobtainthecontextinformationofthetext,andcombinesthespanlabelnet-worktoclassifyanddeterminetheboundary,whichsignificantlyimprovestheaccuracyofentityrecognition.Inordertoenhancetherobustnessofthemodel,anadversarialtrainingstrategyisintroduced,andthenormalsamplesandadversa-rialsamplesaretrainediterativelytooptimizethemodelparameters.ExperimentsbasedontheCCKS2019evaluationdatasetshowthatafterapplyingtheadversarialtrainingmethod,itsaccuracy,recallrateandF1valueareimproved,verifyingtheeffectivenessofadversarialtrainingtoimprovethepredictiveabilityandrobustnessofthemodel.KeywordsMedicalnamedentityrecognition,Pretrainingmodel,Neuralnetwork,Confrontationtraining0引言医学领域中的信息爆炸增长,使医疗数据成为临床医学和生物医学研究的重要支撑。然而,这些数据具有高度的复杂性和多样性,其中涵盖了丰富的实体信息,如...
