www.ChinaAET.comArtificialIntelligence人工智能基于BERT-CNN的新闻文本分类的知识蒸馏方法研究*叶榕,邵剑飞,张小为,邵建龙(昆明理工大学信息工程与自动化学院,云南昆明650500)摘要:近年来,随着大数据时代进入人类的生活之后,人们的生活中出现很多无法识别的文本、语义等其他数据,这些数据的量十分庞大,语义也错综复杂,这使得分类任务更加困难。如何让计算机对这些信息进行准确的分类,已成为当前研究的重要任务。在此过程中,中文新闻文本分类成为这个领域的一个分支,这对国家舆论的控制、用户日常行为了解、用户未来言行的预判都有着至关重要的作用。针对新闻文本分类模型参数量多和训练时间过长的不足,在最大限度保留模型性能的情况下压缩训练时间,力求二者折中,故提出基于BERT-CNN的知识蒸馏。根据模型压缩的技术特点,将BERT作为教师模型,CNN作为学生模型,先将BERT进行预训练后再让学生模型泛化教师模型的能力。实验结果表明,在模型性能损失约2.09%的情况下,模型参数量压缩约为原来的1/82,且时间缩短约为原来的1/670。关键词:新闻文本;BERT;CNN;知识蒸馏中图分类号:TP391.1文献标志码:ADOI:10.16157/j.issn.0258-7998.223094中文引用格式:叶榕,邵剑飞,张小为,等.基于BERT-CNN的新闻文本分类的知识蒸馏方法研究[J].电子技术应用,2023,49(1):8-13.英文引用格式:YeRong,ShaoJianfei,ZhangXiaowei,etal.KnowledgedistillationofnewstextclassificationbasedonBERT-CNN[J].ApplicationofElectronicTechnique,2023,49(1):8-13.KnowledgedistillationofnewstextclassificationbasedonBERT-CNNYeRong,ShaoJianfei,ZhangXiaowei,ShaoJianlong(SchoolofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)Abstract:Inrecentyears,aftertheeraofbigdatahasenteredhumanlife,manyunrecognizabletext,semanticandotherdatahaveappearedinpeople'slives,whichareverylargeinvolumeandintricateinsemantics,whichmakestheclassificationtaskmoredifficult.Howtomakecomputersclassifythisinformationaccuratelyhasbecomeanimportanttaskofcurrentresearch.Inthisprocess,Chinesenewstextclassificationhasbecomeabranchinthisfield,whichhasacrucialroleinthecontrolofnationalpublicopinion,theunderstandingofusers'dailybehavior,andthepredictionofuse...