第３５卷第１期重庆邮电大学学报（自然科学版）Ｖｏｌ．３５Ｎｏ．１２０２３年２月ＪｏｕｒｎａｌｏｆＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）Ｆｅｂ．２０２３ＤＯＩ：１０．３９７９／ｊ．ｉｓｓｎ．１６７３⁃８２５Ｘ．２０２１０９１３０３２７基于改进Ｔｒａｎｓｆｏｒｍｅｒ的生成式文本摘要模型收稿日期：２０２１⁃０９⁃１３修订日期：２０２３⁃０１⁃１０通讯作者：刘群ｌｉｕｑｕｎ＠ｃｑｕｐｔ．ｅｄｕ．ｃｎ基金项目：国家自然科学基金（６１７７２０９６）；国家重点研发计划（２０１８ＹＦＣ０８３２１００，２０１８ＹＦＣ０８３２１０２）ＦｏｕｎｄａｔｉｏｎＩｔｅｍｓ：ＴｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（６１７７２０９６）；ＳｔａｔｅＫｅｙＲ＆ＤＰｒｏｇｒａｍＦｕｎｄｅｄＰｒｏｊｅｃｔｓ（２０１８ＹＦＣ０８３２１００，２０１８ＹＦＣ０８３２１０２）赵伟１，王文娟２，任彦凝３，刘群３，胥钟予２，彭露３（１．重庆邮电大学国际合作与交流处，重庆４０００６５；２．国网重庆市电力公司信息通信分公司调控中心，重庆４０１１２１；３．重庆邮电大学计算机科学与技术学院，重庆４０００６５）摘要：基于循环神经网络（ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ，ＲＮＮ）注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用，但ＲＮＮ不能较好地捕捉长时序信息，这使现有模型受限。为此，提出了基于改进Ｔｒａｎｓｆｏｒｍｅｒ的生成式文本摘要模型。该模型利用Ｔｒａｎｓｆｏｒｍｅｒ提取全局语义，使用局部卷积提取器提取原文细粒度特征，并设计全局门控单元以防止信息冗余和弥补语义不足，筛选出利于摘要生成的文本关键信息。实验结果表明，所提模型在大规模中文短文本摘要数据集（ｌａｒｇｅｓｃａｌｅＣｈｉｎｅｓｅｓｈｏｒｔｔｅｘｔｓｕｍｍａｒｉｚａｔｉｏｎ，ＬＣＳＴＳ）上的效果有明显的提升，在电力运维摘要数据集上，也有良好效果，具有可扩展性。关键词：生成式摘要；序列到序列；改进Ｔｒａｎｓｆｏｒｍｅｒ；局部卷积中图分类号：ＴＰ３９１．１文献标志码：Ａ文章编号：１６７３⁃８２５Ｘ（２０２３）０１⁃０１８５⁃０８Ａｇｅｎｅｒａｔｉｖｅａｂｓｔｒａｃｔｉｖｅｓｕｍｍａｒｉｚａｔｉｏｎ...
