第３８卷第３期２０２３年６月北京信息科技大学学报ＪｏｕｒｎａｌｏｆＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙＶｏｌ.３８Ｎｏ.３Ｊｕｎ.２０２３文章编号:１６７４－６８６４(２０２３)０３－００３５－０８ＤＯＩ:１０１６５０８/ｊ.ｃｎｋｉ.１１－５８６６/ｎ.２０２３０３００６基于Ｔｒａｎｓｆｏｒｍｅｒ的汉语歌声识别方法吴影１ꎬ２ꎬ徐雅斌１ꎬ２ꎬ３ꎬ孟晶晶１ꎬ２(１.北京信息科技大学网络文化与数字传播北京市重点实验室ꎬ北京１００１０１ꎻ２.北京信息科技大学计算机学院ꎬ北京１００１０１ꎻ３.北京信息科技大学大数据安全技术研究所ꎬ北京１００１０１)摘要:为提高歌声识别准确率ꎬ提出一种基于Ｔｒａｎｓｆｏｒｍｅｒ并带有纠正模型的歌声识别方法ＴＳＣ(ｔｒａｎｓｆｏｒｍｅｒｗｉｔｈｓｐｅｌｌｉｎｇｃｏｒｒｅｃｔｉｏｎ)ꎮ利用注意力机制ꎬ使网络学习对应的歌词发音ꎮ在模型输入模块ꎬ增加由卷积神经网络组成的特征提取层ꎬ提取歌声特征ꎮ在输出模块后面ꎬ增加由卷积神经网络和双向循环神经网络组成的纠正模型ꎬ修正模型的输出结果ꎮ针对歌声样本量较少ꎬ模型训练困难的问题ꎬ提出了使用汉语语音数据集ＡＩＳＨＥＬＬ￣１进行预训练ꎬ并自制一组数据进行数据增强ꎬ对歌声识别模型参数进行微调ꎮ在增强的Ｏｐｅｎｃｐｏｐ歌声数据集上进行实验的结果表明ꎬ提出的歌声识别系统的字错率降低到了３１.９２％ꎮ关键词:Ｔｒａｎｓｆｏｒｍｅｒꎻ迁移学习ꎻ汉语歌声识别ꎻ拼写纠正中图分类号:ＴＰ１８３文献标志码:ＡＣｈｉｎｅｓｅｓｕｎｇｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＴｒａｎｓｆｏｒｍｅｒＷＵＹｉｎｇ１ꎬ２ꎬＸＵＹａｂｉｎ１ꎬ２ꎬ３ꎬＭＥＮＧＪｉｎｇｊｉｎｇ１ꎬ２(１.ＢｅｉｊｉｎｇＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｔｅｒｎｅｔＣｕｌｔｕｒｅａｎｄＤｉｇｉｔａｌＤｉｓｓｅｍｉｎａｔｉｏｎＲｅｓｅａｒｃｈꎬＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙꎬＢｅｉｊｉｎｇ１００１０１ꎬＣｈｉｎａꎻ２.ＣｏｍｐｕｔｅｒＳｃｈｏｏｌꎬＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙꎬＢｅｉｊｉｎｇ１００１０１ꎬＣｈｉｎａꎻ３.ＢｉｇＤａｔａＳｅｃｕｒｉｔｙＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈＩ...
