基于ＶｉｓｉｏｎＴｒａｎｓｆｏｒｍｅｒ的中文唇语识别薛峰１洪自坤２李书杰１李雨２谢胤岑２摘要唇语识别作为一种将唇读视频转换为文本的多模态任务，旨在理解说话者在无声情况下表达的意思．目前唇语识别主要利用卷积神经网络提取唇部视觉特征，捕获短距离像素关系，难以区分相似发音字符的唇形．为了捕获视频图像中唇部区域像素之间的长距离关系，文中提出基于ＶｉｓｉoｎＴｒａｎｓｆoｒｍｅｒ（ＶｉＴ）的端到端中文句子级唇语识别模型，融合ＶｉＴ和门控循环单元（ＧａｔｅＲｅｃｕｒｒｅｎｔＵｎｉｔ，ＧＲＵ），提高对嘴唇视频的视觉时空特征提取能力．具体地，首先使用ＶｉＴ的自注意力模块提取嘴唇图像的全局空间特征，再通过ＧＲＵ对帧序列时序建模，最后使用基于注意力机制的级联序列到序列模型实现对拼音和汉字语句的预测．在中文唇语识别数据集ＣＭＬＲ上的实验表明，文中模型的汉字错误率较低．关键词唇语识别，ＶｉｓｉoｎＴｒａｎｓｆoｒｍｅｒ（ＶｉＴ），深度神经网络，编解码器，注意力机制，特征提取引用格式薛峰，洪自坤，李书杰，李雨，谢胤岑．基于ＶｉｓｉoｎＴｒａｎｓｆoｒｍｅｒ的中文唇语识别．模式识别与人工智能，２０２２，３５（１２）：１１１１－１１２１．ＤＯＩ１０．１６４５１／ｊ．ｃｎｋｉ．ｉｓｓｎ１００３⁃６０５９．２０２２１２００６中图法分类号ＴＰ３９１．４１ＣｈｉｎｅｓｅＬｉｐｒｅａｄｉｎｇＮｅｔｗｏｒｋＢａｓｅｄｏｎＶｉｓｉｏｎＴｒａｎｓｆｏｒｍｅｒＸＵＥＦｅｎｇ１，ＨＯＮＧＺｉｋｕｎ２，ＬＩＳｈｕｊｉｅ１，ＬＩＹｕ２，ＸＩＥＹｉｎｃｅｎ２ＡＢＳＴＲＡＣＴＬｉｐｒｅａｄｉｎｇｉｓａｍｕｌｔｉｍoｄａｌｔａｓｋｔoｃoｎｖｅｒｔｌｉｐｒｅａｄｉｎｇｖｉｄｅoｓｉｎｔoｔｅｘｔ，ａｎｄｉｔｉｓｉｎｔｅｎｄｅｄｔoｕｎｄｅｒｓｔａｎｄｔｈｅｍｅａｎｉｎｇｅｘｐｒｅｓｓｅｄｂｙａｓｐｅａｋｅｒｉｎｔｈｅａｂｓｅｎｃｅoｆｓoｕｎｄ．Ｉｎｔｈｅｅｘｉｓｔｉｎｇｌｉｐｒｅａｄｉｎｇｍｅｔｈoｄｓ，ｃoｎｖoｌｕｔｉoｎａｌｎｅｕｒａｌｎｅｔｗoｒｋｓａｒｅａｄoｐｔｅｄｔoｅｘｔｒａｃｔｖｉｓｕａｌｆｅａｔｕｒｅｓoｆｔｈｅｌｉｐｓａｎｄｃａｐｔｕｒｅｓｈoｒｔ⁃ｄｉｓｔａｎｃｅｐｉｘｅｌｒｅｌａｔｉoｎｓｈｉｐｓ，ｒｅｓｕｌｔｉｎｇｉｎｄｉｆｆｉｃｕｌｔｉｅｓｉｎｄｉｓｔｉｎｇｕｉｓｈｉｎｇｌｉｐｓｈａｐｅｓoｆｓｉｍｉｌａｒｌｙｐｒ...
