第38卷第2期大连海洋大学学报Vol．38No．22023年4月JOUＲNALOFDALIANOCEANUNIVEＲSITYApr．2023DOI:10．16535/j．cnki．dlhyxb．2022-307文章编号:2095-1388(2023)02-0348-09基于声音与视觉特征多级融合的鱼类行为识别模型U－FusionNet－ＲesNet50+SENet胥婧雯1，2，于红1，2*，张鹏1，2，谷立帅1，2，李海清1，2，郑国伟1，2，程思奇1，2，殷雷明3(1.大连海洋大学信息工程学院，辽宁省海洋信息技术重点实验室，辽宁大连116023;2.设施渔业教育部重点实验室(大连海洋大学)，辽宁大连116023;3.大连海洋大学水产与生命学院，辽宁大连116023)摘要:为解决在光线昏暗、声音与视觉噪声干扰等复杂条件下，单模态鱼类行为识别准确率和召回率低的问题，提出了基于声音和视觉特征多级融合的鱼类行为识别模型U-FusionNet-ＲesNet50+SENet，该方法采用ＲesNet50模型提取视觉模态特征，通过MFCC+ＲestNet50模型提取声音模态特征，并在此基础上设计一种U型融合架构，使不同维度的鱼类视觉和声音特征充分交互，在特征提取的各阶段实现特征融合，最后引入SENet构成关注通道信息特征融合网络，并通过对比试验，采用多模态鱼类行为的合成加噪试验数据验证算法的有效性。结果表明:U-FusionNet-ＲesNet50+SENet对鱼类行为识别准确率达到93.71%，F1值达到93.43%，召回率达到92.56%，与效果较好的已有模型Intermediate-feature-leveldeepmodel相比，召回率、F1值和准确率分别提升了2.35%、3.45%和3.48%。研究表明，所提出的U-FusionNet-ＲesNet50+SENet识别方法，可有效解决单模态鱼类行为识别准确率低的问题，提升了鱼类行为识别的整体效果，可以有效识别复杂条件下鱼类的游泳、摄食等行为，为真实生产条件下的鱼类行为识别研究提供了新思路和新方法。关键词:行为识别;深度学习;多模态融合;U-FusionNet;ＲesNet50;SENet中图分类号:S932.2;TP391文献标志码:A鱼类行为是鱼类对环境变化的外在反应，反映鱼类的日常状态和生长情况［1］，是养殖技术人员判断鱼类健康状况的重要依据。鱼类游泳和摄食等行为的自动识别是鱼类活动规律和生活习性研究的基础，也是精准投喂和智慧养殖等研究的支撑［2］。目前，对鱼类行为识别研究大多采用基于计算机视觉的方法。张重阳等［3］利用多特征融合与机器学习相结合的方法识别鱼类摄食行为，有效增强了识别网络的鲁棒性;黄志涛等［4］利用鱼体运动和图像纹理特征识别大西洋鲑的摄食活动，有效提高了识别精确度。但在真实生产条件下，光线昏...
