基于多尺度特征融合的图片情感分布学习.pdf

年月四川大学学报(自然科学版)J u l 第 卷第期J o u r n a l o fS i c h u a nU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n)V o l N o 基于多尺度特征融合的图片情感分布学习张建军,赵小明,何亚东,文虹茜,卿粼波(国能大渡河大岗山发电有限公司,雅安 ;四川大学电子信息学院,成都 )摘要:视觉情感分析旨在分析人们对视觉刺激的情感反映,近年来受到了共享平台和网络社交等多媒体视觉数据相关领域的关注传统的图片情感分析侧重于单标签的情感分类,忽略了图片表达的情感的复杂性和图像潜在的情绪分布信息,不能体现出图片所表达的不同情绪之间的相关性针对以上问题,首先采用V i T和R e s N e t网络进行全局和局部融合的多尺度情感特征提取,通过主导情绪分类和标签分布学习进行图片情感识别,充分表征图片的复杂情感在公开的F l i c k r_L D L数据集和T w i t t e r_L D L数据集上取得了显著的效果,证明了提出方法的有效性关键词:视觉情感分析;深度学习;标签分布学习;图片情感中图分类号:T P 文献标识码:AD O I:/j 收稿日期:基金项目:国家自然科学基金()作者简介:张建军(),男,四川峨眉人,高级工程师,研究方向为电气工程及其自动化 E m a i l:j i a n j u n z h a n g e kc h n e n e r g y c o m c n通讯作者:何亚东 E m a i l:c h n e n e r g y c o m c nI m a g e e m o t i o nd i s t r i b u t i o nl e a r n i n gb a s e do nm u l t i s c a l e f e a t u r e f u s i o nZHANGJ i a n J u n,ZHA OX i a o M i n g,HEY a D o n g,WEN H o n g Q i a n,Q I NGL i n B o(CHNE N E R G YD a d uR i v e rD a g a n g s h a nP o w e rG e n e r a t i o nC o,L t d,Y a a n ,C h i n a;C o l l e g eo fE l e c t r o n i c sa n dI n f o r m a t i o nE n g i n e e r i n g,S i c h u a nU n i v e r s i t y,C h e n g d u ,C h i n a)A b s t r a c t:V i s u a l e m o t i o na n a l y s i s a i m s t oa n a l y z e t h e e m o t i o n a l r e s p o n s eo f h u m a nb e i n g s t ov i s u a l s t i m u l i,w h i c hh a sa t t r a c t e dm u l t i m e d i av i s u a ld a t ar e l a t e df i e l d ss u c ha ss h a r i n gp l a t f o r m sa n ds o c i a ln e t w o r k i n g i nr e c e n ty e a r s T r a d i t i o n a l i m a g ee m o t i o na n a l y s i s f o c u s e so nt h ec l a s s i f i c a t i o no fs i n g l e l a b e le m o t i o n s,i g n o r i n gt h ec o m p l e x i t yo fe m o t i o n se x p r e s s e di np i c t u r e sa n dt h ep o t e n t i a l e m o t i o n a ld i s t r i b u t i o n i n f o r m a t i o no f i m a g e s,a n d f a i l i n gt or e f l e c t t h ec o r r e l a t i o nb e t w e e nd i f f e r e n t e m o t i o n se x p r e s s e di np i c t u r e s T os o l v e t h e a b o v ep r o b l e m s,V i Ta n dR e s n e t n e t w o r k s a r eu s e d t oe x t r a c tm u l t i s c a l e e m o t i o n a l f e a t u r e sw i t hg l o b a l a n d l o c a l f u s i o n,a n dt h e l a b e l d i s t r i b u t i o n l e a r n i n gm e t h o d i su s e df o r i m a g ee m o t i o np r e d i c t i o n S i g n i f i c a n t r e s u l t s a r e a c h i e v e do n t h ep u b l i c a v a i l a b l eF l i c k r_L D Ld a t a s e t a n dT w i t t e r_L D Ld a t a s e t,w h i c hd e m o s t r a t e t h ee f f e c t i v e n e s so f t h ep r o p o s e dm e t h o d K e y w o r d s:V i s u a l e m o t i o na n a l y s i s;D e e pl e a r n i n g;L a b e l d i s t r i b u t i o nl e a r n i n g;I m a g ee m o t i o n引言理解图像轮廓和色彩中隐含的情感表达一直以来受到艺术与心理学领域的关注,随着互联网的发展,视觉情感分析成为计算机视觉领域的一个重要课题,应用在美学分析、智能广告和社交媒体舆情检测等 众多领域为了分析图片表达的情感,需要对图片进行情绪标注,通过手工设计或深度学习的方法提取图片的特征,完成情绪的识别 第 卷四川大学学报(自然科学版)第期与归类,并在此基础上做进一步的分析目前大部分的方法忽略了图片隐含的情绪分布信息,如何有效提取图片的情感特征也是一个亟待解决的问题视觉特征的提取是图片情绪识别的重要内容传统的视觉情绪识别使用底层特征和中高层特征 底层视觉特征包括颜色、构图、形状和纹理等多维度的信息,需要针对不同类型的图片设计不同的特征 M a c h a j d i k等通过手工提取关于艺术和心理学相关理论的视觉特征组合 L u等 研究了图像的纹理特征对情绪的影响 Z h a o等 根据艺术原则设计了更健壮的视觉特征组这些手工制作的视觉特征在一些小的数据集上被证明是有效的底层视觉特征与人类感知的高层情感语义之间存在一定差异,因此一些研究者开始尝试构建中层语义特征或更高维的特征 B o r t h等 利用中层语义信息作为情感的中间表征,统计词袋的方法 也被应用于图像语义分类随着深度学习的发展 和多媒体数据的日渐丰富,使用数据驱动学习的深度表征在图片情感分析中取得了显著的效果,Y o u等 设计了一 种鲁棒 的 渐 进C NN架构模型 P C NN,用于视觉情感 分析R a o等 提出一种多层次的深度网络(M l d e N e t),用于统一图像的低级和高级信息 T r i p a t h i等 提出F T E C n e t,用于解决三个高度相关的情绪分析任务:情绪识别、情绪回归和情绪导向虽然已经有很多方法在学习挖掘图片的情感特征,但是大部分方法忽略了情感的复杂性,只预测主导情绪然而实际的网络图片种类多样,图片中包含的元素丰富,仅使用单一情绪解释图片的情感表达比较困难目前常用的标签分配方式有单标签学习和多标签学习多标签学习虽然在一定程度上解决了标签模糊的问题,但也存在局限性,无法体现不同标签的相对重要性而标签分布学习(L a b e lD i s t r i b u t i o nL e a r n i n g,L D L)是一种更细致的标签分配方式,更适合具有模糊性的图片情感分析 标签分布学习描述了不同标签对同一实例的重要程度,是单标签学习和多标签学习的通用模式标签分布学习具有更灵活的输出空间,也更具挑战,过于最小化预测和真实值间的散度可能会混淆主导标签传统的标签分布学习方法包括问题转换、算法自适应和专用算法三种策略,近年来,基于C NN的标签分布学习方法也不断被提出,并应用于图片情感分析领域 G a o等 使用深度标签分布学习(D L D L),在特征提取和分类中利用标签歧义防止网络过拟合,在小数据集上取得了良好的 性 能 P e n g等 提 出 卷 积 神 经 网 络 回 归(C NN R)处理图片情感标签分布问题,该方法对每个情感类别都有欧氏损失,将回归结果归一化为所有情绪的概率,但是该方法对每一类情绪构建损失,网络参数复杂 C S R、S S D L 和E G C N 利用情感理论先验知识,使用情感极性、情感强度和情感间的相关性等信息进行情绪分布学习,但是没有充分考虑图片本身不同尺度特征的关联本文针对单一情绪无法充分表征图片情感的问题,采用标签分布学习进行图片情感分析,更好地实现了图片实例到情感空间的映射;针对图片中情感特征的提取,使用V i T和R e s N e t网络进行多尺度特征提取并进行特征层融合;最终实现标签分布预测和主导情绪分类两个任务与之前的研究相比,本文的方法在大型公开数据集F l i c k r_L D L和T w i t t e r_L D L上取得了很好的效果图片情感分布学习目前图片情感分析研究一般是基于图片整体的视觉特征,并且忽略了情感分析问题的主观性针对这些问题,本文提出如图所示的基于V i T的多尺度融合图片情感分析模型对于全局尺度,使用基于视觉的T r a n s f o r m e r通道提取图片中的情感特征和关系特征,学习由于卷积操作的限制而遗漏的部分全局性特征向量同时,表征的深度对于视觉识别任务至关重要,因此,对于局部尺度,使用基于残差结构的R e s N e t卷积架构进行深层信息的提取最后使用T r a n s f o r m e r编码器网络融合推理不同尺度特征间的相互联系并同时进行主导标签分类任务和标签分布预测任务,得到最终的结果 特征提取 全局特征图片的全局特征能表征图像的整体属性,包含了完整的情感特征,但是各部分之间全局性的联系容易被人们忽略,卷积操作中感受野的局部相关性也使部分大尺度特征被遗漏为了提取有效的全局情感特征,本方法引入在I m a g e N e t 上预训练V i T网络 作为特征提取的骨干网络基于T r a n s f o r m e r架构的V i T是基于多头自注意力机制的一种神经网络,利用自注意力机制可以有效提取全局性特征,V i T网络结构如图所示 第期张建军,等:基于多尺度特征融合的图片情感分布学习第 卷图模型结构F i g A r c h i t e c t u r eo fm o d e l具体来说,使用四通道V i T对图片进行特征提取再整合,获得全局特征信息 V i T首先进行分块和平展,并使用可训练的线性投影将其映射输出,成为固定大小的补丁嵌入为了补充分割图块时丢失的位置信息,在每一个图块补丁前加上位置嵌入,如图所示其中,位置中的是额外增加的可学 习 嵌 入 最 终 的 嵌 入 向 量 序 列 作 为T r a n s f o r m e r编码器的输入,基于自注意力机制提取相关特征输出的向量序列与输入序列长度相同,其中位置得到了所有图块之间的相关性最终整合的大尺度情感特征有效表征了图片各部分之间的关联信息和全局信息图V i T结构F i g A r c h i t e c t u r eo fV i T 局部特征多数图片中局部的重要性不同,因此在提取图片情感特征时有必要考虑到局部信息图片情感分析研究中提取的特征一般包含低层视觉内容、中层语义和深度特征传统手工特征包括颜色、纹理和形状轮廓等,但是随着数据量增大和数据内容丰富度增加,深度特征更能表征抽象的局部情感特征,也更加具有鲁棒性因此本文采用基于残差结构的R e s N e t卷积架构进行深层情感特征的提取,图所示是R e s N e t中基本残差单元的结构示意图表征的深度对于视觉识别任务是至关重要的,而R e s N e t网络结构可以通过堆叠基本残差单元来加深网络的深度,在增加表征深度时避免因网络过深产生梯度爆炸等问题图基本残差单元结构F i g A r c h i t e c t u r eo f r e s i d u a lb l o c k 特征融合为了融合提取的不同尺度的特征,使 用 具 有 推 理 多 个 输 入 内 在 关 系 能 力 的T r a n s f o r m e r编码器网络,综合挖掘图片的情感信息 T r a n s f o r m e r编码器的输入为特征提取模块中提取的五个特征向量以及一个额外添加的可学习嵌入块,学习最终的主导情绪分类和标签分布预测信息 分布学习现有的大多数图片情感分析工作往往使用单标签预测主导情绪的类别,简化了情绪的复杂度 第 卷四川大学学报(自然科学版)第期多标签中一个实例具有多个标签,但是标签没有权重,标签之间的相对重要性无法体现而标签分布学习对实例的描述包括各个标签的程度,表示该标签相对于示例的重要程度图标签分配方式示例F i g E x a m p l eo f l a b e l a s s i g n m e n t图为三种标签分配方式示例,图片及标注来自F l i c k r_L D L 数据集由于情感的主观性和复杂性,不同的人对同一张图片的情感有不同的判断,同一个人对同一张图片也可能有多种情感产生,包括主导情绪和其他情绪例如对图左边的风景,多数人会感到敬畏,也有人会产生愉快、激动等情绪而单标签和多标签都不能充分表现图片情感的特征与联系因此,使用标签分布学习更能描述情 感 的 模 糊 性 与 情 感 间 的 联 系 K u l l b a c k L e i b l e r(K L)l o s s是用于分布学习的损失函数,能衡量由于预测分布与标记分布不一致而导致的信息损失,见式()LNNiCjyi jl nyi j()其中,y表示从数据集标记的情绪分布;y表示预测的情绪分布;N表示特定数据集中图片的数量;C表示所涉及的情感类别实验结果与分析 数据集本文在两个大型公共图片情感分布数据集上评估 了 提 出 的 方 法:F l i c k r_L D L和T w i t t e r_L D L F l i c k r L D L和T w i t t e r L D L是两个主要用于情绪分布学习的数据集,它们的标签属于典型的八种情绪分类:a n g e r、a m u s e m e n t、a w e、c o n t e n t m e n t、d i s g u s t、e x c i t e m e n t、f e a r和s a d n e s s F l i c k r_L D L包 含 张 图 片,T w i t t e r_L D L包 含 张图片,多名参与者根据种情绪对这些图像进行了标记,标记通常将归一化为概率值作为情感分布的真实值标签 实施细节在实验中,深度骨干网络使用R e s n e t 架构,在大规模视觉识别数据集I m a g e N e t 上进行预训练,取消最后一层输出分类的全连接层局部特征骨干网络使用V i T 预训练的网络架构,更改输出特征为 维,与深度特征融合后输入全连接层 F l i c k r_L D L和T w i t t e r_L D L被随机分割为训练集()和测试集()对于训练/测试集,将图像统一调整为 后随机裁剪到 ,并以 的概率进行水平翻转网络以端到端方式训练,使用K Ll o s s和交叉熵进行学习初始学习率为 ,每 个回合除以,总回合数为,网络整体参数量约为 M网络框架使用P y T o r c h实现,实验环境为U b u n t u ,NV I D I AG T X T iG P U 与其他方法对比为了验证所提出模型的有效性,将其与之前的研究方法进行了比较,主要分为以下四种类型()问 题 转 换(P r o b l e m T r a n s f o r m a t i o n,P T)P T B a y e s和P T S VM基于传统的分类方法S VM和N a i v eB a y e s,将标签分布学习问题转化为加权的单标签学习问题()算 法 自 适 应(A l g o r i t h m A d a p t a t i o n,AA)将传统的机器学习算法k NN和B P神经网络扩展到处理标签分布学习,分别用AA k n n和AA B P表示()专用算法(S p e c i a l i z e dA l g o r i t h m,S A)根据标签分布学习的特性设计的算法,包括S A I I S、S A B F G S 和S A C P NN S A I I S采用了一种类似于改进迭代缩放的策略,假设每种情绪的概率为最大熵模型基于I I S的S A B F G S采用了一种有效的拟牛顿方法改进优化 S A C P NN是条件概率神经网络()基 于C NN的 方 法(C NN b a s e d)C NN R 使用欧几里德损失进行学习 D L D L 使用K L散度作为损失函数 A C P NN 基于条件概率神经网络进行改进,将图像标签编码成二进制表示来代替C P NN中使用的无符号整数,并加入噪声和增强情感分布进行训练 J C D L通过优化K Ll o s s和s o f t m a x l o s s联合学习视觉情感的分布和分类 S S D L 采用结构化稀疏标注框架,考虑了情感的极性和强度特征 E G C N 用图卷积网络捕获 情绪之间的 相关性进行 情绪分布学 习C S R使用先验知识,构建环形情感向量表征并用于损失学习根据文献 的建议,实验中使用了种分布 第期张建军,等:基于多尺度特征融合的图片情感分布学习第 卷学习测量方法对结果进行评价其中,距离度量包括C h e b y s h e v距离()、C l a r k距离()、C a n b e r r a度量()和K L散度()相似性度量包括C o s i n e系数()和I n t e r s e c t i o n相似性()向下的箭头表示越低越好,向上的箭头表示越高越好此外,C l a r k距离和C a n b e r r a度量的最大值由情绪类别数决定,为进行标准化比较,与之前的工作采用一样的操作:将C l a r k距离除以情绪类别数的平方根,将C a n b e r r a度量除以情绪类别数此外,进一步引入t o p 准确度作为评价指标,对主导情绪的预测情况进行比较实验结果如表和表所示,表中括号内为指标排名,最好结果加下划线从表中可以看出,在两个公开的图片情感分布数据集上,不同类型的方法有明显 不同的实现 效果基于 问题转换的 方法(P T)将复杂的标签分布任务转化为简单的单标签任务,然而对于分布间相关性的学习可能不敏感,因此六个指标的平均排名(A v e r a g eR a n k)和主导标签分类准确度排名都基本处于最后基于算法自适应的方法(AA)在已有的机器学习算法上进行拓展,其中k NN算法特别适合多分类问题,特别是对类域的交叉或重叠较多的待分样本集,因此在C l a r k距离和C a n b e r r a度量两个指标上取得了极好的结果专用算法(S A)是为特定的标签分布问题设计,充分考虑了标签分布问题的特性,取得了不错的结果与传统方法相比,基于C NN的方法(C NN b a s e d)获得了显著的性能提升,证明了其在特征提取方面的优势而本文提出的方法综合考虑了局部深层特征和全局特征与其之间的相关性,在两个广泛使用的数据集上都获得了更好的分类和分布结果,证明了所提方法的优越性表情绪分布学习在F l i c k r_L D L上的实验结果T a b E m o t i o nl a b e l d i s t r i b u t i o n l e a r n i n gr e s u l t so nF l i c k r_L D Ld a t a s e tM e a s u r e sP TAAS AC NN b a s e dP T B a y e sP T S VM AA k NN AA B PS A I I S S A B F G S S A C P NN D L D LA C P NNJ C D LS S D LE G C NC S RO u r sC h e b y s h e v ()()()()()()()()()()()()()()C l a r k ()()()()()()()()()()()()()()C a n b e r r a ()()()()()()()()()()()()()()K L ()()()()()()()()()()()()()()C o s i n e ()()()()()()()()()()()()()()I n t e r s e c t i o n ()()()()()()()()()()()()()()A v eR a n k ()()()()()()()()()()()()()()A c c u r a c y ()()()()()()()()()()()()()()表情绪分布学习在T w i t t e r_L D L上的实验结果T a b E m o t i o nl a b e l d i s t r i b u t i o nl e a r n i n gr e s u l t so nT w i t t e r_L D Ld a t a s e tM e a s u r e sP TAAS AC NN b a s e dP T B a y e sP T S VM AA k NN AA B PS A I I S S A B F G S S A C P NN D L D LA C P NNJ C D LS S D LE G C NC S RO u r sC h e b y s h e v ()()()()()()()()()()()()()()C l a r k ()()()()()()()()()()()()()()C a n b e r r a ()()()()()()()()()()()()()()K L ()()()()()()()()()()()()()()C o s i n e ()()()()()()()()()()()()()()I n t e r s e c t i o n ()()()()()()()()()()()()()()A v eR a n k ()()()()()()()()()()()()()()A c c u r a c y ()()()()()()()()()()()()()()第 卷四川大学学报(自然科学版)第期数据集预测实例如图所示,分别展示了实验结果中预测效果的正反例可以看出,图 a中对于主导情绪C o n t e n t m e n t和整体情绪分布的预测都比较准确;而图 b中对于主导情绪F e a r和情绪分布的预测都有所偏差,情绪分布中近似出现了两个峰值说明图片中多种元素的风格一致性会对分布结果产生一定影响,图 b中的黑猫和花朵两类元素对比较为强烈,影响了识别结果同时也说明了对于同一张图片,其表现的情绪较为复杂,如何准确检测图片情绪需要进一步研究图情绪分布预测示例F i g E x a m p l eo f e m o t i o nd i s t r i b u t i o np r e d i c t i o n 消融实验为了验证所提出模型中各个模块的有效性,本文设计了消融实验实验包括三个部分,第一部分使用在I m a g e N e t上预训练R e s n e t 网络和单标签分类常用的交叉熵进行学习;第二部分增加V i T通道提取特征;第三部分增加K L损失学习分布特征实验结果如表所示,消融 实验 在F l i c k r_L D L和T w i t t e r_L D L两个数据集上都表现出了相似的效果具体而言,仅使用R e s N e t网络进行特征提取和学习时结果很差,标签分布预测的六个指标和主导情绪分类的准确率指标都没有达到很好的结果在融入V i T模块进行特征提取后,主导情绪分类的准确率有了明显的提升,但是分布学习指标结果变差表明V i T能提取更多的抽象情感特征,弥补局部特征的不足,实现更高的主导情绪分类准确率,但是没有考虑其他非主导情绪之间的相关性,对于标签分布学习还存在局限性在加入K L损失函数模块后,主导情绪分类准确率和分布学习指标都有提升,所有指标达到了最佳结果表明了K L损失模块对于标签分布预测的有效性,并且提高分布学习的预测效果的同时也提高了主导情绪分类的准确率最终提出的模型取得了最好的分布预测结果和分类结果,证明了模型的有效性和模型各部分的必要性表消融实验结果T a b A b l a t i o ne x p e r i m e n t a l r e s u l t s数据集模型C h e b y s h e v C l a r k C a n b e r r a K LC o s i n e I n t e r s e c t i o n A c c u r a c y F l i c k r_L D LR e s n e t R e s n e tV i T R e s n e tV i TK L T w i t t e r_L D LR e s n e t R e s n e tV i T R e s n e tV i TK L 结论针对图片情感分析研究中单一情绪无法表征具有模糊性的图片情绪的分布问题和对图片的视觉情感特征提取不够充分的问题,本文使用V i T和R e s n e t网络进行多尺度情感特征提取并进行特征层融合推理,实现标签分布预测和主导情绪分类两个任务消融实验和对比实验的结果表明,V i T能提取更多的全局抽象情感特征,弥补局部深层特征的不足;K L损失模块在优化标签分布预测结果的同时没有抑制主导情绪分类的识别效果,进一步提升了主导情绪分类的准确率;最终模型在广泛使 第期张建军,等:基于多尺度特征融合的图片情感分布学习第 卷用的F l i c k r_L D L和T w i t t e r_L D L数据集上对于标签分布预测和主导情绪分类两个任务都取得了良好结果,证明了所提出模型的有效性我们会继续研究情绪特征的更多表示方法,进一步优化图片情感特征提取方法参考文献:Y a n gJ,S h eD,S u nM J o i n t i m a g ee m o t i o nc l a s s i f i c a t i o na n dd i s t r i b u t i o nl e a r n i n gv i ad e e pc o n v o l u t i o n a l n e u r a l n e t w o r kC/P r o c e e d i n g so f t h e t hI n t e r n a t i o n a lJ o i n tC o n f e r e n c eo n A r t i f i c i a lI n t e l l i g e n c e P a l oA l t o:AAA IP r e s s,:Y a n gJY,L i J,L i LD,e t a l Ac i r c u l a r s t r u c t u r e dr e p r e s e n t a t i o nf o rv i s u a le m o t i o nd i s t r i b u t i o nl e a r n i n gC/P r o c e e d i n g so f I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r n R e c o g n i t i o n P i s c a t a w a y:I E E EP r e s s,:C h e nQ,Z h a n g W,Z h o uN,e t a lA d a p t i v ef r a c t i o n a l d i l a t e dc o n v o l u t i o nn e t w o r k f o r i m a g e a e s t h e t i c sa s s e s s m e n tC/P r o c e e d i n g s o fI E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n P i s c a t a w a y:I E E EP r e s s,:H o s uV,G o l d l u c k eB,S a u p eD E f f e c t i v ea e s t h e t i c sp r e d i c t i o nw i t h m u l t i l e v e ls p a t i a l l yp o o l e df e a t u r e sC/P r o c e e d i n g so fI E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n P i s c a t a w a y:I E E EP r e s s,:S i d o r o vO C h a n g i n gt h e i m a g em e m o r a b i l i t y:f r o mb a s i cp h o t oe d i t i n gt oGAN sC/P r o c e e d i n g so fI E E E/C V F C o n f e r e n c e o n C o m p u t e r V i s i o n a n dP a t t e r nR e c o g n i t i o nW o r k s h o p s P i s c a t a w a y:I E E EP r e s s,L i Z,F a nY,J i a n gB,e t a l As u r v e yo ns e n t i m e n ta n a l y s i sa n do p i n i o n m i n i n gf o rs o c i a lm u l t i m e d i aJM u l t i m e dT o o l sA p p l,:王仁武,孟现茹图片情感分析研究综述J图书情报知识,:杜茂康,李晓光,刘岽融合遗传算法的特定领域情感词库构建 J重庆邮电大学学报:自然科学版,:M a c h a j d i kJ,H a n b u b yAA f f e c t i v e i m a g ec l a s s i f i c a t i o nu s i n gf e a t u r e s i n s p i r e db yp s y c h o l o g ya n da r tt h e o r yC/P r o c e e d i n g so f t h e t hA CMI n t e r n a t i o n a lC o n f e r e n c eo nM u l t i m e d i a N e wY o r k:A CMP r e s s,:L uX,S u r y a n a r a y a nP,A d a m sJ rRB,e ta lO ns h a p ea n dt h ec o m p u t a b i l i t yo f e m o t i o n sC/P r o co f t h e t hA CMI n t e r n a t i o n a lC o n f e r e n c eo nM u l t i m e d i a N e wY o r k:A CMP r e s s,:Z h a oS,G a oY,J i a n gX,e t a lE x p l o r i n gp r i n c i p l e s o f a r tf e a t u r e sf o ri m a g ee m o t i o nr e c o g n i t i o nC/P r o c e e d i n g so ft h e t hA CMI n t e r n a t i o n a lC o n f e r e n c e o n M u l t i m e d i a N e w Y o r k:A CMP r e s s,:B o r t hD,J iR,C h e nT,e ta lL a r g e s c a l ev i s u a ls e n t i m e n to n t o l o g y a n d d e t e c t o r s u s i n g a d j e c t i v en o u np a i r sC/P r o c e e d i n g so f t h e t hA CMI n t e r n a t i o n a lC o n f e r e n c eo n M u l t i m e d i a N e w Y o r k:A CMP r e s s,:L uZ,W a n gL,W e nJR I m a g ec l a s s i f i c a t i o nb yv i s u a lb a g o f w o r d sr e f i n e m e n ta n dr e d u c t i o nJN e u r o c o m p u t i n g,:文虹茜,卿粼波,晋儒龙,等基于表情及姿态融合的情 绪 识别 J四 川 大 学 学 报:自 然 科 学 版,:王化明,刘茂兴,熊峻峰,等基于深度学习的牙刷姿态识别方法J江苏大学学报:自然科学版,:李婷婷,胡玉龙,魏枫林基于G AN改进的人脸表情识别算法及应用J吉林大学学报:理学 版,:杨宇,崔陶基于深度学习和水平集的彩色图像分割方法 J四 川 大 学 学 报:自 然 科 学 版,:晋儒龙,卿粼波,文虹茜基于注意力机制多尺度网络的自然场景情绪识别J四川大学学报:自然科学