综合利用肤色模型和感知损失的偏色去除_桂冰洁.pdf

电 子 测 量 技 术E L E C T RON I CME A S U R EME N TT E CHNO L O G Y第4 5卷 第2 3期2 0 2 2年1 2月 D O I:1 0.1 9 6 5 1/j.c n k i.e m t.2 2 0 9 9 2 5综合利用肤色模型和感知损失的偏色去除*桂冰洁 贾振堂(上海电力大学电子与信息工程学院 上海 2 0 1 3 0 6)摘 要:由于现有的颜色恒常性算法在非均匀光照、场景复杂的情况下对于偏色去除表现不好,本文提出了一种综合利用肤色模型和感知损失去除偏色的深度学习算法。该算法综合利用了肤色模型和感知损失,在计算过程中可以识别且重点关注肤色信息,更注重对图像语义的理解,而不是简单的进行像素间的计算。同时,将肤色模型与注意力机制结合,更突出了肤色区域的作用。实验结果表明,本文提出的颜色恒常计算方法能在语义层面较为准确地消除单一光照和多光照场景下图像的偏色,该算法与其他算法相比,能获得更良好的效果。关键词:颜色恒常性;图像处理;图像恢复;感知损失中图分类号:T P 3 9 1 文献标识码:A 国家标准学科分类代码:5 1 0.4 0 5 0C o l o r c a s t r e m o v a l u s i n g s k i n c o l o r m o d e l a n d p e r c e p t u a l l o s sG u i B i n g j i e J i a Z h e n t a n g(C o l l e g e o f E l e c t r o n i c a l a n d I n f o r m a t i o n E n g i n e e r i n g,S h a n g h a i U n i v e r s i t y o f E l e c t r i c P o w e r,S h a n g h a i 2 0 1 3 0 6,C h i n a)A b s t r a c t:S i n c e t h e e x i s t i n g c o l o r c o n s t a n c y a l g o r i t h m s d o n o t p e r f o r m w e l l f o r c o l o r c a s t r e m o v a l i n t h e c a s e o f n o n-u n i f o r m i l l u m i n a t i o n a n d c o m p l e x s c e n e s,t h i s p a p e r p r o p o s e s a d e e p l e a r n i n g a l g o r i t h m t h a t c o m p r e h e n s i v e l y u s e s t h e s k i n c o l o r m o d e l a n d p e r c e p t u a l l o s s t o r e m o v e c o l o r c a s t s.T h e a l g o r i t h m i n t e g r a t e s t h e s k i n c o l o r m o d e l a n d p e r c e p t u a l l o s s,s o t h a t c a n r e c o g n i z e a n d f o c u s o n s k i n c o l o r i n f o r m a t i o n i n t h e c a l c u l a t i o n p r o c e s s,a n d p a y m o r e a t t e n t i o n t o t h e u n d e r s t a n d i n g o f i m a g e s e m a n t i c s,r a t h e r t h a n s i m p l e c a l c u l a t i o n b e t w e e n p i x e l s.A t t h e s a m e t i m e,t h e s k i n c o l o r m o d e l i s c o m b i n e d w i t h t h e a t t e n t i o n m e c h a n i s m,w h i c h h i g h l i g h t s t h e r o l e o f t h e s k i n c o l o r a r e a.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e c o l o r c o n s t a n c y c a l c u l a t i o n m e t h o d p r o p o s e d i n t h i s p a p e r c a n a c c u r a t e l y e l i m i n a t e t h e c o l o r c a s t o f i m a g e s i n s i n g l e-i l l u m i n a t i o n a n d m u l t i-i l l u m i n a t i o n s c e n e s a t t h e s e m a n t i c l e v e l.C o m p a r e d w i t h o t h e r a l g o r i t h m s,t h i s a l g o r i t h m c a n a c h i e v e b e t t e r r e s u l t s.K e y w o r d s:c o l o r c o n s t a n c y;i m a g e p r o c e s s i n g;i m a g e r e s t o r a t i o n;p e r c e i v e d l o s s 收稿日期:2 0 2 2-0 5-1 2*基金项目:国家自然科学基金(6 2 1 0 5 1 9 6)项目资助0 引 言 人眼依靠感光细胞观察事物,光线反射到人类双眼经由一系列处理,在大脑中形成图像,以识别物体、认识世界。尽管物体的表色常常会由于受到光照还有物体表面反射性的影响,发生不同程度的变化,但是经大脑处理以后,人们依然能够感知到物体的本质色泽,具有实现颜色恒常的特性。摄像机记录的图像取决于3个因素:场景的物理内容、入射到场景中的照明以及摄像机的特性。但是成像设备无法像人类一样实时感知外界环境改变造成的色彩变换从而自动校正偏色,而是通过传感器的感光特性对光谱进行响应,最终“看到”物体。因此,在保证物体识别的鲁棒性前提下,排除光照变化等外界干扰因素,研究得到与人类视觉特性相符的颜色自动校正算法是计算颜色恒常性的本质。近年来主要的颜色恒常性算法可分为无监督和有监督两大类。无监督的颜色恒常性计算方法是指不依赖于其他先验知识,图像成像时的场景光照颜色是凭借图像的底层颜色特征估计生成1,但图像在无约束条件下的光照估计并不能得到很好的结果。无监督颜色恒常性算法起源于R e t i n e x理论2,该理论认为人眼看到的物体颜色C决定于光照L和物体本身的反射属性R,即C=LR。基于该理论提 出 了G r e y-W o r l d 假 设、S h a d e o f G r e y算 法 以 及W h i t e-P a t c h算法。这些无监督颜色恒常性算法的优点是计算难度低且便于实现。有监督的颜色恒常性算法是指在有标签的情况下,通521 第4 5卷电 子 测 量 技 术过对图像场景光源颜色分析训练得到相应的颜色分布,然后再根据训练学习得到的模型或者统计规律估计光照颜色。其中,依据学习训练和分类的方法不同,可分为基于统计学习和基于机器学习两大类光照估计方法3。基于统计的方法通过对场景中的光照颜色的值进行数理统计,从而预测场景中的光照颜色。该方法处理的数据大部分服从高斯分布且采用极大似然进行参数估计。常见的基于统计算法有色域映射算法4、基于贝叶斯推理的颜色恒常性计算5、基于高阶语义信息算法6等。基于学习的方法是通过对数据集进行训练学习得到对应的光照估计模型,由构造的模型对后续测试数据进行处理,从而消除图像色偏。常见的方法有:神经网络估计场景照明色度的颜色恒常计算方法7、基于支持向量机的颜色恒常计算方法8、基于深度学习的R e t i n e x分解方法9等。在处理颜色恒常性问题上,基于学习的方法比基于统计的方法准确度更高、效果更好。但是,目前在该领域的研究仍存在缺陷和不足,一是真实场景分为单光照场景与多光照场景,多光照下的颜色恒常性计算要比单光照下复杂很多。迄今为止,大多数先进的颜色恒定性方法都假定场景中存在单一均匀的照明,另外一些经典的针对多光照的算法也只是将现有的颜色恒常性算法从局部扩展到全局,但这一假设违背了现实世界的客观场景。因为在现实生活中,面临处理的大多是多光照场景下的问题。因此,多光照场景下的颜色恒常问题仍需更深入探索。二是现有的估计光照颜色算法通常忽视了高层的语义信息,将关注点放在低层的像素层面,描述图像每个像素点之间颜色及其变化,然而面对复杂多变的现实环境时,其适应性明显不足。三是现如今并没有稳定的颜色恒常性算法既可以针对面部区域又不会排除环境因素的影响。针对目前国内外颜色恒常性算法中无法适应复杂环境、忽略语义信息等问题,本文提出了一种综合利用肤色模型和感知损失去除偏色的深度学习算法。该算法将注意力机制和高斯肤色模型结合,使其在计算过程中重点关注图像中某个部分,更注重对图像语义的理解,而不是简单的进行像素间的计算。实验结果表明,本文提出的颜色恒常计算方法能在语义层面较为准确地消除单一光照和多光照场景下图像的色偏,同时能在较短的时间内获得较好的性能。1 改进的基于注意力机制的残差卷积网络结构1.1 残差神经网络 由于深度学习的高速发展,卷积神经网络模型越来越深。这也带来了一些问题,在能够收敛的神经网络里,随着网络深度增加,网络的表现先是逐渐增加至饱和,然后迅速下降。不仅如此,过深的网络结构会导致梯度消失、梯度爆炸甚至是网络退化。于是,残差网络(R e s N e t)的诞生可以很好的解决上述问题。残差网 络 是 通 过 给 卷 积 层 增 加 一 条“捷 径 连 接”(s h o r t c u t c o n n e c t i o n)的方式来提高信息的传播效率。在一个深度网络中,我们期望一个非线性单元(可以为一层或多层的卷积层)F(x)去逼近一个目标函数H(x)。目标函数可分成两部分:恒等函数x和残差函数H(x)-x。根据通用近似定理,一个由神经网络构成的非线性单元有足够的能力来近似逼近原始目标函数或残差函数,但实际中更容易学习后者1 0。因此,原来的优化问题可以转换为:让非线性单元F(x)去近似残差函数H(x)-x,那么实际的目标函数H(x)可表示为F(x)+x。R e s N e t是由若干残差模块构建的,如图1所示。左图是普通的神经网络,右图为R e s N e t的基础结构。图1 常规神经网络(左)残差网络基本单元(右)从图1(右)可以看出:x为残差块的输入,通过卷积激活层得到F(x),然后F(x)再与x叠加得到H(x)。1.2 注意力机制 近年来,随着C NN的兴起,很多结构新颖、有效的网络结构被提出,比如所熟知的是V G G,R e s N e t,I n c e p t i o n,D e n s e N e t等模型,它们的效果已经被充分验证,而且被广泛应用在各类计算机视觉任务上。然而,经大量实验证明,可以通过在网络结构中引入注意力