基于多尺度分解和改进稀疏表示的脑部图像融合.pdf

年 月 陕西理工大学学报(自然科学版).第 卷第 期 ().引用格式:张亚加邱啟蒙刘恒等.基于多尺度分解和改进稀疏表示的脑部图像融合.陕西理工大学学报(自然科学版)():.基于多尺度分解和改进稀疏表示的脑部图像融合张亚加 邱啟蒙 刘 恒 邵建龙.云南开放大学 云南 昆明.昆明理工大学 信息工程与自动化学院 云南 昆明 摘 要:为克服单一模态脑部图像的局限性进而突出病灶细节信息提高视觉清晰度降低时间成本提出了一种 域下结合 和改进稀疏表示的算法框架 首先 分解源图像获取高、低频分量 对低频分量进一步分解生成对应的能量子带及细节子带 其次利用 融合低频能量子带多范数加权度量改进的稀疏表示融合低频细节子带继而用逆 进行融合并经 融合高频子带 最后逆变换得到期望的脑部图像 从主观视觉和客观评价指标两个维度对结果进行综合评估对比另外 种主流的活跃度水平计算方法新推出的方法能够兼顾信息的数量和集中程度效果最优 较之当前主流融合算法新方法突出了病灶信息提高了融合效率降低了时间成本在视觉效果和客观指标上均有显著优势能够为临床诊断、教学起到辅助作用关键词:非下采样剪切波变换离散小波变换改进稀疏表示多范数加权度量简化脉冲耦合神经网络中图分类号:文献标识码:文章编号:()收稿日期:修回日期:基金项目:国家自然科学基金项目()昆明理工大学教育技术研究项目()通信作者:邵建龙()男云南腾冲人教授主要研究方向为大数据处理和图像处理技术随着经济社会的发展脑部疾病年轻化趋势越发明显其高发病率、高致残率、多并发症不仅给患者身心造成巨大痛苦而且加大了社会负担 在临床应用中影像学检查对脑部疾病的预防治疗具有极大的医学意义 成像技术的蓬勃发展为临床医学提供了不同模态的脑部图像 因成像原理的差异不同模态的脑部图像存在信息互补和冗余 因此准确地为临床分析提供多模态下的互补医疗信息成为当下的研究热点融合后的脑部图像既要最大限度保留原图像的骨骼和软组织信息又要准确展现病灶的细节特征相比傅里叶变换小波变换能对信号进行自适应时频分析 离散小波变换()对图像的点奇异特性有很强的描述性但对含线面奇异特性的二维甚至更高维信号表征能力很弱 相比非下采样轮廓波变换()非下采样剪切波变换()可根据待处理图像复杂度的不同按需选择分解方向的数量且不存在逆向合成方向滤波的操作计算量小降低了对设备的依赖性 能较好地描述图像的线面奇异性适合处理高维信号但对具有点奇异性的信号却无能为力 等基于联合字典的稀疏表示算法从源图像中截取图像块作为训练数据得到自适应的联合字典但在稀疏表示阶段计算复杂度很高 等基于联合块聚类的字典学习根据结构相似性进行聚类尽管该字典能保留源图像大部分特征但依然存在损失的问题 等提出 结合稀疏表示处理低频子带的方法增强了集成细节但边缘信息明显丢失 脉冲耦合神经网络()同时具有全局耦合及同步脉冲发放等特性并且其处理机制和信号形式都符合人的视觉神经系统特性 当神经元受到图像信号刺激时通过能量传播的方式以相似性集群产生同步脉冲发放脉冲序列中就包含了图像的特征因此能更容易地对图像做出判断 这样的处理机制优于传统的机器学习方法在医学图像处理中得到广泛运用 戴文战等对 进行了优化和改进能够自适应地进行调节但轮廓波变换又降低了执行效率 黄陈建等提出一种 域下结合 和 的方法保留了源图像大量的细节信息但是边缘抗噪性能较差丢失了相应的细节特征 朱宏伟提出稀疏表示处理低频子带的方法使用引导滤波和 算子对训练集进行预处理虽然提高了融合效率但抗噪性能变差传统的 方法难以描述图像的点奇异特性 变换表征二维及其以上信号能力有限难以全面刻画脑部图像的细节特征给临床诊断和辅助医疗带来不便 为了能够有效地保留图像的细节信息提高抗噪性能对 和 进行组合利用其互补优势实现最优的表示在稀疏表示过程中本文提出一种多范数加权度量的方法对稀疏系数进行灵活选择同时兼顾图像信息量的多少和集中程度 基本原理.非下采样剪切波变换()作为一种先进的多尺度分析方法 以其平移不变性、多方向性和计算复杂度低的优势得到广泛应用 其过程是对图像通过金字塔滤波()来实现确保了平移不变性由剪切波()实现方向局部化 经 次迭代分解以后获得一个低频子带和 个尺度不同而大小相同的高频子带 层分解过程如图 所示图 分解框架.离散小波变换()离散小波变换()是对基本小波的平移和尺度进行离散化 在图像融合运用中需要将连续的小波及其变换离散化 计算机在实现中使用二进制离散处理将经过这种离散化的小波及其相应的变换称为离散小波变换 实际上离散小波变换是对连续小波变换的尺度、位移按照 的幂次进行离散化得到的所以也称其为二进制小波变换以图像 为例其过程是在水平方向上执行的小波得到低频系数矩阵 及高频系数矩阵 依次在竖直方向上展开获得 个方向不同的高频系数、和一个低频系数 依此方法对 进行第 期 张亚加邱啟蒙刘恒等 基于多尺度分解和改进稀疏表示的脑部图像融合 次迭代即可满足 层分解的需要.改进稀疏表示()传统的稀疏表示方法是从源图像中减去均值图像进行处理 受文献启发首先选取 对脑部图像作为训练数据使用结合引导滤波的 算子对训练子集进行预处理以 学习源图像的字典最终结合起来形成一个过完备训练集 以图像 为例简述创建过程:)用 算子对图像 进行 个方向上的信息提取)通过引导滤波器的计算引导图像 其中 表示 的线性变换 表示引导图像、表示线性系数为常数)引导后的图像使用均值滤波进行处理:()()其中 和 表示窗口大小取()表示原始图像的像素.脉冲耦合神经网络()在图像处理领域应用广泛 融合的时候图像的像素特征与神经元一一对应使神经元的个数和图像的像素个数相等 如图 所示图 简化的神经元网络模型显而易见传统的 模型需设置较多参数而且这些参数都是基于算法的固定值不能够灵活地考虑到每一幅图像的灰度值增大了处理的难度限制了算法的效果 文献提出一种基于 的模型使 得到简化 文献在此基础上再次对 进行简化并将 用于参数的自动设置 为提高融合效率进一步体现算法的灵活性本文使馈送通道 仅输入外界激励 通道 仅接受输出的()融合方法多尺度分析方法在描述图像时所擅长处理的特征不尽相同因此利用其互补性可实现更优的表示因此结合 变换与 变换的互补特性进而提出一种 域下结合 和改进稀疏表示的算法 以源图像 和源图像 为例对其先后使用 和 处理得到对应的低频层分量和高频层分量因事制宜选择最优的融合规则获取最终融合图像 过程如 所示.低频融合策略由于低频子带稀疏性较差为获取稀疏系数使用如下规则处理:)滑动窗口划分低频子带 的子块步长为)根据 算法计算稀疏系数矩阵()其中 ()陕西理工大学学报(自然科学版)第 卷图 图像融合过程 )根据式()计算加权多范数活跃度()()()()()其中、是图像 的水平活跃度 、是向量的 和 范数和 是权重系数 是比例系数)根据步骤)的结果甄选稀疏系数如下:其他 )按照上述方法重构列向量:)循环以上步骤直至所有图像块被融合得到最终的低频子带.高频融合策略本文用空间频率()来激励神经元融合过程如下:)用高频分量、计算两幅源图像的空间频率 然后把每一个像素的空间频率作为 的外部输入产生神经元脉冲计算公式为()()()()()()()()()()其中、分别表示高频分量的行向量和列向量)初始值的设定:初始状态 未点火因此 )求解参数判定迭代次数最大时的点火次数假定起初点火次数 为 其中 表示神经元的点火次数 用 表示迭代次数设为 次链接输入()的突触权值.)对于每一个像素比较两个高频分量在该处的点火次数选择点火次数多的像素点作为融合后的像素点第 期 张亚加邱啟蒙刘恒等 基于多尺度分解和改进稀疏表示的脑部图像融合 实验结果与分析.实验设置本文在实验过程中对参数进行了设置其中 变换的分解层数 取 每一层系数分量的方向数均为所使用的小波基为“”分解次数为 每一层系数分量的方向数均为 加权范数度量时比例系数设为.为突出本算法的可比性选用 操作系统、分别用 组 联合成像和 组 联合成像作为测试数据大小均为 深度 已配准数据源自哈佛大学医学图像数据库(:/./)与文献进行比较融合结果如图 图 所示 取信息熵()、空间频率()、互信息()、峰值信噪比()、融合时间()个宽度影响指标对结果进行综合评价此外控制本文方法其他参数不变使用当前最为先进的 种方法计算稀疏活跃度水平验证本文提出度量方法的先进性和可行性 上述实验分别执行 次后得到的客观指标平均值记录于表 表 最优值用粗体标出表 联合成像融合结果评价指标图像算法类别信息熵空间频率/(周/()互信息峰值信噪比运行时间/脑中风图像文献文献文献本文算法.脑梗图像文献文献文献本文算法.表 联合成像融合结果评价指标图像算法类别信息熵空间频率/(周/()互信息峰值信噪比运行时间/支气管癌图像文献文献文献本文算法.血管瘤图像文献文献文献本文算法.表 脑部图像在不同度量方法下的评价指标算法类别图像信息熵空间频率/(周/()互信息峰值信噪比文献脑中风脑梗支气管癌血管瘤.陕西理工大学学报(自然科学版)第 卷续表算法类别图像信息熵空间频率/(周/()互信息峰值信噪比文献脑中风脑梗支气管癌血管瘤.文献脑中风脑梗支气管癌血管瘤.文献脑中风脑梗支气管癌血管瘤.本文算法脑中风脑梗支气管癌血管瘤.融合实验在本组实验中使用不同方法对脑萎缩患者的 和 图像进行融合 脑中风 联合成像融合结果和脑梗 联合成像融合结果如图、图 所示 由图 和图 的()、()可以看出 提供致密的骨组织结构信息但获得的软组织信息却极为有限 可提供软组织信息但 对骨骼等密度较大区域成像较为模糊 联合成像有助于诊断同一器官的软硬组织信息()()()文献()文献 ()文献 ()本文算法图 脑中风 联合成像融合结果第 期 张亚加邱啟蒙刘恒等 基于多尺度分解和改进稀疏表示的脑部图像融合 ()()()文献()文献 ()文献 ()本文算法图 脑梗 联合成像融合结果脑中风患者的 融合结果显示(见图)文献与文献图像整体偏暗丢失了大量信息亮度较优的文献图像在保留大量信息的同时也存在软组织细节损失的问题并且这 种方法对细节信息的保留效果不好影响医学诊断的准确性 而本文算法能够有效地保留软组织信息细节信息明显整体清晰度较高且 个指标中有 个最优 综合考量结果本文采用算法分析效果最优脑梗患者的 融合结果显示(见图)文献骨骼信息保留较好但软组织信息有所丢失局部偏暗而文献提高了对比度但暴露出细节丢失的问题虽然文献边缘轮廓清晰度得到了保证但软组织信息整体较为模糊影响医学诊断的准确性 本文算法骨骼信息保留较好边缘轮廓清晰软组织细节保留较好耗时最少且 个指标均是最优 综合考量结果本文采用算法分析效果最优.融合实验在本组实验中使用不同的方法对正常大脑的 和 图像进行融合 支气管癌 联合成像融合结果和血管瘤 联合成像融合结果如图、图 所示 由图 和图 的()、()可以看出 能提供人体组织和器官的血液流动状况及新陈代谢功能信息但其时空分辨率较低 图像能同时呈现软组织信息和脑血流支气管癌患者 的融合结果显示(见图)文献能很好地保存大部分 和 结构信息视觉效果相对较好 文献对 形态结构信息的保存效果较差对比度较低 文献融合图像虽然保留了 图像的大部分结构信息但是出现了伪影 这 种方法对细节信息的保留效果均不好影响医学诊断的准确性 本文算法不仅在图像亮度、纹理清晰度、局部对比度方面均优于其他方法还保留了轮廓细节信息消除了伪影体现了病灶的细节特征能够提高临床医学诊断的准确性且 个指标均最优 参考表 的支气管癌患者和血管瘤患者 和 的融合结果评价指标综合考量结果本文采用算法分析效果最优血管瘤患者 的融合结果显示(见图)文献边缘区域出现的大量暗区影响了融合图像的性能 文献降低了局部图像的对比度 的形态结构信息保存较差 文献没有保持 图像的理想对比度融合的色彩对比较差出现了伪影 这 种方法刻画细节信息不够准确不 陕西理工大学学报(自然科学版)第 卷()()()文献()文献 ()文献 ()本文算法图 支气管癌 联合成像融合结果()()()文献()文献 ()文献 ()本文算法图 血管瘤 联合成像融合结果第 期 张亚加邱啟蒙刘恒等 基于多尺度分解和改进稀疏表示的脑部图像融合 能突出病灶特征 本文算法的图像对比度和锐度更优而且在结构信息和细节信息的提取方面均是最佳没有出现伪影且 个指标均是最优(数据见表)综合考量结果本文采用算法分析效果最优.活跃度水平实验在稀疏编码过程中活跃度水平的计算决定了稀疏系数选择的灵活度 范数表示稀疏系数中非零项的数量反应图像信息集中度范数越大说明细节信息越集中 但是 范数会面临 问题使用 范数对非凸的 范数进行替换实现 问题向凸优化问题的转换降低计算复杂度 范数表示稀疏系数中各项的绝对值之和它反映细节信息量的多少范数越大表明细节信息越多对稀疏活跃度水平的度量有两类方法一是单一范数取极大如文献中的 范数求极大这种方法运用比较广泛但不能很好地反应信息量的多少 另一类是多范数综合度量的方法如文献使用 和 的均值来度量文献使用“多范数”活跃度测量结合“自适应加权平均”与“选择最大”两种规则当相似度超过阈值使用“自适应加权平均”反之使用“选择最大”文献提出对范数和 范数选取两个线性相关权重系数、进行加权计算对加权计算的结果进行取大 为比较本文提出的加权多范数度量方法的优势及可行性控制本文方法其他参数不变对比上述 种方法记录结果如表 由表 可以看出 种方法中文献采用 和 取均值的方法效果最差因为单纯地取均值操作不能考虑到信息量的多少和集中程度 其次是 范数求极大的方法 组实验中信息熵()均是最大这也验证了 范数在稀疏活跃度水平度量过程中描述的是信息量的集中程度 此外文献比文献的方法略好因为一定程度上这两种方法也考虑了信息量多少和集中程度的问题 但总体上看本文提出的方法除信息熵外其他指标均是最优且对信息集中程度的描述(信息熵)仅次于范数求极大同时兼顾了信息量的分布和数量对活跃度水平地度量更为准确和有效 讨论在融合规则方面考虑到低频子带携带了大量边缘信号使用稀疏表示对其进行处理高频子带反映图像的亮度信息采用 进行处理 避免了融合后出现失真、伪影问题同时兼顾到了结构信息的和细节信息的提取突出病灶的细节信息 此外本文新提出了一种多范数加权度量的方法取得了较好地实验效果 实验结果表明本文方法比单一多尺度分析工具效果更好综上所述本文算法实现了多尺度分析方法的优势互补较传统的 分解效果有了很大提升突出了病灶信息提高了融合效率降低了时间成本在视觉效果和客观指标上均有显著优势 参 考 文 献 朱罗江张洪剑沈红健等.标准卒中救治流程缩短大血管闭塞急性缺血性脑卒中患者的救治时间.第二军医大学学报():.戴文战潘树伟李俊峰.基于人眼视觉特性与自适应 的医学图像融合算法.光电子激光():.潘雅婷廖心怡于观贞.人工智能在肿瘤病理诊断及临床决策中的展望.第二军医大学学报():.:():.:.:.:.黄陈建戴文战.域内结合 与 医学图像融合算法.光电子激光():.陕西理工大学学报(自然科学版)第 卷 朱宏伟.基于 与改进稀疏表示的医学图像融合方法.吉林大学学报(理学版)():.:.:.():.():.():.郝珉慧刘哲张永亮等.一种改进的基于全变差范数图像融合方法.上海交通大学学报():.张洲宇曹云峰丁萌等.采用多层卷积稀疏表示的红外与可见光图像融合.哈尔滨工业大学学报():./():.王丽芳董侠秦品乐等.基于自适应联合字典学习的脑部多模态图像融合方法.计算机应用():.裴春阳樊宽刚马政.基于边缘保留分解和改进稀疏表示的医学图像融合.计算机应用():.责任编辑:李 莉 .:.:第 期 张亚加邱啟蒙刘恒等 基于多尺度分解和改进稀疏表示的脑部图像融合