《多模态医学图像融合的关键技术研究》-工学论文，计算机论文-论文范文参考-科学狗论文网

网站首页词典首页

标题

多模态医学图像融合的关键技术研究

范文

贾紫婷

摘要：医学图像的融合以及图像融合的关键技术正成为人们关注的焦点。文章介绍了医学图像融合的关键技术，包括：医学图像的分类和特点，图像融合的基本流程，融合对象的选择，融合方法的選择以及融合结果的评价等，并对其未来发展进行展望。

关键词：医学;图像融合;融合方法;结果评价

中图分类号：TP391 文献标识码：A 文章编号：1006-8228（2020）07-04-03

0引言

医学图像按照功能划分可以分为功能图像和解剖图像两大类。功能图像主要用来呈现人体的形态信息，如MRI、CT图像等，解剖图像是描述人体的功能和代谢信息，如PET、SPECT图像等。这些图像类型提供了多种模态的医学图像，不同模态的图像具有不同的特性，功能图像显示的分辨率不强，但是它可以提供解剖图像不能提供的脏器功能的代谢信息;而解剖图像能够很好的显示脏器的解剖信息，并且分辨率较强，这一点又是功能图像无法比拟的。

目前，多模态医学图像融合需要解决较多的技术难题，并且面临着非常大的挑战。首先，融合方法具有局限性，不能普遍适应于多种图像融合，尚未形式一套完整的融合理论和统一的融合模型;其次，由于不同模态医学图像成像机制不同，导致不同的图像具有不同的格式、大小、质量，所以，医学图像的预处理工作严格、繁琐，非常需要提出性能稳定且融合效果较好的融合方法;最后，融合完成后，没有统一的医学图像评价指标，医生只能通过肉眼和自身的经验去选择不同算法融合后的图像。在客观评价方面的标准也是采用现成的评价指标，并没有结合医学图像自身的特点形成合适的评价指标。针对以上医学图像融合技术中存在的问题，急需要研究出新的有效的融合方法和合适的评价指标来解决问题。

1医学图像融合基本流程

多模态医学图像融合通常分为四步：分别是图像预处理、图像配准、图像融合、融合结果评价。融合流程图如图1所示。

图像预处理主要是将输入的源图像进行噪声滤除和几何校正等操作。一般来说，功能图像噪声较大，只有对其进行滤波和增强操作，才能获得使用者满意的图像。

图像配准就是在两幅图像间建立一一对应关系，把实际物理空间中同一位置的点对应起来，忽略其在其他方面的差异。图像配准包括基于区域的图像配准和基于特征的图像配准。

图像配准是为图像融合服务，最终融合后的图像不仅能够保留源图像的显著信息，而且可以增加不同源图像的互补信息，使融合后的图像能够提供完整、准确的信息，从而消除单一源图像的局限性。

目前融合结果评价主要分为主观评价和客观评价。

2医学图像融合的关键技术

多模态医学图像融合就是将不同模态的图像信息整合汇总到一张图像中，使融合后的图像能够包含更直观、更综合、更准确的信息。下面介绍融合过程中的三个关键技术。

2.1图像融合对象的选择

（1）CT图像

CT即x线计算机断层摄影，是Computed To-mography的缩写。CT是Hounsfield1969年设计成功，于1972年公诸于世。与x线成像原理不同，CT是通过x线束对人体层面扫描，获得信息，然后使用计算机处理，得到重建图像。得到的重建图像是断面解剖图像，在密度分辨力方面比x线图像好。CT也大大促进了医学影像学的发展。

（2）MRI图像

MRI也就是磁共振成像，英文全称是：MagneticResonance Imaging。最初这项技术被称为核磁共振成像，1980年初NMR（核磁共振成像，NMR Imaging）一词逐渐被大众知晓。随着大磁体的安装，有人担心NMR中的字母“N”代表的单词“nuclear”容易使人们将核磁共振成像与核医学联系起来。因此，为了告诉大众这项技术不会产生电离辐射，减少人们的担心，研究者将“核磁共振成像术”省略了汉字“核”更名为“磁共振成像”英文缩写为“MRI”。

（3）PET图像

PET成像即正电子发射断层显像，是PositronEmission Tomography的缩写。PET是核医学领域比较先进的成像技术，也是当前唯一可以反映活体分子代谢的新型造影技术。该技术是某种物质用短寿命的放射性元素标记后注入人体，通过对该物质在代谢中的聚焦来判断生命代谢活动的情况，将这种聚焦特点用图像来反映就得到了PET图像。PET图像能显示人体的代谢功能信息，但是分辨率较低，在细节信息显示方面较差。

通常是将CT图像与MRI图像进行融合，将CT图像和PET图像进行融合从而扬长避短，分别发挥两幅图像的优势弥补两幅图像的不足。

2.2医学图像融合方法的选择

目前，多模态医学图像融合算法大致分为两类，分别是基于变换域的融合算法和基于空间域的融合算法。

2.2.1基于变换域的医学图像融合算法

在变换域的多模态医学图像融合算法中，多尺度的医学图像融合是比较典型的算法，融合框架见图2。这类算法主要包括三个关键技术：①图像分解和重构方法的选择;②针对不同融合需求的最佳图像分解层数的选择;③高、低频分解系数融合规则的选择。目前，众多学者研究的多尺度变化主要有：金字塔变换、小波变换、轮廓波变换、非下采样轮廓波变换、非下采样剪切波变换。

2.2.2基于空间域的医学图像融合算法

空间域图像融合算法对源图像不需要做任何的变换，就能够直接对像素进行操作。下面列出四种常用的基于空间域的医学图像融合算法。

（1）加权平均融合

加权平均融合分为两种，直接加权平均融合和相关系数加权平均融合。直接加权平均融合法是最初最基础的融合方法，其实质就是将一个高分辨的单光谱全色图与一个低分辨多光谱图在三个光谱带上的像素叠加。相关系数加权平均融合算法是一种简单、基础、易于实现的图像融合算法，算法的步骤是：首先对全色图的平均灰度值求和，然后求平均，从而统计全色图的平均灰度值，然后分别求全色图与多光谱在整个光谱带R，G，B下的相关系数，从而对像素进行加权平均融合。

（2）基于统计模型的方法

常见的用于图像融合的统计模型有马尔科夫隨机场（Markov Random Field，MRF）模型和贝叶斯（Bayes）模型。使用基于统计模型的方法来融合图像时，融合过程就变成一个代价函数的求解过程，然后通过全局范围内寻优来获得最终融合图像。

（3）i成分变换融合方法（PAC）

主成份分析法被广泛的应用于各种图像处理中，比如，图像增强和数据压缩和图像融合等。主成份分析又称K-L变换，是离散变换的简称。它可以有效地将一组原始的各个分量数据的信息集中在少数几个分量上，主成分变换用于图像融合，优势是其不存在多光谱波段数量的限制，其缺点是变换后的像素改变了原始数据的物理特性。

（4）人工神经网络模型

近期，人工神经网络用于图像处理优势较多，是众多学者研究的重点。人工神经网络模型是模仿生物神经系统处理信息的方法被设计出来的，该模型被广泛应用于图像处理。目前，用于图像融合的神经网络有：PCNN、CNN等。

2.3融合结果评价

基于医学图像融合广大学者已经提出了大量的融合算法。这些融合算法应用于图像融合会取得不同的融合效果，这就需要设置评价方法来对这些算法进行评估。

目前，医学图像融合结果评价大致分为两类，主观评价和客观评价。主观评价是评判者直接用人眼对融合结果进行观察从而得出结论，这种方法在某些特定的应用中是奏效的，而且该方法更简单、直观易于执行。主观评价一般可以用来判断融合结果中是否存在一些明显问题，例如是否严格配准，是否丢失主要信息，是否存在边缘模糊、马赛克效应等。但主观视觉评价主要依靠评判者自身来判断，结果具有较强的主观性和片面性，对同一融合结果，不同的人很可能给出不同的评价结果。因此，这个时候就需要客观评价法，但是客观评价标准在评价结果时也可能会出现一些偏差。所有，在对实际图像融合结果的评价过程中，要采取主，客观相结合的评价方法。

常用的图像融合客观评价标准包括：信息熵、空间频率、平均梯度、标准偏差、互信息量等。

（1）信息熵（Entropy，EN）

信息熵能够反映图像富含信息量的多少，其定义如下：

（5）互信恩量（Mutual Information，MI）

互信息量可以度量两个变量的相关性，它可以反映融合结果从源图像中继承信息的多少，继承信息越多相关性越大。假定两个随机变量x、Y，其边缘概率分布分别是px（X）、pY（y），联合概率密度是pXY（x，y），则这两个随机变量间的互信息量可以表示为：

3结束语

本文主要详细介绍了多模态医学图像融合的流程，分别是图像预处理，图像配准，图像融合和融合结果评价。简单概述了医学图像的分类和特点，并介绍了三种医学图像，CT图像、MRI图像、PET图像。总结了多模态医学图像融合的方法分别是基于变换域和基于空间域融合算法，并且详细概括了五种融合结果评价指标。接下来，将深入一种融合算法进行研究，从而得到较好的融合算法。

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。