基于直覺(jué)模糊集和亮度增強(qiáng)的醫(yī)學(xué)圖像融合

張林發(fā)，張榆鋒*，王 琨，李支堯

（1.云南大學(xué)信息學(xué)院，昆明 650500；2.昆明醫(yī)科大學(xué)第三附屬醫(yī)院超聲科，昆明 650118）

0 引言

不同的醫(yī)學(xué)成像技術(shù)能提供組織或器官的互補(bǔ)信息，如核磁共振圖像（Magnetic Resonance Imaging，MRI）檢測(cè)人體內(nèi)部軟組織，正電子發(fā)射斷層成像（Positron Emission computed Tomography，PET）、單光子發(fā)射計(jì)算機(jī)斷層成像（Single-Photon Emission Computed Tomography，SPECT）獲取器官的代謝信息，用于腫瘤或血管疾病檢測(cè)［1］。在醫(yī)療實(shí)踐中，由于醫(yī)生需要對(duì)多模態(tài)醫(yī)學(xué)圖像進(jìn)行分別觀察，從而導(dǎo)致疾病診斷準(zhǔn)確度和效率的降低。醫(yī)學(xué)圖像融合技術(shù)可以將多模態(tài)圖像中的相關(guān)信息結(jié)合起來(lái)，有助于疾病的診斷和治療［2］。

圖像融合方法中像素級(jí)融合因圖像失真度最小而應(yīng)用最為廣泛［3］。像素級(jí)融合方法可以分為兩類：空間域和變換域［4］。前者由于直接在空域處理圖像導(dǎo)致融合效果較差［5-6］（如文獻(xiàn)［6］中對(duì)圖像進(jìn)行明度、色調(diào)、飽和度（Intensity，Hue，Saturation；IHS）變換，而IHS 變換容易造成頻譜失真），因此后者成為研究熱點(diǎn)［7］?；谧儞Q域圖像分析工具的圖像融合方法可以分為三個(gè)過(guò)程：圖像分解、系數(shù)融合和圖像重構(gòu)。變換域的方法如圖像金字塔等［8-11］。多尺度變換（Multi-Scale Transforms，MST）也是經(jīng)典的變換域方法，能夠彌補(bǔ)圖像金字塔不具有方向性的缺點(diǎn)，吸引了許多學(xué)者的注意，如小波變換［12］、輪廓波變換［13］、剪切波變換［14］。其他MST 方法如局部拉普拉斯濾波器（Local Laplacian Filter，LLF），LLF 在醫(yī)學(xué)圖像融合應(yīng)用也是經(jīng)過(guò)三個(gè)過(guò)程，如文獻(xiàn)［15］中應(yīng)用LLF 進(jìn)行圖像分解，然后在高頻和低頻分別采用興趣區(qū)和區(qū)域能量最大的融合策略。和MST 相比，多尺度幾何變換（Multi-scale Geometric trAnsform，MGA）是MST 的改進(jìn)方法，具有平移不變性，融合圖像不會(huì)出現(xiàn)偽Gibbs 效應(yīng)。MGA 主要包括非下采樣輪廓波變換（Non-Subsampled Contourlet Transform，NSCT）和非下采樣剪切波變換（Non-Subsampled Shearlet Transform，NSST）。文獻(xiàn)［16］中首先通過(guò)NSCT將源圖像分解成高頻和低頻子帶，然后分別對(duì)其采用基于二型模糊邏輯和區(qū)域特征的融合策略；文獻(xiàn)［17］中提出了基于視覺(jué)特征和NSCT的融合方法。但NSCT運(yùn)算耗時(shí)較多，因此NSST成為基于MGA 融合方法的主流。文獻(xiàn)［18］中提出了使用結(jié)構(gòu)張量和NSST 分別取提取圖像細(xì)節(jié)信息和幾何特征的醫(yī)學(xué)圖像融合方法；文獻(xiàn)［19］中提出了結(jié)合NSST 和ripplet變換的融合方法，高頻子帶采用基于改進(jìn)拉普拉斯的融合策略，低頻子帶基于空間頻率進(jìn)行融合。圖像分析工具是融合策略有效性的基礎(chǔ)，而提高變換域方法融合質(zhì)量的關(guān)鍵是融合策略的設(shè)計(jì)［20］。近年來(lái)，脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）被廣泛應(yīng)用于高頻或低頻子帶的處理［21-24］。如文獻(xiàn)［24］中提出使用NSCT 分解源圖像，低頻采用最大選擇策略，高頻采用尖峰皮質(zhì)模型進(jìn)行醫(yī)學(xué)圖像融合。但基于PCNN 的融合方法效果依賴于手動(dòng)設(shè)置的參數(shù)，自適應(yīng)程度較低［25］。稀疏表示（Spare Representation，SR）和MGA 類似，不同在于MGA 使用固定原子，而SR 通過(guò)基于目標(biāo)數(shù)據(jù)集預(yù)先建立完備字典去表示圖像?；赟R的融合方法首先獲得稀疏系數(shù)，然后對(duì)稀疏系數(shù)進(jìn)行融合［26-28］。為了進(jìn)一步提高融合圖像質(zhì)量，SR 和MST 結(jié)合的方法被提出，如文獻(xiàn)［29］中提出先對(duì)圖像多尺度變換，然后對(duì)低頻子帶采用基于SR的融合策略。然而由于獲取稀疏系數(shù)的過(guò)程使用匹配追蹤類算法，往往時(shí)間復(fù)雜度較高。為了獲得更多特征應(yīng)用于融合，文獻(xiàn)［30］中提出將尺度不變特征變換應(yīng)用于提取圖像局部細(xì)節(jié)信息。文獻(xiàn)［31］中首先對(duì)圖像進(jìn)行兩層分解，利用引導(dǎo)濾波提取尺度信息對(duì)細(xì)節(jié)層進(jìn)行融合。近年來(lái)，直覺(jué)模糊集理論能夠處理不確定性問(wèn)題被應(yīng)用于圖像處理［32-35］。文獻(xiàn)［33］中提出了基于分?jǐn)?shù)階導(dǎo)數(shù)和直覺(jué)模糊集理論的多聚焦圖像融合。文獻(xiàn)［35］中首先使用二維經(jīng)驗(yàn)?zāi)B(tài)分解替代NSST 中非下采樣金字塔對(duì)紅外和可見(jiàn)光圖像進(jìn)行分解，然后提出基于模糊集理論的融合策略，取得了較好的效果。

傳統(tǒng)融合方法通過(guò)融合策略設(shè)計(jì)來(lái)同時(shí)解決兩個(gè)關(guān)鍵問(wèn)題，即細(xì)節(jié)提取和能量保存［7-31］，容易出現(xiàn)源圖像信息失真或結(jié)果圖像能量保存不足等問(wèn)題。鑒于此，本文提出了一種基于直覺(jué)模糊集和亮度增強(qiáng)的融合方法。和傳統(tǒng)方法不同在于，該方法分別解決細(xì)節(jié)提取和能量保存問(wèn)題：首先使用NSST 分解源圖像得到低頻和高頻子帶，其次對(duì)于低頻子帶和高頻子帶設(shè)計(jì)不同的策略進(jìn)行融合，然后通過(guò)NSST逆變換得到中間結(jié)果圖像，最后針對(duì)中間結(jié)果圖像進(jìn)行亮度增強(qiáng)得到融合圖像。實(shí)驗(yàn)結(jié)果表明，和傳統(tǒng)融合方法相比，無(wú)論是客觀評(píng)價(jià)還是主觀評(píng)價(jià)，本文方法都能夠獲得更好的效果。

1 基本理論

1.1 非下采用剪切波變換

剪切波變換（Shearlet Transform，ST）［36］利用仿射系統(tǒng)得到，對(duì)于連續(xù)小波，合成膨脹的二維仿射系統(tǒng)定義為：

其中：ψ∈L2(R2)；A表示膨脹矩陣；S是剪切矩陣，且|detS|=1；k和j分別是方向和尺度參數(shù)。對(duì)于任意f∈L2(R2)，MAS(φ)都可以構(gòu)成一個(gè)緊支撐框架。式（1）中Aj和MST 相關(guān)聯(lián)，Sk與區(qū)域面積恒定的幾何變換關(guān)聯(lián)。這種特殊的結(jié)構(gòu)使人們可以構(gòu)造基元素在各個(gè)尺度各個(gè)方向的緊支撐框架，從而使ST具備了方向敏感性，提高了對(duì)奇異信號(hào)的表現(xiàn)能力［37］。

但ST 不具有平移不變性，針對(duì)這個(gè)問(wèn)題，NSST 將剪切濾波器從偽極化網(wǎng)絡(luò)映射到笛卡兒坐標(biāo)系［37］，從而摒棄了下采樣操作，實(shí)現(xiàn)平移不變性，過(guò)程如圖1 所示，包括非下采樣金字塔濾波器組（Non-Subsampled Pyramid Filter Bank，NSPFB）和剪切波濾波器組（Shearlet Filter Bank，SFB）。

圖1 NSST分解過(guò)程Fig.1 Process of NSST decomposition

1.2 模糊熵

模糊熵是模糊集理論的重要內(nèi)容，也是對(duì)信號(hào)概率分布的一種測(cè)度［38］。信號(hào)中頻率組成越復(fù)雜，模糊熵越大，表示信號(hào)包含的信息越豐富。

設(shè)論域X={x1，x2，…，xn}，則模糊熵通過(guò)以下步驟得到：

1）對(duì)X截取窗口長(zhǎng)度設(shè)定為m，步長(zhǎng)為1，則可產(chǎn)生N-m+1個(gè)子序列，不同序列之間的距離通過(guò)dij=max|xi+k(t)-xj+k(t)|(k=0，1，…，m-1)計(jì)算得到，且i≠j，最后可以得到由dij構(gòu)成的列表矩陣Q。

2）為了減少運(yùn)算量，統(tǒng)計(jì)列表矩陣Q每一行大于閾值F=0.01 的個(gè)數(shù)占總數(shù)N-m+1 的比例，第q行比例記為Cq，當(dāng)Cq為0 時(shí)則將q行舍棄處理。依據(jù)式（2）計(jì)算得到Φ，式中P為剩余行數(shù)。

其中：D是距離d的模糊隸屬度，通過(guò)式（3）得到，式（3）中n和r分別是D的梯度和寬度。

3）通過(guò)式（4）得到模糊熵。

2 融合方法

本文方法由信息提取部分和能量保存兩部分組成，如圖2所示。

圖2 本文融合方法框架Fig.2 Framework of the proposed fusion method

2.1 基于直覺(jué)模糊集理論的圖像融合

本部分方法以已完成配準(zhǔn)圖像為前提。以MRI和PET融合為例，IM表示MRI 圖像，IP表示PET 圖像，實(shí)現(xiàn)過(guò)程如圖3所示，其中除源圖像以外的灰度圖像做了偽彩色處理。主要步驟為：

圖3 本文圖像融合流程Fig.3 Flowchart of the proposed image fusion method

1）NSST 分解：對(duì)規(guī)格為N×N輸入圖像IM和輸入圖像IP進(jìn)行L層NSST 分解，每層分解方向數(shù)矩陣K(l)(l∈[1，L])。分別得到低頻和高頻子帶，即NSSTM={LM，}和NSSTP={LP，}，其中LM和分別是輸入圖像IM的低頻子帶和第L層第K個(gè)方向高頻子帶。

2）低頻子帶融合：利用區(qū)域能量和方向能量的模糊熵來(lái)融合從而得到融合圖像低頻子帶。

3）高頻子帶融合：分別對(duì)輸入圖像IM和輸入圖像IP進(jìn)行IHS 變換，使用明度分量的區(qū)域能量引導(dǎo)非隸屬度函數(shù)的確定，最后得到融合圖像高頻子帶。

4）NSST 重構(gòu)：分別對(duì)第2）和第3）步的結(jié)果低頻子帶和高頻子帶做NSST逆變換，得到圖像R。

2.1.1 低頻融合過(guò)程

圖像經(jīng)過(guò)NSST分解后，能量主要集中在低頻子帶。通過(guò)保存低頻子帶的能量，能夠更好地保存源圖像的信息。在醫(yī)學(xué)圖像融合中，只使用區(qū)域能量（Local Energy，LE）無(wú)法充分捕獲源圖像特征［33］。本文提出結(jié)合區(qū)域能量和方向能量（Direction Energy，DE）的模糊熵來(lái)設(shè)計(jì)融合策略。

區(qū)域能量定義見(jiàn)式（5）：

其中S ∈{M，P}，W是加權(quán)矩陣。W的計(jì)算公式為：

方向能量采用sobel 算子在水平和豎直兩個(gè)方向提取圖像，定義如下：

其中：?表示卷積操作；Si(i=1，2)表示不同方向的sobel 濾波器，定義見(jiàn)式（8）、（9）。

在PET圖像純色信息分布區(qū)域或MRI的圖像空間輪廓分布區(qū)域會(huì)出現(xiàn)區(qū)域能量和方向能量的急劇變化，從而導(dǎo)致融合過(guò)程互補(bǔ)信息的丟失。為了避免這種情況發(fā)生，對(duì)方向能量使用本文1.2 節(jié)中的理論求得模糊熵ENTS，如果模糊熵越大說(shuō)明所包含的信息越豐富，基于LES和DES的ENTS來(lái)融合圖像的低頻子帶，通過(guò)式（10）得到，式中A(i，j)是關(guān)于源圖像IM和IP的低頻子帶的函數(shù)。

2.1.2 高頻融合過(guò)程

在社會(huì)生產(chǎn)及科學(xué)研究中，非此即彼的二值邏輯無(wú)法對(duì)模糊概念進(jìn)行描述。直覺(jué)模糊集（Intuitionistic Fuzzy Set，IFS）理論［39］能夠較好地描述模糊關(guān)系，直覺(jué)模糊集A定義如式（11）所示，式中X是非空集合。

此外，對(duì)于X中的每個(gè)模糊子集，有三個(gè)概念對(duì)其進(jìn)行描述，除了非隸屬度函數(shù)γA和隸屬度函數(shù)μA（兩者的關(guān)系見(jiàn)式（12）），還有直覺(jué)指數(shù)πA(x)描述對(duì)象屬于直覺(jué)模糊集的反對(duì)程度，可以衡量x對(duì)A的猶豫程度，定義見(jiàn)式（13）。

直覺(jué)模糊集理論已在其他圖像融合應(yīng)用場(chǎng)景（如多聚焦圖像融合、可見(jiàn)光和紅外圖像融合）成功應(yīng)用［33-35］。在醫(yī)學(xué)圖像融合中，高頻子帶包含病理圖像的邊緣、紋理等信息［2］，融合高頻對(duì)于保存源圖像的細(xì)節(jié)信息具有重要作用。而高頻子帶中某一像素隸屬于MRI圖像或PET圖像的程度是一個(gè)不確定性問(wèn)題，本文將直覺(jué)模糊集理論用于這一問(wèn)題的處理。隸屬函數(shù)的確定是直覺(jué)模糊集理論的核心，傳統(tǒng)的優(yōu)先關(guān)系定序法中優(yōu)先關(guān)系依賴于手動(dòng)設(shè)置［39］。

鑒于此，針對(duì)醫(yī)學(xué)圖像融合的特點(diǎn)，本文提出一種改進(jìn)的基于優(yōu)先關(guān)系定序法的隸屬度函數(shù)確定方法。該方法的核心在于基于源圖像的亮度分量的區(qū)域能量來(lái)確定優(yōu)先關(guān)系，從而確定保留源圖像信息的優(yōu)先關(guān)系，有利于診斷信息的提取。

改進(jìn)的基于優(yōu)先關(guān)系定序法的IFS 隸屬度函數(shù)確定算法步驟如下：

步驟1 輸入n個(gè)對(duì)象μ1，μ2，…，μn。

步驟2 確定優(yōu)先關(guān)系矩陣C=(cij)n×m，其中cij∈[0，1]表示ui相對(duì)于uj的優(yōu)越程度。特殊地，當(dāng)cij=0，cji=1 時(shí)表示ui比uj沒(méi)有任何優(yōu)越程度。本文提出基于圖像亮度分量的區(qū)域能量來(lái)確定。

首先利用式（14）～（17）對(duì)圖像進(jìn)行IHS變換［6］。

然后對(duì)亮度分量I利用式（5）、（6）計(jì)算得到LEIS，并進(jìn)一步依據(jù)LEIS利用式（18）、（19）來(lái)確定優(yōu)先關(guān)系矩陣。

2.2 基于柯西函數(shù)的圖像亮度增強(qiáng)

由于2.1 節(jié)中得到的融合圖像光譜信息及其互補(bǔ)信息保持度較高，但是亮度不足，視覺(jué)上表現(xiàn)較暗。為此，需要一種不改變圖像色調(diào)信息為前提，僅改變亮度的方法，從而達(dá)到能量保存的目的。

難點(diǎn)在于，如果單一調(diào)整圖像的RGB 任一通道，會(huì)導(dǎo)致光譜信息失真。因此，本文提出一種基于柯西函數(shù)的圖像亮度信息增強(qiáng)方法，步驟如下：

1）對(duì)2.1 節(jié)中得到的圖像R進(jìn)行色調(diào)、飽和度和明度（Hue，Saturation，Value，HSV）變換［40］，如式（24）～（27），得到色調(diào)分量H、飽和度分量S、明度分量V。H取值范圍是0°～360°，取值范圍內(nèi)三等分處對(duì)應(yīng)光譜色紅綠藍(lán)，例如H(i，j)為120°表示圖像在像素(i，j)處光譜色為綠色。S和V取值范圍是0～1，S數(shù)值越接近1，表示越接近光譜色；V表示光譜色明亮程度，數(shù)值越大說(shuō)明光譜色反射比越大。

2）為了保持光譜信息不變，不對(duì)色調(diào)分量H進(jìn)行調(diào)整，只改變飽和度分量S、明度分量V。構(gòu)建柯西函數(shù)γ，見(jiàn)式（28），其中p為γ的調(diào)整參數(shù)，取值范圍為0～2；τ、? 分別為飽和度分量S、明度分量V的調(diào)整參數(shù)；函數(shù)υ定義見(jiàn)式（29），變量IRS和IRV定義分別見(jiàn)式（30）、（31）。

3）通過(guò)式（32）求解柯西函數(shù)γ的L-2最大范數(shù)，得到τ、?。然后依據(jù)τ、?調(diào)整飽和度分量S、明度分量V，如式（33）、（34），能夠引起RGB 數(shù)值增大，從而改變亮度分量（結(jié)合式（24）～（27）、（15）可知）。

4）最后使用HSV逆變換得到融合結(jié)果圖像F。

為獲得p的最優(yōu)取值，將結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）［41］作為圖像亮度增強(qiáng)效果評(píng)價(jià)指標(biāo)，定義如式（35），式中uM為2.1 節(jié)中得到的融合圖像（下稱源圖像）的均值，uF為亮度增強(qiáng)后得到的圖像（下稱增強(qiáng)圖像）的均值，穩(wěn)定系數(shù)C1=6.502 5，C2=58.522 5。在p取值范圍內(nèi)，增強(qiáng)效果和p是凸函數(shù)關(guān)系，見(jiàn)圖4，并在p=1處取得最優(yōu)值。

圖4 不同p值時(shí)源圖像和增強(qiáng)圖像SSIM曲線Fig.4 SSIM of source image and enhanced image with different p values

為了進(jìn)一步驗(yàn)證增強(qiáng)效果及p取值為1的優(yōu)越性，使用15組圖像（每組包含源圖像及增強(qiáng)圖像）從色調(diào)分量、飽和度分量、亮度提升效果三個(gè)方面進(jìn)行實(shí)驗(yàn)驗(yàn)證。

色調(diào)分量是對(duì)圖像純色屬性的直接描述，決定光譜波長(zhǎng)。當(dāng)p=1 時(shí)，通過(guò)式（36）得到源圖像的區(qū)域能量分布，式中HO表示源圖像的色調(diào)分量。同理得到其余圖像的區(qū)域能量分布，15組圖像的色調(diào)分量區(qū)域能量分布見(jiàn)圖5，可知圖像亮度增強(qiáng)前后色調(diào)分量沒(méi)有發(fā)生變化。

圖5 源圖像和增強(qiáng)圖像色調(diào)分量區(qū)域能量對(duì)比Fig.5 Local energy comparison of hue component between source image and enhanced image

取不同p值，實(shí)驗(yàn)圖像的飽和度區(qū)域能量分布見(jiàn)圖6，當(dāng)p=1時(shí)對(duì)源圖像曲線的依從性最好。

圖6 不同p值時(shí)增強(qiáng)圖像和源圖像飽和度區(qū)域能量對(duì)比Fig.6 Local energy comparison of saturation between source image and enhanced image with different p values

亮度提升效果驗(yàn)證過(guò)程為首先對(duì)每組圖像進(jìn)行IHS 變換得到亮度分量；然后使用式（37）得到亮度提升百分比，式中IO和IE分別為源圖像和增強(qiáng)圖像的亮度分量，m為IO中非零像素的個(gè)數(shù)；最后同理得到不同p值不同圖像的亮度提升百分比，如圖7 所示。由實(shí)驗(yàn)結(jié)果可知，p=1、p=1.1、p=1.2 時(shí)亮度平均提升66.44%、63.70%、61.08%。

由圖7 中可知亮度增強(qiáng)方法在不同圖像中亮度增強(qiáng)百分比波動(dòng)較大。結(jié)合式（15），亮度的改變本質(zhì)上是調(diào)整彩色圖像的RGB 分量，而像素點(diǎn)光譜通過(guò)RGB 分量的比例混合來(lái)決定。由于在同等視覺(jué)效果下，不同顏色需要的亮度增強(qiáng)百分比不同，所以亮度增強(qiáng)效果的波動(dòng)和圖像不同顏色區(qū)域構(gòu)成比例直接相關(guān)。

圖7 不同p值時(shí)亮度增強(qiáng)百分比Fig.7 Percentage of intensity enhancement with different p values

為了驗(yàn)證結(jié)論，首先選取6 組圖像（每組圖像包含源圖像及增強(qiáng)圖像）進(jìn)行實(shí)驗(yàn)，源圖像及對(duì)應(yīng)增強(qiáng)圖像如圖8 所示。然后由于MRI 圖像和PET 圖像融合結(jié)果圖像主要區(qū)域?yàn)樗姆N：無(wú)光譜信息區(qū)域、黃色區(qū)域、藍(lán)色區(qū)域、紅色區(qū)域，分別對(duì)圖8 中每張?jiān)磮D像選取四個(gè)實(shí)驗(yàn)區(qū)域，并放大四倍放置在左上角（對(duì)應(yīng)無(wú)光譜信息區(qū)域）、右上角（對(duì)應(yīng)黃色區(qū)域）、左下角（對(duì)應(yīng)藍(lán)色區(qū)域）和右下角（對(duì)應(yīng)紅色區(qū)域）。

圖8 實(shí)驗(yàn)圖像及選取的顏色區(qū)域Fig.8 Experimental images and selected color areas

最后同樣使用式（37）進(jìn)行計(jì)算得到不同圖像所選取的實(shí)驗(yàn)區(qū)域亮度增強(qiáng)百分比，如圖9 所示，四個(gè)實(shí)驗(yàn)區(qū)域平均亮度增強(qiáng)百分比分別為89.88%、54.86%、46.82%、25.52%。

圖9 不同圖像不同區(qū)域亮度增強(qiáng)百分比Fig.9 Percentage of intensity enhancement in different areas of different images

綜上所述，本文提出的亮度增強(qiáng)方法在參數(shù)最優(yōu)時(shí)，能夠在不改變圖像光譜信息及對(duì)比度情況下有效地改變圖像亮度，且由于不同圖像特征不同，會(huì)使亮度增強(qiáng)百分比在合理范圍內(nèi)波動(dòng)。

3 實(shí)驗(yàn)與結(jié)果分析

為評(píng)估本文方法的圖像融合效果，使用18 組不同病理狀態(tài)的MRI 和PET 圖像、25 組MRI 和SPECT 圖像進(jìn)行融合實(shí)驗(yàn)（數(shù)據(jù)集地址為：http：//www.med.harvard.edu/AANLIB/），圖像規(guī)格為256×256，且已完成圖像配準(zhǔn)。將本文方法（代碼見(jiàn)https：//github.com/bananatreelookbajiao/medical-image-fusion）和基于傳統(tǒng)框架的圖像融合方法進(jìn)行對(duì)比，包括：GF［31］、NSCT［24］、NSST［19］、DWTDE［12］、DFIFT-EF［30］、IHS-PCA［6］、MSTSR［29］和LLF-IOI等方法［15］，所對(duì)比方法的參數(shù)均依據(jù)對(duì)應(yīng)論文進(jìn)行設(shè)置。本文方法中NSST 分解層數(shù)L=4，每層分解方向數(shù)矩陣K=[8，8，16，16]，亮度增強(qiáng)方法中p=1。實(shí)驗(yàn)環(huán)境為Intel Core CPU i5-8250U @ 1.6 GHz，內(nèi)存8 GB，操作系統(tǒng)Windows 10（64 bit），編程軟件為Matlab R2017a。

3.1 視覺(jué)質(zhì)量

圖10～13 是18 組MRI 和PET 圖像融合結(jié)果中4 組不同病理形態(tài)的融合結(jié)果，而圖14～17 是25 組MRI 和SPECT 圖像融合結(jié)果中4 組不同病理形態(tài)的融合結(jié)果，其中Proposed-1 和Proposed-2 都是由本文方法得到的圖像，Proposed-1 表示未經(jīng)亮度增強(qiáng)方法處理的圖像。GF 和MST-SR 方法無(wú)法提取MRI圖像的紋理信息，同時(shí)還出現(xiàn)亮度不足的問(wèn)題；NSST、DWTDE 和DFIFT-EF方法得到的圖像光譜信息嚴(yán)重失真或丟失；NSCT對(duì)于輪廓信息和光譜信息都不能保存；LLF-IOI方法存在較大的噪聲干擾，無(wú)法在臨床中為醫(yī)生提供準(zhǔn)確的診斷信息；和本文方法相比，IHS-PCA 方法在圖9 中能量保持度不足，在圖10～17 中將源于PET 圖像的功能信息丟失。由此可知，本文方法在細(xì)節(jié)信息提取、能量保存等方面表現(xiàn)最好，具有最好的視覺(jué)對(duì)比度。

圖10 第一組MRI和PET圖像融合結(jié)果Fig.10 The first group of MRI and PET image fusion results

圖11 第二組MRI和PET圖像融合結(jié)果Fig.11 The second group of MRI and PET image fusion results

圖12 第三組MRI和PET圖像融合結(jié)果Fig.12 The third group of of MRI and PET image fusion results

圖13 第四組MRI和PET圖像融合結(jié)果Fig.13 The fourth group of of MRI and PET image fusion results

圖14 第一組MRI和SPECT圖像融合結(jié)果Fig.14 The first group of of MRI and SPECT image fusion results

圖15 第二組MRI和SPECT圖像融合結(jié)果Fig.15 The second group of MRI and SPECT image fusion results

圖16 第三組MRI和SPECT圖像融合結(jié)果Fig.16 The third group of MRI and SPECT image fusion results

圖17 第四組MRI和SPECT圖像融合結(jié)果Fig.17 The fourth group of MRI and SPECT image fusion results

此外，為了盡可能展示本文的融合效果，分別選取MRI和PET、MRI 和SPECT 圖像融合結(jié)果各6 組，置于圖18 和圖19中，每組圖像源圖像置于上方，增強(qiáng)圖像放置于下方。

圖18 本文方法對(duì)部分MRI和PET圖像融合結(jié)果Fig.18 Fusion results of some MRI and PET images by using the proposed method

圖19 本文方法對(duì)部分MRI和SPECT圖像融合結(jié)果Fig.19 Fusion results of some MRI and SPECT images by using the proposed method

3.2 客觀評(píng)價(jià)

使用以下五個(gè)客觀評(píng)價(jià)指標(biāo)對(duì)不同方法的融合結(jié)果進(jìn)行分析，這五個(gè)指標(biāo)數(shù)值越大，表示質(zhì)量越好。

標(biāo)準(zhǔn)差（Standard Deviation，SD）計(jì)算方式如下：

互信息（Mutual Information，MI）［42］計(jì)算公式如下，其中MIM，F(xiàn)、MIP，F(xiàn)分別表示IM和F、IP和F互信息：

空間頻率（Spatial Frequency，SF）［1］由空間行頻率RF和空間列頻率CF組成：

Piella評(píng)價(jià)指標(biāo)Q［1］基于結(jié)構(gòu)相似度和對(duì)比度來(lái)評(píng)價(jià)融合圖像質(zhì)量，計(jì)算公式如下：

平均梯度（Average Gradient，AG）［42］定義為：

信息熵EI（Entropy of Information，EI）［1］表達(dá)式為：

MI能夠衡量結(jié)果圖像中來(lái)自源圖像的信息量；SF用于反映融合圖像灰度變化快慢程度；Q 可以描述圖像的視覺(jué)對(duì)比度；AG用來(lái)檢測(cè)圖像的清晰程度；EI可以表征圖像灰度分布的空間特征，評(píng)價(jià)圖像信息的豐富程度；SD可以反映融合圖像整體對(duì)比度。表1是18組MRI和PET圖像和25組MRI和SPECT圖像使用不同融合方法的客觀評(píng)價(jià)指標(biāo)均值。和其他8 種傳統(tǒng)方法相比，在MRI 和PET 圖像融合實(shí)驗(yàn)中，除了SD，本文方法在其他五個(gè)客觀評(píng)價(jià)指標(biāo)均具有優(yōu)勢(shì)，在MRI 和SPECT 圖像融合實(shí)驗(yàn)中，本文方法在MI、SF、AG和EI等四個(gè)客觀評(píng)價(jià)指標(biāo)優(yōu)于對(duì)比方法。綜合客觀評(píng)價(jià)指標(biāo)所代表的含義，本文方法能夠更好地提取MRI圖像的空間結(jié)構(gòu)、軟組織、紋理等信息，同時(shí)可以提高PET或SPECT圖像的光譜信息保持度。由于PET/SPECT圖像通過(guò)光譜來(lái)反映診斷信息，所以本文方法的對(duì)于融合效果的提升對(duì)于臨床診斷具有重要意義。

表1 不同融合方法下的客觀評(píng)價(jià)指標(biāo)均值對(duì)比Tab.1 Comparison of mean values of objective indicators under different fusion methods

4 結(jié)語(yǔ)

本文工作主要體現(xiàn)在三個(gè)方面：1）提出了一種醫(yī)學(xué)圖像融合框架，和傳統(tǒng)框架不同，該框架分成兩部分來(lái)分別處理圖像融合中兩個(gè)關(guān)鍵問(wèn)題（細(xì)節(jié)提取和能量保存）。2）基于本文提出的融合框架，提出了一種針對(duì)醫(yī)學(xué)圖像的融合方法。3）提出了一種圖像亮度增強(qiáng)方法，通過(guò)15 組圖像的實(shí)驗(yàn)結(jié)果表明，該方法在最優(yōu)參數(shù)情況下能夠?qū)⒛芰坎蛔愕脑磮D像亮度平均提升66.44%，從而得到較好視覺(jué)效果的結(jié)果圖像，且不改變?cè)磮D像的光譜信息分布。最后使用43 組不同形態(tài)不同類型的醫(yī)學(xué)圖像進(jìn)行融合實(shí)驗(yàn)，從實(shí)驗(yàn)結(jié)果可知，和基于傳統(tǒng)框架的融合方法相比，本文方法視覺(jué)質(zhì)量最好，同時(shí)在六個(gè)客觀評(píng)價(jià)指標(biāo)上均都具有明顯優(yōu)勢(shì)，驗(yàn)證了本文框架的優(yōu)越性。