基于稀疏表示的醫(yī)學(xué)圖像融合*

邱紅梅， 李華鋒， 余正濤

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500)

基于稀疏表示的醫(yī)學(xué)圖像融合*

邱紅梅， 李華鋒， 余正濤

(昆明理工大學(xué)信息工程與自動化學(xué)院，云南昆明650500)

針對傳統(tǒng)基于K階奇異值分解 (KSVD)的字典學(xué)習(xí)算法時間復(fù)雜度高，學(xué)習(xí)字典對源圖像的表達能力不理想，應(yīng)用于醫(yī)學(xué)圖像融合效果差的問題，提出了一種新的字典學(xué)習(xí)方法：在字典學(xué)習(xí)之前對醫(yī)學(xué)圖像的特征信息進行篩選，選取能量和細節(jié)信息豐富的圖像塊作為訓(xùn)練集學(xué)習(xí)字典；根據(jù)學(xué)習(xí)得到的字典建立源圖像的稀疏表示模型，運用正交匹配追蹤算法(OMP)求解每個圖像塊的稀疏系數(shù)，采用“絕對值最大”策略構(gòu)造融合圖像的稀疏表示系數(shù)，最終得到融合圖像。實驗結(jié)果表明:針對不同的醫(yī)學(xué)圖像，提出的方法有效。

稀疏表示； 字典學(xué)習(xí)； 醫(yī)學(xué)圖像融合； 正交匹配追蹤

0 引 言

圖像融合技術(shù)已經(jīng)廣泛地應(yīng)用到各個領(lǐng)域[1～4]。其中，稀疏表示因能更為稀疏地表示圖像的奇異信息，而得到眾多關(guān)注[5～7]。在基于稀疏表示(sparse representation,SR)的圖像融合中，字典的選擇是影響融合性能的關(guān)鍵因素之一。在醫(yī)學(xué)圖像融合方面，提出了很多有效的字典學(xué)習(xí)方法。Liu Y等人[8]提出了一種基于自適應(yīng)稀疏表示的多源圖像融合算法，并成功應(yīng)用于醫(yī)學(xué)圖像融合中，根據(jù)訓(xùn)練集圖像塊的梯度方向直方圖的主方向?qū)ζ溥M行分類，再對每一類圖像塊分別訓(xùn)練字典。在融合過程中，根據(jù)源圖像塊梯度方向直方圖主方向自適應(yīng)地選擇所在類的字典。Zhu Z Q等人[9]提出了一種基于采樣和聚類的醫(yī)學(xué)圖像融合算法，通過對圖像塊采樣獲得信息豐富的塊，并對其聚類，最后，利用K階奇異值分解(Korder singular value decomposition,KSVD)算法得到每一類的子字典。這些方法雖然能得到較好的融合效果，但在字典學(xué)習(xí)過程中仍面臨著學(xué)習(xí)速度慢的缺陷，而字典表達能力也有很大的提升空間。

針對以上缺陷，本文結(jié)合人眼視覺系統(tǒng)對圖像質(zhì)量的感知特性，提出了一種新的字典學(xué)習(xí)方法，并利用學(xué)習(xí)的字典對醫(yī)學(xué)圖像進行融合。

1 SR理論

SR理論的主要思想是目標(biāo)信號能夠由少量信號的線性組合來表示[10]。假設(shè)目標(biāo)信號y∈Rm，則信號向量可以被分解成k個m維向量di∈Rm的線性組合k>m如下

(1)

式中 列向量di為原子，所有原子構(gòu)成的矩陣D=[d1,d2,…,dk]稱為字典或庫。由于k?m，因此,字典D是過完備的。求解在過完備字典D下的稀疏表示系數(shù)α是一個稀疏編碼問題，在實際情況中，該稀疏編碼問題可如下表示

(2)

上述問題一般可用貪婪算法和全局優(yōu)化算法來求解。在基于稀疏表示的圖像融合算法中，常用的稀疏優(yōu)化方法包括匹配追蹤算法(matching pursuit,MP)和正交匹配追蹤算法(orthogonal matching pursuit,OMP)。

2 提出的融合方法

2.1 字典構(gòu)建

為提升字典的表達能力，本文針對醫(yī)學(xué)圖像融合問題[11]，提出了利用源圖像中反映亮度的能量信息和反映邊緣細節(jié)變化的空間頻率信息來構(gòu)建超完備字典，字典學(xué)習(xí)的流程如圖1所示。

圖1 字典學(xué)習(xí)流程

考慮到圖像的鄰域內(nèi)像素具有較強的相關(guān)性，采用像素的鄰域能量信息來度量該像素點的亮度。具體地，像素點(x,y)的鄰域能量特征計算式如下

(3)

式中I(x+p,y+q)為源圖像I在(x+p,y+q)處的像素值；P×Q為預(yù)設(shè)的鄰域窗口大小；(x+p,y+q)為以(x,y)為中心的鄰域窗口內(nèi)任一像素點。

采用像素的空間頻率信息反映圖像邊緣細節(jié)信息的變化，其定義如式(4)所示

(4)

對每個待融合的源圖像分割成相互重疊的圖像塊，分割結(jié)果如下

(5)

(6)

(7)

(8)

式中Xe為篩選的能量信息最豐富的圖像塊組成的訓(xùn)練集。ik定義如下

(9)

利用KSVD算法對訓(xùn)練集Xe進行學(xué)習(xí)得到能量字典

(10)

同理，選取包含邊緣細節(jié)信息最豐富的圖像塊構(gòu)造細節(jié)信息字典

(11)

式中Xs為篩選的邊緣細節(jié)信息最豐富的圖像塊組成的訓(xùn)練集；為了不讓Xs與Xe重疊，jk定義為

(12)

利用KSVD算法對訓(xùn)練集Xs進行學(xué)習(xí)得到邊緣細節(jié)信息字典

(13)

由此，綜合能量信息和邊緣細節(jié)信息的字典如式(14)

D=[De,Ds]

(14)

本文訓(xùn)練得到的字典如圖2(c)所示。對比圖2(a)傳統(tǒng)KSVD算法學(xué)習(xí)的字典和圖2(b)文獻[12]提出的聯(lián)合聚類算法學(xué)習(xí)的字典，本文方法得到的字典包含了更加豐富的特征信息，原子對比度也更高，具有更強的表達能力。

圖2 不同方法構(gòu)建的字典視覺效果

2.2 融合算法

(15)

最后利用字典和融合圖像的稀疏表示系數(shù)，根據(jù)式(16)對融合圖像塊向量進行重構(gòu)，得到第k塊融合圖像的列向量

(16)

通過式(17)對所有的融合圖像塊進行重構(gòu)，然后將重構(gòu)圖像塊矩陣化得到最終的融合圖像

(17)

圖3 本文提出算法的融合流程

在訓(xùn)練子塊數(shù)量和時間消耗上，圖4(a)、圖(b)源圖像為例，傳統(tǒng)的KSVD字典學(xué)習(xí)方法(子塊不經(jīng)過篩選)需訓(xùn)練31250個子塊，字典訓(xùn)練耗時713s,而本文提出的字典學(xué)習(xí)方法(子塊經(jīng)過篩選)只需訓(xùn)練21050個子塊，字典訓(xùn)練耗時679s,從中也可以看出，本文提出的字典學(xué)習(xí)方法在訓(xùn)練量和訓(xùn)練時間上均有所改進。

3 實驗分析

為客觀地評價方法的融合性能，采用互信息[13](mutual information,MI)、邊緣信息度量算子[14](edge information preservation values,QAB/F) 和視覺信息保真度[15](visual information fidelity ,VIF)3個客觀評價指標(biāo)對不同算法下的融合結(jié)果進行度量，數(shù)值越大說明融合效果越好。

文采用了離散小波變換(discrete wavelet transform,DWT)、非下采樣輪廓波變換 (nonsubsampled contourlet transform,NSCT)、 非下采樣輪廓波變換和SK相結(jié)合的方法[16](nonsubsampled contourlet transform-sparse representation,NSCT-SR)、聯(lián)合塊聚類[12](joint patch clustering based dictionary,JCPD)、自適應(yīng)SR[8](adaptive sparse representation,ASR)等5個不同融合算法與本文算法進行對比。實驗中，本文方法的圖像塊大小為8×8，求鄰域能量和清晰度信息所用的鄰域窗口大小為P×Q=5×5，重疊像素為6，稀疏表示的重構(gòu)誤差為0.1。

實驗的兩組CT/MRI醫(yī)學(xué)圖像及不同方法產(chǎn)生的融合結(jié)果分別如圖4和圖5所示。從中可以看出，DWT得到的融合圖像對比度較低，容易出現(xiàn)偽影現(xiàn)象；NSCT在很大程度上克服了DWT的不足，但融合規(guī)則過于簡單，導(dǎo)致融合圖像的對比度不高，視覺效果較差。JCPD和ASR得到的融合圖像對比度雖有所提升，但細節(jié)信息不夠清晰，仍不利于人眼的觀察和醫(yī)療診斷。相比之下，NSCT-SR方法和本文算法在對比度上均取得了很好的效果。但從融合結(jié)果的局部放大區(qū)域可以看出，源圖像中的部分有用信息沒有被NSCT-SR方法保留到融合結(jié)果中，而本文方法卻能有效避免這一缺陷。此外，表1給出了2組CT/MRI圖像在不同算法下的融合圖像的客觀評價數(shù)據(jù)，從中可以看出，本文算法在3個客觀評價指標(biāo)上均高于其他方法，客觀上也證明了本文算法優(yōu)于其他方法。

圖4 不同方法獲得融合結(jié)果比較

圖5 不同方法獲得融合結(jié)果比較

為進一步證明本文方法對其他類型的圖像同樣有效，圖6給出了PET/MRI醫(yī)學(xué)圖像在不同算法下的融合結(jié)果，客觀評價數(shù)據(jù)如表1中的圖6列所示。也可以看出，本文算法具有一定的適用性。

圖6 PET/MRI在不同方法下的融合結(jié)果比較

4 結(jié)束語

針對醫(yī)學(xué)圖像融合，提出了一種新的超完備字典構(gòu)建方法，并利用該字典對醫(yī)學(xué)圖像進行了融合實驗。結(jié)果表明：本文方法訓(xùn)練得到的字典能有效提升字典的表達能力，同時，克服了傳統(tǒng)字典學(xué)習(xí)算法中圖像塊數(shù)量較多，字典學(xué)習(xí)效率較低的缺陷。在融合圖像的視覺效果和客觀評價指標(biāo)上，本文算法均優(yōu)于其他傳統(tǒng)圖像融合算法以及最新的基于SR的融合方法。在今后的研究中，重點將進一步優(yōu)化字典學(xué)習(xí)方法，增強字典的適應(yīng)性。

表1 不同方法在融合3組醫(yī)學(xué)圖像時的客觀評價結(jié)果比較

[1] 林玉池,周 欣,宋 樂,等.基于 NSCT 變換的紅外與可見光圖像融合技術(shù)研究[J].傳感器與微系統(tǒng),2008,27(12):45-47.

[2] 朱 煉,孫 楓,夏芳莉,等.圖像融合研究綜述[J].傳感器與微系統(tǒng),2014,33(2):14-18.

[3] 何國棟,石建平,馮友宏,等.一種新的紅外與可見光圖像融合算法[J].傳感器與微系統(tǒng),2014,33(4):139-141.

[4] 張明源,王宏力,陳國棟.基于小波分析的多源圖像融合去云技術(shù)研究[J].傳感器與微系統(tǒng),2007,26(11):19-21.

[5] Yin H T.Sparse representation with learned multiscale dictionary for image fusion[J].Neurocomputing,2015,148(19):600-610.

[6] Liu Y,Liu S P,Wang Z F.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

[7] Li S T,Yin H T,Fang L Y.Group-sparse representation with dictionary learning for medical image denoising and fusion[J].IEEE Transactions on Biomedical Engineering,2012,59(12):3450-3459.

[8] Liu Y,Wang Z F.Simultaneous image fusion and denoising with adaptive sparse representation[J].IET Image Processing,2015,9(5):347-357.

[9] Zhu Z Q,Chai Y,Yin H P.A novel dictionary learning approach for multi-modality medical image fusion[J].Neurocomputing,2016,214:471-482.

[10] 張賢達.矩陣分析與應(yīng)用[M].2版.北京:清華大學(xué)出版社,2013:78-82.

[11] Elan M,Yavnef I.A plurality of sparse representations is better than the sparsest one alone[J].IEEE Transactions Information Theory,2009，55(10):4701-4714.

[12] Kim M,Han D K,KO H,et al.Joint patch clustering-based dictionary learning for multimodal image fusion[J].Information Fusion,2016,27:198-214.

[13] Qu G H,Zhang D L,Yan P F.Information measure for performance of image fusion[J].Electronics Letters,2002,38 (7):313-315.

[14] Xydeas C S,Petrovic V.Objective image fusion performance measure[J].Electronics Letters,2000,36(4):308-309.

[15] Sheikh H R,Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing,2006,15 (2):430-444.

[16] Liu Y,Liu S P,Wang Z F.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

Medicalimagefusionbasedonsparserepresentation*

QIU Hong-mei, LI Hua-feng, YU Zheng-tao

(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)

In the traditional K order singular value decomposition (KSVD)-based methods,the dictionary learning process is time-consuming and the learned dictionary can’t represent the source images well.Therefore,a novel dictionary learning method is proposed for the medical images fusion problem.In which,these image blocks with rich energy feature and detail information are firstly filtrated to form the training set and the dictionary is learned from the training set.Next,the sparse model is constructed according to the learned dictionary and the sparse coefficients are solved by the orthogonal matching pursuit(OMP) algorithm.Finally,the ‘max absolute’ rule is employed to obtain the fused coefficient and the final fused image is obtained. The experiment has verified that the proposed method is effective for different medical images.

sparse representation(SR); dictionary learning; medical image fusion; orthogonal matching pursuit (OMP)

10.13873/J.1000—9787(2017)10—0057—04

2016—09—12

國家自然科學(xué)基金資助項目(61302041，61562053，61363043)；云南省科技廳應(yīng)用基礎(chǔ)研究計劃基金資助項目(2013FD011)

TP 391

A

1000—9787(2017)10—0057—04

邱紅梅(1990-)，女，碩士研究生，CCF會員，主要研究方向為圖像處理。李華鋒(1983-)，男，通訊作者，博士，副教授，主要從事計算機視覺、模式識別、數(shù)字圖像處理研究工作，E—mail: 1175266310@qq.com。