基于雙樹(shù)復(fù)小波變換和頻域U-Net的多光譜圖像融合算法

李建飛，陳春曉，王亮

(南京航空航天大學(xué)生物醫(yī)學(xué)工程系，南京 211106)

1 引 言

多光譜成像技術(shù)是一種結(jié)合了光譜學(xué)和成像學(xué)的新興技術(shù)，是基于目標(biāo)物體對(duì)不同波長(zhǎng)電磁波譜的輻射或者吸收特性不同，利用多光譜相機(jī)捕獲物體在多個(gè)譜帶下的成像信息，以實(shí)現(xiàn)對(duì)目標(biāo)物體進(jìn)行鑒別分析的技術(shù)[1]。在臨床研究方面，多光譜熒光手術(shù)引導(dǎo)技術(shù)能夠輔助醫(yī)生對(duì)腫瘤位置進(jìn)行精準(zhǔn)定位[2]，彩色圖像能夠反映目標(biāo)組織的解剖學(xué)信息，腫瘤熒光圖像可顯示腫瘤大小等形態(tài)信息，但空間分辨率較低，無(wú)法準(zhǔn)確表征腫瘤與周?chē)M織的絕對(duì)位置，因此基于圖像融合技術(shù)處理上述兩種圖像可同時(shí)顯示腫瘤輪廓和位置，為腫瘤的臨床診斷和研究提供準(zhǔn)確參考。多光譜圖像融合已廣泛應(yīng)用于醫(yī)學(xué)影像處理[3-4]、目標(biāo)識(shí)別[5]、遙感探測(cè)[6]等領(lǐng)域。

目前多光譜圖像融合技術(shù)中使用較廣泛的是基于多尺度分析的融合方法。Vanmali等[7]提出了基于拉普拉斯-高斯金字塔的可見(jiàn)光圖像與近紅外圖像融合算法進(jìn)行圖像去霧化；Mao等[8]提出的多方向聯(lián)合平均的拉普拉斯金字塔方法能夠有效反映融合圖像的邊緣信息和對(duì)比度差；Gomathi等[9]利用非下采樣輪廓波變換(non-down sampling contourlet transform，NSCT)和靜態(tài)小波變換(stationary wavelet transform，SWT)分解圖像，提取有效信息進(jìn)行融合。

隨著近年來(lái)深度學(xué)習(xí)的飛速發(fā)展，神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于圖像融合領(lǐng)域并取得了一定進(jìn)展，Hermessi等[10]利用卷積神經(jīng)網(wǎng)絡(luò)融合小波域中的CT和MRI圖像，證實(shí)了神經(jīng)網(wǎng)絡(luò)在多模態(tài)圖像融合中的潛力；藺素珍等[11]提出了基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法，克服了傳統(tǒng)多尺度變換融合圖像需要根據(jù)先驗(yàn)知識(shí)選取濾波器的缺點(diǎn)，提升了融合效果以及運(yùn)行速度。

在彩色圖像和基于熒光示蹤劑標(biāo)記的近紅外熒光圖像融合過(guò)程中，由于熒光圖像存在背景及環(huán)境光等多種干擾源，導(dǎo)致融合圖像的目標(biāo)區(qū)域?qū)Ρ榷炔桓?。為進(jìn)一步提高融合圖像的質(zhì)量和準(zhǔn)確度，本研究提出了基于雙樹(shù)復(fù)小波變換[12](DTCWT)和頻域U-Net的圖像融合方法，通過(guò)腫瘤裸鼠實(shí)驗(yàn)及多種客觀評(píng)價(jià)指標(biāo)驗(yàn)證了其有效性。

2 方法

2.1 雙樹(shù)復(fù)小波變換

離散小波變換(discrete wavelet transform，DWT)首先將輸入分解為高頻和低頻分量，再通過(guò)二抽取得到分解后的小波系數(shù)。但DWT缺乏平移不變性，輸入信號(hào)的微小改變會(huì)導(dǎo)致小波系數(shù)完全不同，且子圖像突出水平和垂直方向信息的同時(shí)，弱化了其他方向的信息。針對(duì)上述問(wèn)題，人們提出了具有平移不變性、方向選擇性和有限冗余性的雙樹(shù)復(fù)小波變換(DTCWT)。

DTCWT采用具有二叉樹(shù)結(jié)構(gòu)的雙路DWT實(shí)現(xiàn)，一路用于生成變換的實(shí)部，另一路生成虛部，兩路DWT之間存在一個(gè)采樣周期的延遲，從而將采樣間隔擴(kuò)大一倍以消除信號(hào)的混疊效應(yīng)。設(shè)輸入信號(hào)序列為f(t)，實(shí)部樹(shù)的尺度函數(shù)為sr(t)，小波函數(shù)為hr(n)，則實(shí)部變換的小波系數(shù)Wjr(k)和尺度系數(shù)Cjr(k)可由下式求得：

(1)

(2)

其中j取0,1,2…L，L表示分解層數(shù)。同理可求得虛部樹(shù)的小波系數(shù)Wji(k)和尺度系數(shù)Cji(k)。根據(jù)信號(hào)解析式組合后完整的小波系數(shù)Wj(k)和尺度函數(shù)Cj(k)為：

Wj(k)=Wjr(k)+iWji(k)

(3)

Cj(k)=Cjr(k)+iCji(k)

(4)

上述系數(shù)即為DTCWT的分解結(jié)果，得到分解系數(shù)后，可根據(jù)式(5)、式(6)實(shí)現(xiàn)分解系數(shù)的重構(gòu)。

(5)

(6)

其中λi為尺度選擇系數(shù)，取值范圍為0或1，最終得到的重構(gòu)信號(hào)f*(t)為：

(7)

2.2 頻域U-Net網(wǎng)絡(luò)

隨著近年來(lái)深度學(xué)習(xí)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域，如圖像融合[10]、圖像分割[13]、圖像壓縮[14]等方面取得了一定進(jìn)展。Long等[15]提出了可用于圖像分割的全卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)可處理任意大小的圖像，但上采樣和反卷積導(dǎo)致輸出結(jié)果過(guò)于平滑。針對(duì)上述問(wèn)題，Ronneberger等[16]提出了U-Net網(wǎng)絡(luò)。U-Net網(wǎng)絡(luò)采用了對(duì)稱(chēng)結(jié)構(gòu)，卷積池化降低圖像尺寸提取特征的過(guò)程可看作編碼器，反卷積提高圖像大小重構(gòu)信息的過(guò)程作為解碼器。該網(wǎng)絡(luò)在提升圖像尺寸的同時(shí)，加入編碼過(guò)程中對(duì)應(yīng)的特征信息，利用多層跳躍連接的方式聯(lián)合高層語(yǔ)義特征和低層特征信息，可極大提升圖像分割精度和運(yùn)算效率。

目前U-Net主要應(yīng)用于對(duì)空間域圖像進(jìn)行分割，并取得了較好的分割效果。在彩色圖像和基于熒光示蹤劑標(biāo)記的近紅外熒光圖像的融合過(guò)程中，采用DTCWT可從頻域?qū)υ磮D像信息進(jìn)行增強(qiáng)和融合。結(jié)合上述兩種方法的優(yōu)點(diǎn)，本研究提出了利用U-Net對(duì)DTCWT分解后的低頻系數(shù)進(jìn)行分割的方法，見(jiàn)圖1。該U-Net主體部分與文獻(xiàn)[17]中結(jié)構(gòu)類(lèi)似，但訓(xùn)練網(wǎng)絡(luò)所使用的數(shù)據(jù)是近紅外熒光圖像進(jìn)行DTCWT分解得到的低頻系數(shù)子帶。

圖1 基于DTCWT低頻系數(shù)的U-NetFig.1 The framework of U-Net based on DTCWT coefficients

2.3 基于DTCWT和頻域U-Net的圖像融合算法

2.3.1整體框架 本研究提出的圖像融合算法框架見(jiàn)圖2,該算法具體實(shí)現(xiàn)步驟如下：

(1)首先對(duì)源圖像中彩色圖像進(jìn)行通道分離得到RGB三個(gè)通道，由于紅色通道R在臨床研究中易受血液或組織等影響，而人類(lèi)視覺(jué)系統(tǒng)對(duì)藍(lán)色變化不敏感，因此，選擇綠色通道G作為彩色圖像的融合通道。將G通道圖像進(jìn)行DTCWT分解得到高頻子帶GH、低頻子帶GL。再對(duì)熒光圖像進(jìn)行DTCWT分解得到其對(duì)應(yīng)的子帶H和L。

(2)將熒光圖像的低頻子帶L輸入訓(xùn)練好的頻域分割網(wǎng)絡(luò)U-Net中，網(wǎng)絡(luò)根據(jù)訓(xùn)練結(jié)果進(jìn)行自適應(yīng)分割得到顯示腫瘤位置分布的二值化ROI圖像。

(3)將步驟(2)中獲取的ROI圖像與熒光圖像的子帶L、H分別進(jìn)行點(diǎn)乘操作，去除熒光圖像中非腫瘤區(qū)域的干擾，得到只包含腫瘤等目標(biāo)區(qū)域信息的圖像NL、NH。

(4)根據(jù)不同子帶融合規(guī)則，分別融合低頻子帶NL、GL和高頻子帶NH、GH，得到融合后的低頻部分FL和高頻部分FG。

(5)對(duì)FL和FG進(jìn)行雙樹(shù)復(fù)小波逆變換IDTCWT，重構(gòu)得到融合綠色通道圖像G。

(6)將R、B通道與融合G通道合并得到最終融合圖像。

2.3.2融合規(guī)則 在融合過(guò)程中，針對(duì)DTCWT分解得到的不同頻率子帶設(shè)計(jì)的融合規(guī)則如下：

(1)低頻部分采用加權(quán)相加的融合規(guī)則，公式如下：

FL=GL+k×NL

(8)

其中k為比例系數(shù)，具體數(shù)值通過(guò)實(shí)驗(yàn)確定。

(2)高頻部分采用絕對(duì)值取大的融合規(guī)則，選取高頻子帶絕對(duì)值較大值作為融合圖像高頻分量，公式如下：

FH=max(|GH|,|NH|)

(9)

圖2 基于DTCWT和U-Net的融合算法Fig.2 The fusion algorithm based on DTCWT and U-Net

3 實(shí)驗(yàn)結(jié)果與討論

3.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證算法中各環(huán)節(jié)的必要性和有效性，本研究選取圖像域直接融合、離散小波變換DWT、非抽樣小波變換(undecimated wavelet transform，UWT)和NSCT作為對(duì)照組算法驗(yàn)證DTCWT的分解和重構(gòu)效果，選取大津閾值[18]算法(OSTU)作為對(duì)照組比較頻域U-Net的分割效果。為了更好地比較算法結(jié)構(gòu)的差異對(duì)融合效果的影響，各種算法均采用相同的融合規(guī)則。

本實(shí)驗(yàn)硬件環(huán)境如下：操作系統(tǒng)為Win10專(zhuān)業(yè)版，內(nèi)存64 G，CPU Intel i9-9900 k，顯卡型號(hào)Nvdia Geforce GTX 2080Ti，U-Net網(wǎng)絡(luò)基于Python平臺(tái)的TensorFlow工具搭建及訓(xùn)練，其他算法內(nèi)容均基于Matlab R2012b實(shí)現(xiàn)。

3.2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)包括訓(xùn)練網(wǎng)絡(luò)使用的訓(xùn)練數(shù)據(jù)以及驗(yàn)證算法使用的測(cè)試數(shù)據(jù)。訓(xùn)練數(shù)據(jù)集的獲取過(guò)程如下：選擇十只正常體型的健康小鼠處死并去毛，在小鼠體內(nèi)不同部位埋入浸泡過(guò)ICG溶液的不同大小豬肉粒模擬體內(nèi)腫瘤，利用小動(dòng)物光學(xué)成像系統(tǒng)(AOIS，南京航空航天大學(xué))采集彩色光圖像和熒光圖像。采集熒光圖像時(shí)，激發(fā)光波長(zhǎng)為747 nm，發(fā)射光波長(zhǎng)為832 nm。實(shí)驗(yàn)共獲得40組大小為1 024×1 024的彩色圖像和熒光圖像。由經(jīng)驗(yàn)豐富的研究人員根據(jù)熒光圖像勾畫(huà)其中表示腫瘤等目標(biāo)區(qū)域的二值化ROI，得到熒光圖像及其對(duì)應(yīng)ROI的圖像對(duì)。由于獲取的圖像較少，難以滿(mǎn)足神經(jīng)網(wǎng)絡(luò)對(duì)大量數(shù)據(jù)集的需求，因此采用數(shù)據(jù)增強(qiáng)工具Augmentor[19]進(jìn)行數(shù)據(jù)擴(kuò)充，得到3 200組大小為512×512的數(shù)據(jù)，構(gòu)建訓(xùn)練數(shù)據(jù)集。

測(cè)試數(shù)據(jù)是三組腫瘤裸鼠的多光譜圖像，通過(guò)尾靜脈向腫瘤裸鼠體內(nèi)注射ICG溶液，并利用小動(dòng)物光學(xué)成像系統(tǒng)獲取彩色圖像和近紅外熒光圖像，用于驗(yàn)證本研究算法的有效性。

3.3 評(píng)價(jià)指標(biāo)

本研究選取空間頻率(SF)[20]、結(jié)構(gòu)相似性(SSIM)[21]、互信息(MI)[22]和邊緣保持度[23](QABF)對(duì)圖像的融合結(jié)果進(jìn)行評(píng)價(jià)。其中QABF評(píng)價(jià)融合效果時(shí)相較于其他指標(biāo)更準(zhǔn)確，上述評(píng)價(jià)指標(biāo)均為正相關(guān)指標(biāo)，即指標(biāo)值越大則融合結(jié)果越好。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1頻域U-Net參數(shù) 通過(guò)多次訓(xùn)練對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行測(cè)試和調(diào)整，最終確定參數(shù)如下：批處理量為20，學(xué)習(xí)率為0.001，總迭代次數(shù)為40。

3.4.2融合參數(shù) 利用測(cè)試數(shù)據(jù)確定本研究算法中低頻子帶融合規(guī)則比例系數(shù)k的取值范圍，k取不同數(shù)值時(shí)得到的融合圖像的QABF曲線(xiàn)見(jiàn)圖3。由圖可知，QABF指標(biāo)隨k增大呈現(xiàn)先增大到達(dá)飽和點(diǎn)后反而減小的趨勢(shì)，在0.8處評(píng)價(jià)指標(biāo)達(dá)到峰值，因此設(shè)置k值為0.8。

圖3 不同比例因子k下融合指標(biāo)變化曲線(xiàn)Fig.3 The results of QABF with different k

3.4.3融合結(jié)果 選取一組腫瘤裸鼠的彩色圖像、熒光圖像和各算法融合結(jié)果，見(jiàn)圖4。

從圖4中腫瘤裸鼠融合結(jié)果可以看出，直接融合與簡(jiǎn)單采用DWT、SWT、NSCT和DTCWT方法將腫瘤熒光圖像與彩色圖像綠色通道進(jìn)行融合得到的結(jié)果顯示效果相似且整體偏綠，熒光圖像中亮度區(qū)域在融合圖像中均會(huì)表現(xiàn)出綠色，包括裸鼠腹部、四肢、背景等非腫瘤區(qū)域；利用OSTU算法對(duì)空域圖像和對(duì)熒光低頻子帶進(jìn)行分割后再得到的融合結(jié)果相較于直接融合有改善，但綠色區(qū)域相比于熒光圖像中表現(xiàn)的腫瘤區(qū)域更大，擴(kuò)大了融合圖像中腫瘤的范圍，準(zhǔn)確度不高；利用圖像域U-Net分割后直接融合的綠色亮度偏低，基于頻域U-Net進(jìn)行子帶分割后各多尺度方法融合得到的結(jié)果顯示效果基本相同，相較于OSTU綠色區(qū)域與熒光圖像中腫瘤區(qū)域更吻合，且邊界輪廓更加清晰，顯示效果優(yōu)于直接融合以及OSTU。

3.4.4評(píng)價(jià)指標(biāo)結(jié)果 利用客觀評(píng)價(jià)指標(biāo)SF、SSIM、MI和QABF對(duì)融合結(jié)果進(jìn)行評(píng)價(jià)的結(jié)果見(jiàn)表1。表1中數(shù)據(jù)表明，在使用相同融合規(guī)則的前提下，本研究算法融合結(jié)果的空間頻率略低于DWT+U-Net的融合算法，其他指標(biāo)如結(jié)構(gòu)相似性、互信息以及邊緣保持度均高于其他對(duì)照組算法。

3.5 討論

實(shí)驗(yàn)結(jié)果表明，直接融合與利用多尺度分解方法如DWT、UWT、NSCT等將熒光圖像與彩色圖像融合后結(jié)果整體呈綠色，包括背景等非腫瘤區(qū)域且腫瘤ROI區(qū)域顏色不突出，對(duì)比度不高；多尺度分解和大津閾值結(jié)合的算法融合結(jié)果整體顏色比較正常，但顯示的高亮區(qū)域明顯大于腫瘤熒光圖像中反映的ROI，因此閾值法對(duì)腫瘤區(qū)域的分割效果不佳，引入了周?chē)悄[瘤區(qū)域干擾，導(dǎo)致融合圖像中腫瘤區(qū)域比實(shí)際腫瘤區(qū)域輪廓大，影響研究人員對(duì)腫瘤位置的判斷。本研究提出的方法能夠保留和增強(qiáng)原始圖像信息并準(zhǔn)確分割腫瘤等目標(biāo)區(qū)域，提高其在融合圖像中的顯示效果和對(duì)比度。

圖4 腫瘤鼠彩色圖像與熒光圖像融合結(jié)果Fig.4 The fusion results of color image and fluorescent image of mouse

表1 各算法融合結(jié)果評(píng)價(jià)指標(biāo)比較Table 1 The results of SF, SSIM, MI and QABF of different methods

4 結(jié)論

本研究提出的算法首先對(duì)源圖像中彩色圖像和熒光圖像采用DTCWT分解。針對(duì)分解得到的低頻參數(shù)利用頻域U-Net進(jìn)行分割，從而獲取腫瘤分布。然后，采用不同規(guī)則對(duì)分割后的頻域系數(shù)進(jìn)行融合，最終通過(guò)DTCWT逆變換重構(gòu)融合圖像。實(shí)驗(yàn)結(jié)果表明，本研究方法分割得到的腫瘤ROI區(qū)域更準(zhǔn)確，可有效降低熒光圖像中噪聲及環(huán)境等干擾源影響，具有更高的視覺(jué)效果，同時(shí)多種客觀評(píng)價(jià)指標(biāo)的結(jié)果均高于傳統(tǒng)融合算法。因此本算法更適用于需要進(jìn)行熒光標(biāo)記的研究，在腫瘤檢測(cè)與定位、血流灌注、藥代動(dòng)力學(xué)監(jiān)測(cè)等方面具有較大的臨床應(yīng)用價(jià)值。