基于改進(jìn)U-Net網(wǎng)絡(luò)的內(nèi)窺鏡圖像煙霧凈化算法

林金朝 蔣媚秋 龐 宇 王慧倩

(重慶郵電大學(xué)光電工程學(xué)院，重慶 400065)

引言

目前我國多數(shù)醫(yī)院都配備了內(nèi)窺鏡[1]，輔助醫(yī)生進(jìn)行腹腔、胸腔、耳鼻喉等部位的微創(chuàng)手術(shù)，并發(fā)展出多種衍生功能[2-3]，其優(yōu)勢是醫(yī)生不再需要用手術(shù)刀將腹腔、胸腔切開，僅在手術(shù)目標(biāo)區(qū)域開3個小孔就可以進(jìn)行手術(shù)(一個小孔放置醫(yī)學(xué)影像裝置，一個小孔放置超聲波手術(shù)刀，一個小孔放置吸收手術(shù)廢棄物裝置)。根據(jù)人體的自恢復(fù)能力，小孔無需縫合，就可自行愈合，不僅縮短了康復(fù)的時間，而且減少了病人的創(chuàng)傷和痛苦。以腹腔鏡為例，在手術(shù)過程中，醫(yī)生通過超聲探頭和腹腔鏡頭來觀察患者腹腔狀況，由于這些器械通過小切口插入患者腹部，因此腹腔鏡獲取的視頻或圖像是手術(shù)期間的主要數(shù)據(jù)來源。在手術(shù)過程中，圖像質(zhì)量會因噪聲而降低。噪聲主要由血液、光照變化、鏡面反射、煙霧等造成，其中由激光或電烙燒蝕人體組織引起的煙霧會顯著降低遮擋區(qū)域圖像的質(zhì)量，影響醫(yī)生判斷，加長手術(shù)時間，增加手術(shù)風(fēng)險。因此，用物理方法排除煙霧(如腹腔鏡煙霧過濾系統(tǒng))和圖像處理算法來凈化煙霧是非常必要的。

煙霧凈化在許多領(lǐng)域中都有相關(guān)的應(yīng)用，如交通煙霧凈化、手術(shù)場景煙霧凈化、煙霧警報、電子攝影設(shè)備拍攝圖像的煙霧凈化等。在現(xiàn)有的煙霧凈化算法中，自然場景圖像煙霧凈化的研究較多，內(nèi)窺鏡煙霧凈化作為近年來的熱門研究領(lǐng)域，主要由基于傳統(tǒng)方法、基于深度學(xué)習(xí)兩大類方法構(gòu)成。

基于傳統(tǒng)方法主要有3個類別。第1類是暗道檢測(DCP)及其優(yōu)化與變形，此類方法的研究基礎(chǔ)為采用暗色通道除煙。He等[3]提出了暗通道去霧方法(DCP)，但是直接應(yīng)用原始DCP時產(chǎn)生了顏色失真，這是由于去噪的基本假設(shè)不適合煙霧凈化。為了克服顏色失真，Tchaka等[4]提出將經(jīng)驗(yàn)選擇的常數(shù)閾值化來優(yōu)化暗通道值，或者對接近0.5的值進(jìn)行更高的響應(yīng)，然后通過直方圖均衡化處理，增強(qiáng)去霧圖像的對比度；為了定量地評價圖像的性能，在序列開始處選取一個無煙幀作為背景真值，接著計算所選背景真值圖像與后續(xù)幀之間的均方誤差(MSE)，與原來的DCP方法相比，該方法獲得了更好的視覺質(zhì)量。第2類為使用貝葉斯推理[5]及其優(yōu)化方法[6]。Kotwal等[7]將去噪和去煙問題歸結(jié)為一個貝葉斯推理問題，用馬爾可夫隨機(jī)場(MRF)對未包含煙霧的圖像進(jìn)行建模，并用最大后驗(yàn)概率(MAP)來獲得增強(qiáng)版本。第3類為利用能見度驅(qū)動的融合及其優(yōu)化方法。Luo等[8]受文獻(xiàn)[9]的啟發(fā)，收集了機(jī)器人輔助腹腔鏡前列腺癌根治術(shù)中的內(nèi)窺鏡圖像，在重新推導(dǎo)大氣散射方程的基礎(chǔ)上，提出了一種基于泊松融合的煙霧凈化方法；該方法可以減少計算量，其評價指標(biāo)是通過主觀和客觀兩個方面來進(jìn)行的，并與先前提出的除霧方法進(jìn)行比較，結(jié)果顯示還原度指標(biāo)和銳度指標(biāo)較好。物理方法能實(shí)現(xiàn)煙霧凈化的目標(biāo)，但對于手術(shù)場景來說，單場圖像的處理時間較長，而基于神經(jīng)網(wǎng)絡(luò)的方法能夠較好地提升網(wǎng)絡(luò)的時間性能。

基于深度學(xué)習(xí)的方法主要分為2個類別。第1個類別仍然基于大氣擴(kuò)散模型，使用卷積神經(jīng)網(wǎng)絡(luò)對大氣擴(kuò)散模型公式中的透射率圖像t和全局大氣背景光A進(jìn)行求解。例如，Cai等[10]在自然場景中使用改進(jìn)的大氣擴(kuò)散模型，并修改公式使之能夠通過CNN求解；Yang等[11]在此基礎(chǔ)上改進(jìn)，建立了能量模型，并針對暗通道和傳輸先驗(yàn)設(shè)計了一個迭代優(yōu)化算法，利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)最近點(diǎn)算子，將迭代算法展開為一個深網(wǎng)絡(luò)，稱之為近端dehaze網(wǎng)絡(luò)，在單圖像去噪方面獲得了最先進(jìn)的性能；Salazarcolores等[12]將內(nèi)窺鏡圖像結(jié)合暗道檢測，通過對抗神經(jīng)網(wǎng)絡(luò)，分別求得透射率圖像和大氣背景光，接著進(jìn)行煙霧凈化。第2個類別采用端對端網(wǎng)絡(luò)，利用模型直接進(jìn)行煙霧凈化。Chen等[13]借鑒monodepth[14]結(jié)構(gòu)中的U-Net結(jié)構(gòu)，采取簡單的損失函數(shù)，最終圖像色彩有一定失真；Wang等[15]采用編碼解碼器，在編碼階段加金字塔分解作為輸入，采用端對端網(wǎng)絡(luò)進(jìn)行求解；Bolkar等[16]在自然圖像去霧AOD-Net模型的基礎(chǔ)上，采用遷移學(xué)習(xí)實(shí)現(xiàn)內(nèi)窺鏡圖像去霧。還有各種以對抗神經(jīng)網(wǎng)絡(luò)GAN為基礎(chǔ)的煙霧凈化方法[17-19]。例如，Salazar等[20]將暗道檢測結(jié)果與原圖組合成四維圖像并作為網(wǎng)絡(luò)輸入，采用GAN訓(xùn)練，效果優(yōu)于GAN和暗道檢測兩種方法各自凈化煙霧的結(jié)果。

醫(yī)學(xué)圖像邊界模糊、梯度復(fù)雜，需要高分辨率信息表示；同時人體內(nèi)部結(jié)構(gòu)相對固定，同一組織器官的煙霧凈化前景和背景之間有一定規(guī)律可循，需要低分辨率信息表示。因此，選擇能夠同時結(jié)合高、低分辨率信息的U-Net作為基礎(chǔ)框架，通過編碼器網(wǎng)絡(luò)，經(jīng)過多次下采樣后得到低分辨率信息，再經(jīng)過聚合(concatenate)操作，就能夠直接從編碼器將高分辨率信息傳遞到同高度解碼器上，故U-Net[21]廣泛應(yīng)用于醫(yī)學(xué)圖像處理；以monodepth中使用的U-Net結(jié)構(gòu)為主要框架，monodepth可實(shí)現(xiàn)雙目視覺無監(jiān)督深度估計，所提出的U-Net網(wǎng)絡(luò)以經(jīng)典的VGG模型為基礎(chǔ)，結(jié)構(gòu)簡潔、功能完整，被許多內(nèi)窺鏡圖像處理的文章廣泛引用[22]。

對于煙霧凈化算法，手術(shù)場景要求煙霧凈化后的圖像保留更多的細(xì)節(jié)特征。在U-Net網(wǎng)絡(luò)的上采樣和下采樣的過程中，難免會使圖像損失細(xì)節(jié)，圖像拉普拉斯金字塔分解[23]的目的是將源圖像分別映射到不同的空間頻帶上，融合過程是在各空間頻率層上分別進(jìn)行，這樣就可以針對不同分解層的特征與細(xì)節(jié)，采用不同的融合算子，從而保留特定頻帶上的特征與細(xì)節(jié)。對于輸入圖像，拉普拉斯變換與U-Net網(wǎng)絡(luò)的編碼部分可以采用同樣的下采樣比例，使經(jīng)過拉普拉斯變換的圖像能夠插入U-Net網(wǎng)絡(luò)一起進(jìn)行訓(xùn)練，經(jīng)過拉普拉斯變換的圖像要比U-Net結(jié)構(gòu)使網(wǎng)絡(luò)能夠保留更多的細(xì)節(jié)特征。

采用監(jiān)督學(xué)習(xí)完成煙霧凈化，需要關(guān)注霧氣所在的部分并進(jìn)行處理。在計算機(jī)視覺中，注意力機(jī)制的基本思想是讓系統(tǒng)學(xué)會忽略無關(guān)信息而關(guān)注重點(diǎn)，注意力機(jī)制通常由一個插在原神經(jīng)網(wǎng)絡(luò)外的模塊實(shí)現(xiàn)，整個模型仍然是端對端的。注意力模塊能夠和原模型一起同步訓(xùn)練，并且能夠幫助模型選擇更好的中間特征，選擇輕量級的CBAM注意力模塊[24]；能夠結(jié)合空間信息和通道信息，在更少占用空間和內(nèi)存的基礎(chǔ)上添加注意力功能。

1 方法

1.1 實(shí)驗(yàn)流程

通過改進(jìn)U-Net網(wǎng)絡(luò)來實(shí)現(xiàn)內(nèi)窺鏡煙霧凈化，具體步驟如圖1所示。由于內(nèi)窺鏡領(lǐng)域開源數(shù)據(jù)集少，首先，根據(jù)Blender模擬手術(shù)過程中煙霧出現(xiàn)的各種情況，隨機(jī)對腹腔鏡圖像加入煙霧；其次，對于網(wǎng)絡(luò)設(shè)計，在U-Net網(wǎng)絡(luò)基礎(chǔ)上改進(jìn)，在下采樣部分加入拉普拉斯圖像金字塔分解作為編碼器，在上采樣部分加入CBAM注意力機(jī)制作為解碼器；然后，將包含煙霧的合成圖像作為訓(xùn)練集，將原始圖像作為訓(xùn)練集標(biāo)簽，送入改進(jìn)的U-Net網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，通過反向傳播，使得網(wǎng)絡(luò)各層獲得相應(yīng)參數(shù)；最后，將測試集送入到模型中，預(yù)測得到凈化圖像。

圖1 整體流程Fig.1 Overall flow chart

1.1.1編碼器

編碼器可以通過卷積層提取內(nèi)窺鏡圖像的特征，在U-Net網(wǎng)絡(luò)編碼部分的每一層插入對應(yīng)尺寸的拉普拉斯變換圖像得到改進(jìn)的編碼器，如圖1左邊下采樣部分所示。編碼部分包含7個卷積組，由卷積conv1～7組成，每一組包含兩個步幅分別為1和2的卷積層，7個卷積組對應(yīng)的卷積核大小分別為7×7、5×5、3×3、3×3、3×3、3×3、3×3，輸出層數(shù)分別為32、64、128、256、512、512、512，因此總的下采樣因子為64。

圖像在下采樣過程中會丟失部分高頻細(xì)節(jié)，為了更好地保留圖像細(xì)節(jié)，Wang等[15]在上采樣部分引入拉普拉斯金字塔，采取最近鄰插值方法進(jìn)行上采樣，計算量很小，運(yùn)算速度較快，但僅使用離待測采樣點(diǎn)最近的像素灰度值作為該采樣點(diǎn)的灰度值，沒考慮其他相鄰像素點(diǎn)的影響，因而重新采樣后灰度值有明顯的不連續(xù)性，圖像質(zhì)量損失較大，可能產(chǎn)生馬賽克和鋸齒現(xiàn)象。筆者在該方法的基礎(chǔ)上進(jìn)行改進(jìn)，采取雙線性插值，考慮待測采樣點(diǎn)周圍4個直接鄰點(diǎn)的相關(guān)性影響，縮放后圖像質(zhì)量高，基本克服了最近鄰插值灰度值不連續(xù)的問題。

在編碼器中的每一個卷積層之前，添加經(jīng)過拉普拉斯變換后的煙霧圖像 (Laplacian pyramid),定義為

Li(I)=Gi(I)-up(down(Gi(I)))

(1)

式中：I表示包含煙霧的原始圖像，i表示金字塔的等級；Gi(I)表示對圖像做高斯下采樣，即圖2中上方彩色內(nèi)窺鏡圖片會隨著高斯下采樣次數(shù)增多而減小尺寸，但仍保留圖像的主要信息；L(i)為高斯采樣的圖像減去經(jīng)過上采樣的下一級高斯采樣圖像的差值，L(1)，…,L(7)構(gòu)成拉普拉斯金字塔。

圖2 拉普拉斯圖像金字塔分解Fig.2 Laplace image pyramid decomposition

如圖3中的拉普拉斯疊加層和拼接操作所示，將L(1)，…,L(7)拼接到對應(yīng)尺寸的卷積層參與訓(xùn)練。

圖3 編碼器解碼器網(wǎng)絡(luò)Fig.3 Encoder decoder network

1.1.2解碼器

解碼器將經(jīng)過下采樣的圖像恢復(fù)至原有尺寸，在U-Net網(wǎng)絡(luò)解碼部分的前5層插入CBAM注意力模塊，如3上采樣部分所示，解碼器也采用7組卷積，每一組包含步幅分別為1和2的兩個上采樣層，卷積核尺寸全為3×3，輸出層數(shù)分別為512、512、256、128、64、32、16。編碼器和解碼器之間有對應(yīng)連接，低層的特征與高層的特征相連接，將高層信息直接傳輸?shù)骄W(wǎng)絡(luò)底層，防止高質(zhì)量細(xì)節(jié)的丟失。

采用CBAM注意力模塊，由于CBAM量級較輕，因此該模塊的開銷較小，可以將其集成到CNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，使模型能夠更好地表示中間特征。將CBAM加入到解碼器的第1～5組，對于任意層的中間特征圖，CBAM模塊會沿著兩個獨(dú)立的維度(通道和空間)依次得出注意力圖，然后將注意力圖與輸入特征圖相乘進(jìn)行自適應(yīng)特征優(yōu)化。其具體過程如下：對于任意中間層的特征矩陣F∈RCHW，CBAM將會順序推理出一維的通道特征圖Mc∈RC11(見圖4的藍(lán)色部分)，以及二維的空間特征圖Mc∈R1HW(如圖4的橙色部分)，其過程推導(dǎo)如下：

圖4 CBAM注意力模塊Fig.4 CBAM attention module

F′=Mc(F)?F

(2)

F″=Ms(F′)?F′

(3)

特征圖的每個通道都被視為一個特征檢測器，通道注意力主要關(guān)注輸入圖片的內(nèi)容。為了高效地計算通道注意力，使用最大池化和平均池化，對特征圖在空間維度上進(jìn)行壓縮，得到兩個不同的空間背景描述Fmax，c和Favg，c。使用由MLP組成的共享網(wǎng)絡(luò)對這兩個不同的空間背景描述進(jìn)行計算，得到通道特征圖Mc∈RC11。計算過程如下：

(4)

Mc(F)=σ(W1(W0(Favg，c))+W1(W0(Fmax，c)))

(5)

式中，W0∈RC/rC，W1∈RCC/r，在W0后使用Relu作為激活函數(shù)。

與通道注意力不同，空間注意力主要關(guān)注位置信息，在通道的維度上使用最大池化和平均池化，得到兩個不同的特征描述Fmax，s∈R1HW和Favg，s∈R1HW，然后使用聚合操作將兩個特征描述合并，并使用卷積操作生成空間特征圖Ms(F)∈RHW，計算過程如下：

Ms=σ(f77([AvgPool(F);MaxPool(F)]))

(6)

Ms(F)=σ(f77([Favg，s;Fmax，s]))

(7)

改進(jìn)U-Net網(wǎng)絡(luò)的損失函數(shù)為原始圖像和合成煙霧圖像的最小絕對值偏差損失L，有

(8)

1.2 實(shí)驗(yàn)設(shè)計

1.2.1實(shí)驗(yàn)數(shù)據(jù)集

采用腹腔鏡圖像作為內(nèi)窺鏡圖像，采取由漢姆林中心腹腔鏡/內(nèi)窺鏡視頻數(shù)據(jù)集(http://hamlyn.doc.ic.ac.uk/vision/)提供的真實(shí)腹腔鏡圖像，數(shù)據(jù)集總共包含32 400對雙目內(nèi)窺鏡圖像，圖片的尺寸為384×192。

為訓(xùn)練神經(jīng)網(wǎng)絡(luò)提供數(shù)據(jù)集是一項(xiàng)非常昂貴且耗時的工作，尤其是在醫(yī)學(xué)數(shù)據(jù)集資源稀缺且準(zhǔn)確性和數(shù)量難以滿足醫(yī)療實(shí)踐標(biāo)準(zhǔn)的情況下。由于需要圖像(有或無煙霧)和煙霧密度模擬，煙霧探測和清除任務(wù)更加困難。為了解決這個問題，使用三維圖形渲染引擎Blender(https://www.blender.org/)，將煙霧渲染到腹腔鏡圖像上來生成煙霧圖像。使用渲染引擎比基于物理的煙霧更加準(zhǔn)確，因?yàn)樵诟骨荤R場景中手術(shù)煙霧通常是局部產(chǎn)生的，并且與深度無關(guān)，所以沒有必要使用傳統(tǒng)的霧度模型來渲染手術(shù)煙霧，而且現(xiàn)代圖形渲染引擎由于擁有良好的內(nèi)置模型，因此可以生成更真實(shí)的煙霧形狀和密度變化。

煙霧由渲染引擎渲染，并且具有局部顏色和透明度，位置由輸入?yún)?shù)隨機(jī)強(qiáng)度Trand、密度Drand和位置position控制，有

Ismoke(x,y)=Blender(Trand,Drand,Prand)

(9)

隨機(jī)產(chǎn)生的煙霧圖像Is-image由煙霧和腹腔鏡圖像Is-free疊加合成包含煙霧的圖像Ismoke，可表示為

Is-image(x,y)=Is-free(x,y)+Ismoke(x,y)

(10)

煙霧遮罩Ismoke是根據(jù)渲染煙霧的R、G、B通道的亮度而得到的，有

(11)

將選定的訓(xùn)練集和測試集經(jīng)過一次渲染得到輕霧數(shù)據(jù)集，將輕霧訓(xùn)練集再渲染一次得到濃霧數(shù)據(jù)集，將兩種霧氣濃度的圖像分別進(jìn)行訓(xùn)練。

1.2.2實(shí)驗(yàn)條件

實(shí)驗(yàn)條件為64位Windows 7操作系統(tǒng)、Intel(R) Core(TM) i5-4590 CPU、16.0 GB RAM，使用單個NVIDIA 12 GB 1080Ti GPU，安裝CUDA9.0(由NVIDIA推出的通用并行計算架構(gòu))，并使用cuDNN7.0(用于深度神經(jīng)網(wǎng)絡(luò)的GPU加速庫)進(jìn)行加速，在此基礎(chǔ)上使用Tensorflow1.10.0框架，實(shí)現(xiàn)U-Net模型的搭建。

1.2.3實(shí)驗(yàn)設(shè)置

在左目圖像中手動選擇15 000張不含有霧氣的圖片作為訓(xùn)練集，數(shù)據(jù)集劃分如圖5所示。訓(xùn)練集共分為5組，每次將4份圖像作為訓(xùn)練集，1份作為驗(yàn)證集。在分別訓(xùn)練和驗(yàn)證之后，使用測試集進(jìn)行測試，并將上述過程重復(fù)5次，最后把平均5次的結(jié)果作為誤差評估的結(jié)果。將1 000張圖片作為測試集，選擇原有數(shù)據(jù)集中包含真實(shí)煙霧的129張圖像，驗(yàn)證模型的有效性。每張圖像進(jìn)行加霧渲染后作為訓(xùn)練集，渲染圖像分為輕霧和濃霧兩個等級。在訓(xùn)練過程中，首先將所有圖像調(diào)整為256像素×128像素的固定尺寸，然后將其輸入到模型中，采用均方誤差損失函數(shù)，使用Adam作為優(yōu)化，batch設(shè)置為16，初始學(xué)習(xí)率設(shè)置為0.0001。實(shí)驗(yàn)采取控制變量法，針對兩種等級的霧氣分別進(jìn)行4組實(shí)驗(yàn)：僅包含U-Net網(wǎng)絡(luò)、U-Net網(wǎng)絡(luò)加上CBAM注意力機(jī)制、U-Net網(wǎng)絡(luò)加上拉普拉斯變換、U-Net網(wǎng)絡(luò)加上CBAM注意力機(jī)制和拉普拉斯變換。

圖5 交叉驗(yàn)證數(shù)據(jù)集劃分Fig.5 Cross validation data set partition

2 結(jié)果

各組平均訓(xùn)練時間為4.5 h，根據(jù)不同等級煙霧和不同模型進(jìn)行組合。對于輕霧圖像訓(xùn)練集，平均損失降低至0.02～0.03后不再降低，并且沒有發(fā)生過擬合，在驗(yàn)證集上平均損失降至0.3左右后不再降低；對于濃霧圖像訓(xùn)練集，平均損失降低至0.03～0.04后不再降低，并且沒有發(fā)生過擬合，在驗(yàn)證集上平均損失降至0.4左右后不再降低。

2.1 模型性能分析

在U-Net編碼部分的每層網(wǎng)絡(luò)加入經(jīng)過拉普拉斯金字塔變換的訓(xùn)練圖像，在解碼部分加入CBMA注意力機(jī)制。為驗(yàn)證模型的有效性，在控制數(shù)據(jù)集圖片一致、輕霧、實(shí)驗(yàn)其余參數(shù)設(shè)置一樣的情況下做4組對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果在5次的基礎(chǔ)上取平均值，其結(jié)果如表1所示。在同時引入拉普拉斯金字塔變換和CBAM注意力機(jī)制的情況下模型的訓(xùn)練損失為0.026，單獨(dú)添加CBAM模塊的訓(xùn)練損失為0.023，單獨(dú)添加拉普拉斯變換的訓(xùn)練損失為0.038，說明CBAM模塊能夠較好地優(yōu)化模型。在處理時間上，CBAM模塊取得的好效果為106.4 pfs，同時PSNR取得的最佳值為31.435。在SSIM指標(biāo)上，加入拉普拉斯金字塔實(shí)驗(yàn)獲得的最優(yōu)效果為0.98。從實(shí)驗(yàn)結(jié)果可以看出，加入CBAM注意力機(jī)制模塊能有效提升該模型的各項(xiàng)指標(biāo)，而拉普拉斯金字塔變換可以更好地保留圖像細(xì)節(jié)。實(shí)驗(yàn)在真實(shí)圖像上的測試結(jié)果如圖6所示：從(a)與(c)中可以看出，手術(shù)中的真實(shí)煙霧遮擋醫(yī)生視線，模糊手術(shù)場景中的真實(shí)視野；從(b)與(d)中可以看出，經(jīng)過凈化后，由該模型處理的圖像能夠凈化圖中的煙霧，使得模糊圖像更加清晰。合成數(shù)據(jù)集的測試結(jié)果如圖7所示：(a)為合成煙霧圖像，其特點(diǎn)是煙霧較濃、遮擋組織原本的結(jié)構(gòu)；(b)為使用原始U-Net的結(jié)果，經(jīng)過凈化的圖像仍然殘留部分煙霧，效果不夠理想；(c)為加入拉普拉斯變化，煙霧能夠完全被凈化，但原圖色彩艷麗部分的亮度與飽和度降低；從(d)和(e)中可以看出，在加入拉普拉斯變換后，既能有效凈化煙霧，圖像色彩也保留較好。

圖6 真實(shí)煙霧腹腔鏡圖像及凈化后的圖像(每個子圖中，左為真實(shí)手術(shù)視頻里隨機(jī)截取的煙霧圖像，右為CBAM+拉普拉斯圖像金字塔融合+U-Net模型對其的凈化結(jié)果)。(a)圖像1；(b)圖像2；(c)圖像3；(d)圖像4；(e)圖像5；(f)圖像6Fig.6 The real smoked laparoscopic image and the purified image(In each sub-image, the left image represents the randomly selected smoked image from the real surgical video, and the right image represents the purification result of CBAM+Laplace image pyramid fusion+U-Net model of the left image. (a)Image 1; (b)Image 2; (c)Image 3; (d)Image 4; (e)Image 5; (f)Images 6.

圖7 合成煙霧腹腔鏡圖像及凈化后的圖像(每個子圖中，第1張圖像為從合成煙霧數(shù)據(jù)集里隨機(jī)選擇的煙霧圖像，第2張圖像表示基礎(chǔ)U-Net模型對其的凈化結(jié)果，第3張圖像表示CBAM+U-Net模型對其的凈化結(jié)果，第4張圖像表示拉普拉斯圖像金字塔融合+U-Net模型對其的凈化結(jié)果，第5張圖像表示CBAM+拉普拉斯圖像金字塔融合+U-Net模型對其的凈化結(jié)果)。 (a)圖像1；(b)圖像2；(c)圖像3；(d)圖像4；(e)圖像5Fig.7 The synthesize dense smoked laparoscopic image and the purified image(In each sub-image, the first image is a randomly selected smoked image from the synthetic smoke dataset, the second image represents the purification result of the first image by the basic U-Net model, the third image represents the purification result of the first image by the CBAM+U-Net model, the fourth image represents the purification result of the first image by the Laplace image pyramid fusion+U-Net model, the fifth image represents the purification result of the first image by the CBAM+Laplace image pyramid fusion+U-Net model). (a) Image 1; (b) Image 2; (c) Image 3; (d) Image 4; (e) Images 5

表1 交叉驗(yàn)證模型性能驗(yàn)證Tab.1 Model performance verification

2.2 模型對比分析

為驗(yàn)證本模型的有效性，與近期6種取得較好結(jié)果的方法對比，定量比較的結(jié)果如表2、圖8、圖9所示。表2為與其他6種方法的每秒運(yùn)行畫面數(shù)(fps)指標(biāo)的對比，圖8為與其他6種方法的PSNR指標(biāo)的對比，圖9為與其他6種方法的SSIM指標(biāo)的對比。Bolkar等[16]對大氣擴(kuò)散模型進(jìn)行推導(dǎo)，并用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，是煙霧凈化領(lǐng)域較早的經(jīng)典方法，故與近期方法相比各項(xiàng)指標(biāo)較低；Chen等[13]采用合成數(shù)據(jù)集，使用U-Net構(gòu)架來實(shí)現(xiàn)煙霧凈化，在對比的幾種方法中時間性能較好，但真實(shí)煙霧圖像的凈化效果較差；Shin等[25]等采用輻射反射率優(yōu)化方案，單張圖片處理速度最慢；Wang等[15]采用U-Net構(gòu)架并在下采樣部分進(jìn)行改進(jìn)，相比前3種方法， PSNR指標(biāo)有較大提升；Isola等[26]使用對抗神經(jīng)網(wǎng)絡(luò)的方法，在時間性能上取得了最優(yōu)效果；Salazar等[20]使用對抗神經(jīng)網(wǎng)絡(luò)的方法，并將經(jīng)過暗道檢測的圖像作為輸入，在各項(xiàng)指標(biāo)上都獲得了較好的性能。本研究在PSNR和SSIM兩項(xiàng)指標(biāo)上取得了幾種方法中的最好效果，在時間性能方面，與同樣平臺、同樣框架的其他結(jié)果[13，20]處于相當(dāng)水平，時間指標(biāo)能夠?qū)崿F(xiàn)顯示器穩(wěn)定播放不抖動，因此可以應(yīng)用在實(shí)時系統(tǒng)中。

表2 運(yùn)行時間對比Tab.2 Processing time comparison in frames per second(fps)

圖8 峰值性噪比PSNR對比Fig.8 Comparison of peak signal to noise ratio method

圖9 結(jié)構(gòu)相似性SSIM對比Fig.9 Comparison of structural similarity methods

3 討論

在內(nèi)窺鏡手術(shù)過程中，由于手術(shù)需要注入的氣體或者手術(shù)燒灼產(chǎn)生的氣體嚴(yán)重遮擋醫(yī)生的視線，會減慢手術(shù)進(jìn)度，影響其他各項(xiàng)計算機(jī)輔助算法(如三維重建、疾病定位、疾病識別、手術(shù)導(dǎo)航系統(tǒng))的應(yīng)用。借助計算機(jī)輔助算法，可以有效解決此問題，因此提出基于改進(jìn)U-Net網(wǎng)絡(luò)的內(nèi)窺鏡圖像煙霧凈化算法。在U-Net網(wǎng)絡(luò)編碼器部分，加入經(jīng)過拉普拉斯金字塔變換的訓(xùn)練圖像，用于保留更多的圖像細(xì)節(jié)；在U-Net網(wǎng)絡(luò)解碼器部分，加入CBAM注意力機(jī)制模塊以提升網(wǎng)絡(luò)性能，取得較好的效果。

深度學(xué)習(xí)對于訓(xùn)練集有較高要求，但在醫(yī)學(xué)圖像方面數(shù)據(jù)集相當(dāng)匱乏。漢姆林中心腹腔鏡/內(nèi)窺鏡視頻數(shù)據(jù)集、TMI計算機(jī)輔助手術(shù)數(shù)據(jù)集(https://opencas.webarchiv.kit.edu/?q=tmidataset)提供了一些內(nèi)窺鏡圖像數(shù)據(jù)集，但是含有真實(shí)標(biāo)簽的煙霧數(shù)據(jù)集太少。為解決此問題，許多研究者采用合成圖像進(jìn)行訓(xùn)練，并取得了較好效果[13,15,17,20]。因此采用由Blender渲染霧氣的內(nèi)窺鏡圖像作為訓(xùn)練集，在改進(jìn)的U-Net網(wǎng)絡(luò)上進(jìn)行訓(xùn)練(見表2和圖7～9)，最終在合成數(shù)據(jù)集上獲得了較好的定量和定性結(jié)果(見圖6)，在真實(shí)包含煙霧的內(nèi)窺鏡圖像上具有較好的定性結(jié)果。

內(nèi)窺鏡圖像是醫(yī)學(xué)圖像的代表，具有角點(diǎn)紋理信息弱的特點(diǎn)。U-Net網(wǎng)絡(luò)結(jié)構(gòu)在醫(yī)學(xué)圖像處理領(lǐng)域應(yīng)用廣泛，尤其是在以深度學(xué)習(xí)為基礎(chǔ)的煙霧凈化領(lǐng)域。U-Net結(jié)構(gòu)[13，15]及以U-Net結(jié)構(gòu)為基礎(chǔ)的對抗神經(jīng)網(wǎng)絡(luò)[17-20]的研究層出不窮，說明該結(jié)構(gòu)能夠較好地處理醫(yī)學(xué)圖像。在采用原始U-Net時，其結(jié)果如圖7(b)所示。在測試濃霧數(shù)據(jù)集時，經(jīng)模型處理后的圖像仍然有煙霧殘留，與正常內(nèi)窺鏡圖像對比顏色產(chǎn)生了失真，其性能不足以應(yīng)用在醫(yī)用場景中。為了提升網(wǎng)絡(luò)性能，提出了改進(jìn)措施。在參考文獻(xiàn)[15]的基礎(chǔ)上，在編碼部分的每層網(wǎng)絡(luò)中加入經(jīng)過拉普拉斯金字塔變換的訓(xùn)練圖像，將圖像的細(xì)節(jié)及重要信息傳遞到每一層，降低了下采樣過程中的細(xì)節(jié)信息損失。從定性驗(yàn)證的結(jié)果可以看出，加入拉普拉斯金字塔的模型能夠更好地保存圖像的色彩信息；在解碼部分加入CBAM注意力機(jī)制，讓網(wǎng)絡(luò)明白每一層具體保存的圖像信息，更好地獲得網(wǎng)絡(luò)的中間特征，并且提升網(wǎng)絡(luò)的各項(xiàng)指標(biāo)。如表1所示，在加入兩種方案后，最終模型的損失值都有下降，并且單張圖像處理的時間有所下降，PSNR和SSIM的值有所上升。在加入拉普拉斯金字塔變換后，單張圖像的處理時間基本沒有變化，為74.074 pfs；在同時加入兩種方法后，單張圖像的處理時間為90.19 pfs。在僅加入CBAM注意力機(jī)制后，單張圖像的處理時間為106.4 pfs，說明該機(jī)制加入后模型的各項(xiàng)性能都有大幅度提升。CBAM注意力機(jī)制在空間注意力模塊中注重位置信息，在通道注意力模塊中注重內(nèi)容信息，共同作用而真正提取出了有效特征，并提升了模型性能。在加入經(jīng)過拉普拉斯金字塔變換的圖像后，在定量指標(biāo)上SSIM獲得了較好的提升。由圖7(d)、(e)兩行可以看出，使用了拉普拉斯金字塔變換處理的圖像，能夠較好地保留原圖像的色彩亮度。

雖然在煙霧凈化后SSIM和PSNR指標(biāo)都獲得了較好的提升，但是仍然有許多尚未考慮到的因素，算法仍存在值得改進(jìn)的地方。其一，煙霧凈化過程中的圖像沒有考慮其他外界情況(如水霧)，或者是醫(yī)生在燒灼過程中加入純白紗布吸出血液，純白紗布和煙霧具有相似性，所以模型在訓(xùn)練和測試時可以考慮水霧、遮擋、紗布等外界因素影響。其二，在分別訓(xùn)練輕霧和濃霧兩個類型的圖像時，煙霧越濃厚，煙霧凈化的效果越差，圖像失真也越嚴(yán)重，尤其是色彩的失真；為更好地模擬煙霧從出現(xiàn)到消失的整個過程，增加合成煙霧的等級或者增加濃煙圖像在訓(xùn)練集中的比例是一種改進(jìn)方式，也可專門設(shè)計針對濃霧的網(wǎng)絡(luò)結(jié)構(gòu)。其三，實(shí)時性對于醫(yī)用內(nèi)窺鏡系統(tǒng)來說也至關(guān)重要，在加入CBAM模塊的實(shí)驗(yàn)中提升了模型的時間性能，說明優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)可提升時間性能。后續(xù)研究可采取其他的注意力機(jī)制、優(yōu)化的網(wǎng)絡(luò)模型和壓縮剪枝[27]等方法，以提升網(wǎng)絡(luò)的時間性能。

4 結(jié)論

用改進(jìn)的U-Net網(wǎng)絡(luò)實(shí)現(xiàn)了內(nèi)窺鏡煙霧圖像凈化算法。為了保留更多圖像細(xì)節(jié)，在U-Net網(wǎng)絡(luò)編碼器部分加入經(jīng)過拉普拉斯金字塔變換的訓(xùn)練圖像；為了提升網(wǎng)絡(luò)性能，在U-Net網(wǎng)絡(luò)解碼器部分加入CBAM注意力機(jī)制模塊。為解決煙霧圖像稀缺的問題，采用Blender對腹腔鏡圖像進(jìn)行渲染，得到輕霧、濃霧兩種煙霧水平等級的圖像，并將合成圖像送入改進(jìn)的U-Net網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在輕霧和濃霧數(shù)據(jù)集上的綜合測試結(jié)果如下：結(jié)構(gòu)相似性指標(biāo)SSIM為0.98，峰值性噪比PSNR為31.05，與其余6種方法相比均有提升，運(yùn)行平均速度為90.91 fps，可實(shí)時運(yùn)行。研究表明，本方法為內(nèi)窺鏡實(shí)時煙霧凈化提供了可靠手段。