基于模塊化神經(jīng)網(wǎng)絡(luò)的低劑量CT圖像去噪

趙桂宸，陳 平

(中北大學(xué) 信息與通信工程學(xué)院 信息探測與處理山西省重點實驗室，山西 太原 201800)

0 引 言

計算機斷層掃描技術(shù)(CT)被廣泛應(yīng)用于醫(yī)療、 生物學(xué)、 機場安防等領(lǐng)域，但過高的輻射劑量可能會給人體造成傷害[1]. 而低劑量CT的應(yīng)用就大大減少了患者在照射時接受的輻射劑量，但是低劑量CT的成像質(zhì)量與常規(guī)劑量CT相比有明顯的下降，導(dǎo)致在診療過程中出現(xiàn)誤診漏診的概率增加，為此就需要利用現(xiàn)代技術(shù)來改善低劑量CT的圖像質(zhì)量.

為了解決低劑量CT圖像去噪的問題，近年來，研究者們提出了各種低劑量CT圖像的去噪算法. 現(xiàn)有的方法主要是分為投影域去噪[2]、 迭代重建[3，4]和圖像后處理[5，6]，由于投影域去噪需要的投影數(shù)據(jù)作為CT掃描的中間結(jié)果，一般的用戶難以直接獲取，并且不同廠商還會有不同格式的投影數(shù)據(jù)，所以，圖像后處理的方法就成為了當下的研究熱點，本文就是在圖像域中進行圖像去噪.

圖像域中低劑量CT去噪是一種特殊應(yīng)用場景下的圖像處理算法，所以學(xué)者們在對低劑量CT圖像噪聲的特殊性進行分析的基礎(chǔ)上，結(jié)合圖像處理算法的通用性，通過優(yōu)化算法，形成了很多具有良好去噪效果的后處理算法. 傳統(tǒng)上在圖像域去噪一般有小波變換[7]、 TV算法[8]、 字典學(xué)習(xí)[9]、 深度學(xué)習(xí)[10，11]等方法. 文獻[12]通過對常規(guī)劑量CT圖像進行訓(xùn)練得到學(xué)習(xí)字典，然后使用學(xué)習(xí)到的字典對低劑量CT圖像進行去噪； 文獻[13]提出了一種基于雙字典和偽影字典關(guān)系的低劑量CT去噪算法，得到了很好的效果.

近些年來，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，在圖像處理中深度學(xué)習(xí)的技術(shù)應(yīng)用也越發(fā)的廣泛、 深入[14]. 卷積神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最為廣泛的深度學(xué)習(xí)模型. 卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是神經(jīng)元，通過數(shù)量眾多的神經(jīng)元進行卷積操作可以有效地學(xué)習(xí)特征尤其是細節(jié)特征，并建立從含噪聲圖像到清晰圖像的映射. 正因如此，相較于傳統(tǒng)的圖像域去噪方法，深度學(xué)習(xí)的方法具有顯著的優(yōu)勢. 文獻[15]提出了一種具有殘差編解碼器結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)RED-CNN，應(yīng)用較為成熟的深度學(xué)習(xí)技術(shù)，提高了低劑量CT圖像的去噪水平； 文獻[16]提出了一種模塊化網(wǎng)絡(luò)的去噪方法，利用生成對抗網(wǎng)絡(luò)擴充數(shù)據(jù)集，經(jīng)實驗驗證，網(wǎng)絡(luò)顯著改善了低劑量CT圖像的質(zhì)量.

上述方法在低劑量CT圖像去噪上都取得了較好的結(jié)果，但是這些方法存在著對于對應(yīng)圖像過于依賴的問題，在配對圖像不足時效果會有衰減. 而在實際情況中，對同一患者進行CT診療的時候往往只能在低劑量CT和常規(guī)劑量CT之間選擇一個，這就導(dǎo)致了很難獲得大量的兩兩對應(yīng)的圖像. CT圖像噪聲的分布是相對復(fù)雜的，并且除了噪點外還有可能伴隨著偽影，而上述方法中的卷積均為線性卷積的形式，因此線性卷積在處理過程中必須要增加網(wǎng)絡(luò)深度，這就帶來了網(wǎng)絡(luò)訓(xùn)練中梯度爆炸等問題. 文獻[17]提出了新的二次神經(jīng)元模型，并應(yīng)用于低劑量CT去噪，與一次卷積相比提供了更好的擬合能力，取得了一定的效果. 因此，本文從弱監(jiān)督的角度出發(fā)，提出了一種適應(yīng)于數(shù)據(jù)不足情況下的低劑量CT去噪方法. 該方法應(yīng)用模塊化子網(wǎng)絡(luò)，并且引入了二次神經(jīng)元，利用跨層連接，實現(xiàn)了對低劑量CT圖像噪聲的降低. 經(jīng)過實驗對比，取得了比現(xiàn)有結(jié)果更好的效果.

1 基本原理

1.1 模塊化網(wǎng)絡(luò)

深度學(xué)習(xí)的方法在LDCT圖像去噪方面取得了良好的效果，目前大多數(shù)端到端的深度學(xué)習(xí)方法是通過定義一個最小化的損失函數(shù)來實現(xiàn)LDCT圖像去噪的，這其中既有直接學(xué)習(xí)LDCT圖像到NDCT圖像的映射，也有通過學(xué)習(xí)LDCT與NDCT之間的殘差來實現(xiàn)圖像去噪. 傳統(tǒng)上的去噪網(wǎng)絡(luò)一般是用一個較大型的網(wǎng)絡(luò)來實現(xiàn)去噪的，這就對網(wǎng)絡(luò)的設(shè)計提出了較高的要求. Shan等[16]將模塊化網(wǎng)絡(luò)首先應(yīng)用于低劑量CT圖像去噪領(lǐng)域. 模塊化網(wǎng)絡(luò)利用多個具有相同結(jié)構(gòu)的子網(wǎng)絡(luò)串聯(lián)，來實現(xiàn)對低劑量CT圖像的去噪. 由于每一級的子網(wǎng)絡(luò)都可以看做是傳統(tǒng)網(wǎng)絡(luò)中的一層，運用傳統(tǒng)網(wǎng)絡(luò)中跨層連接的思想，在子網(wǎng)絡(luò)間也應(yīng)用跨層連接，使得網(wǎng)絡(luò)可以在學(xué)習(xí)深層細節(jié)特征的同時不過多地損失淺層信息，從而達到良好的去噪效果. 這使得每一級的子網(wǎng)絡(luò)都可以在一定程度上提高圖像質(zhì)量. 單一的大型網(wǎng)絡(luò)在以往的研究中也取得了良好的效果，但是在參數(shù)優(yōu)化等方面存在著效率不高、 優(yōu)化困難等問題. 而多個小網(wǎng)絡(luò)串聯(lián)的形式可以在一定程度上解決這一問題，為網(wǎng)絡(luò)設(shè)計提供更多的變化和思路. 每一級的子網(wǎng)絡(luò)采用了傳統(tǒng)的編碼、 解碼的結(jié)構(gòu)，運用了線性神經(jīng)元. 如圖1 所示，每一個方塊都是一個子網(wǎng)絡(luò)，運用跨層連接的形式將子網(wǎng)絡(luò)串聯(lián)起來，使得每一級子網(wǎng)絡(luò)都擁有一定的去噪能力，并且在這個過程當中，圖像的質(zhì)量是一個不斷提高的過程.

圖1 模塊化網(wǎng)絡(luò)結(jié)構(gòu)

1.2 二次神經(jīng)元

神經(jīng)元作為神經(jīng)網(wǎng)絡(luò)的重要組成部分，當前的神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元結(jié)構(gòu)大多為一次型. 神經(jīng)元的數(shù)學(xué)模型是向量輸入到一個線性函數(shù)中產(chǎn)生輸出

(1)

式中：xi為第i個輸入向量；ωi為第i個輸入向量對應(yīng)的權(quán)重；f(x)通過激活函數(shù)，構(gòu)成了一個完整的神經(jīng)元. 由式(1)易知，單個傳統(tǒng)神經(jīng)元可以分離成兩組線性可分的輸入. 相比之下，在面對線性不可分的輸入組時，單個傳統(tǒng)神經(jīng)元容易出現(xiàn)分類錯誤. 例如，單個傳統(tǒng)的神經(jīng)元對于模擬異或門的功能就顯得比較困難. 雖然在實際應(yīng)用中可以通過增加網(wǎng)絡(luò)深度來改善這一問題，但是這同樣也帶來了運算量的大幅度增加和收斂困難的問題.

受到文獻[18]的啟發(fā)，本文引入了一種新型的二次神經(jīng)元，其結(jié)構(gòu)如圖2 所示.

圖2 二次神經(jīng)元結(jié)構(gòu)示意圖Fig.2 Schematic diagram of secondary neuron structure

在二次神經(jīng)元中，輸入向量在輸入之后被轉(zhuǎn)化為2個內(nèi)積和1個范數(shù)項進行求和，之后再通過一個非線性激活函數(shù)，整個過程構(gòu)成了一個完整的二次神經(jīng)元. 輸出函數(shù)表示為

(2)

式中：xi為第i個輸入向量；ωiα，ωiβ為第i個輸入向量對應(yīng)的兩個不同權(quán)重；ωiγ為范數(shù)項的權(quán)重.

本文選取的激活函數(shù)為線性整流函數(shù). 由于二次神經(jīng)元是非線性地加入到傳統(tǒng)神經(jīng)元中，所以二次神經(jīng)元在表示能力上比現(xiàn)有的傳統(tǒng)線性神經(jīng)元具有顯著的優(yōu)勢.

1.3 改進后的網(wǎng)絡(luò)

在沒有填充的情況下，卷積操作會引起圖像大小的變化，因此本文選擇填充為零的卷積模式. 二次卷積可以提取細節(jié)特征，但也會丟失全局信息. 因此，本文增加了跨層連接，有效地保留全局信息. 從卷積核的大小來看，較大的卷積核可以改善卷積的接受域，但會增加一定的計算量. 由于采用的是模塊化網(wǎng)絡(luò)，所以在子網(wǎng)之間增加了跨層連接. 因此，選擇3×3的卷積核. 反卷積運算可以看作是卷積運算的逆運算，可以對圖像進行上采樣. 由于二次卷積具有收斂速度快的特點，本文在子網(wǎng)中只使用了3層卷積層和3層反卷積層. 訓(xùn)練基于二次卷積的模塊化網(wǎng)絡(luò)的總體思路與傳統(tǒng)的網(wǎng)絡(luò)是完全一致的. 換句話說，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)是可以用于二次神經(jīng)網(wǎng)絡(luò)的. 如式(3)所示，二次卷積的損失函數(shù)是基于鏈式求導(dǎo)規(guī)則來優(yōu)化參數(shù)進而最小化其損失函數(shù)的. 改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.

圖3 改進后的網(wǎng)絡(luò)Fig.3 The improved network

(3)

2 分析與討論

為了驗證網(wǎng)絡(luò)的效果，本文使用配置為Intel Core i7-9770H處理器、 windows10操作系統(tǒng)，利用NVIDIA GeForce RTX 2080的GPU進行計算加速，利用基于tensorflow架構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)及python程序進行測試.

2.1 數(shù)據(jù)集

數(shù)據(jù)集1來自于2016年梅奧醫(yī)學(xué)中心進行的低劑量CT大挑戰(zhàn)，本文選取了其中4位患者的不同部位圖像作為訓(xùn)練集，其中剔除掉大部分的常規(guī)劑量CT圖像，以保證數(shù)據(jù)集當中的數(shù)據(jù)不能一一對應(yīng). 之后選擇其他4位患者的低劑量CT圖像作為測試集進行測試.

數(shù)據(jù)集2是Mayo中心在TCIA中開源的數(shù)據(jù)集. 數(shù)據(jù)集中分為3個不同的系列，本文所采用的是N系列的圖像，選取了其中500張低劑量CT圖像和不與低劑量CT圖像對應(yīng)的50張常規(guī)劑量CT圖像作為訓(xùn)練集，之后選擇不同患者的低劑量CT圖像用做測試.

2.2 訓(xùn)練網(wǎng)絡(luò)

每個數(shù)據(jù)集訓(xùn)練一個模型. 將數(shù)據(jù)集選出的圖像制作成h5文件，相較于單張圖像輸入網(wǎng)絡(luò)，可以縮短讀取圖像的時間. 每個圖像尺寸為 512像素×512像素. 網(wǎng)絡(luò)應(yīng)用WGAN[19]隊數(shù)據(jù)進行擴充，訓(xùn)練時將圖像全部輸入網(wǎng)絡(luò). 網(wǎng)絡(luò)的損失函數(shù)共有3個，分別是對抗性損失、 均方誤差和邊緣非相干性測量. 其中，對抗性損失是用來優(yōu)化生成對抗網(wǎng)絡(luò)的生成成分的，使生成器生成由鑒別器判斷的與NDCT圖像難以區(qū)分的樣本圖像. 這里對抗性損失是在帶有梯度懲罰的Wasserstein生成對抗網(wǎng)絡(luò)框架內(nèi)定義的[20]，形式如式(4)

LWGAN=-E{D[sN(YLD)]}，

(4)

式中： 網(wǎng)絡(luò)D表示鑒別器，用來區(qū)分真實數(shù)據(jù)與生成器生成的數(shù)據(jù)；sN表示第N個子網(wǎng)絡(luò)；YLD表示低劑量CT圖像. 均方誤差是為了測量輸出圖像和NDCT圖像的差異而采用的，降低了輸入圖像的噪聲，形式上的定義為

(5)

式中：YND表示常規(guī)劑量CT圖像. 邊緣不相干檢測是為了測量真實圖像與估計圖像間的濾波差值而采用的，形式如式(6)

(6)

式中：SF代表著圖像中各點梯度向量對應(yīng)的Sobel濾波，是利用一個小的濾波器對圖像進行卷積. 網(wǎng)絡(luò)最終的目標函數(shù)為3個函數(shù)的加權(quán)之和，形式如式(7)

L=LWGAN+λMLMSE+λeLe，

(7)

2.3 實驗結(jié)果

利用數(shù)據(jù)集1中4位不同患者的低劑量CT圖像進行測試. 圖4 是與目前常用的幾種方法做對比的效果，從主觀上可以看出，本文所提出的方法明顯優(yōu)于經(jīng)典BM3D算法； 較之目前較為先進的REDCNN算法和QAE算法，本文的方法顯著降低了圖像的噪聲； 與MAPNN算法相比，本文的方法在大多數(shù)圖像上都有更少的噪聲. 客觀上，本文采用目前圖像評價體系中常用的峰值信噪比(Peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)兩個指標，對4張圖像進行測試，結(jié)果詳見表 1. 可以看出，本文所提出的網(wǎng)絡(luò)在客觀指標的測試當中大幅度優(yōu)于BM3D； 在與REDCNN和QAE的對比中也顯示出了顯著的優(yōu)勢； 在大多數(shù)圖像上對比MAPNN也有一些優(yōu)勢. 4張測試圖像的結(jié)果均優(yōu)于以往的方法，其中PSNR指標高出REDCNN和QAE約0.45 dB左右，SSIM指標提高大約0.01.

表 1 測試圖的客觀評價指標Tab.1 Objective evaluation indexes of test chart

圖4 去噪效果對比Fig.4 Comparison of denoising effects

數(shù)據(jù)集2中4個不同患者4張低劑量CT圖像作為測試圖像. 與目前較為常用且較為先進的方法做對比，如圖5 所示. 從圖像整體上看，本文所采用的方法相較于其他方法，噪點數(shù)量明顯較小. 從放大的局部區(qū)域看，本文的方法在對噪聲抑制較好的同時，也較為清晰地保留了組織邊緣信息，沒有出現(xiàn)邊緣信息的丟失或邊緣的擴散. 如表 2 所示，在定量分析中，本文的方法展現(xiàn)出了較為良好的效果，PSNR和SSIM的數(shù)值較之以往的方法均有了不同程度的提高，顯示出了較為明顯的性能優(yōu)勢.

表 2 測試圖的客觀評價指標Tab.2 Objective evaluation indexes of test chart

圖5 去噪效果對比Fig.5 Comparison of denoising effects

2.4 網(wǎng)絡(luò)分析

子網(wǎng)絡(luò)數(shù)量對于網(wǎng)絡(luò)的訓(xùn)練時間和訓(xùn)練效果都有很大的影響，本文分別測試了不同子網(wǎng)絡(luò)數(shù)量對于網(wǎng)絡(luò)整體性能的影響. 如圖6 所示，經(jīng)過實驗分析，網(wǎng)絡(luò)去噪效果在子網(wǎng)絡(luò)數(shù)小于5個時，效果的進步速度非?？欤瑥牡?個子網(wǎng)絡(luò)開始，網(wǎng)絡(luò)的去噪性能雖然有小幅度的改善，但是計算量顯著增加，訓(xùn)練時間顯著延長. 因此綜合考慮網(wǎng)絡(luò)訓(xùn)練時間和去噪性能，選擇采用5個子網(wǎng)絡(luò)用來實現(xiàn)低劑量CT圖像去噪.

圖6 不同子網(wǎng)數(shù)對去噪效果的影響

用一組不同的參數(shù)在數(shù)據(jù)集1上進行訓(xùn)練，用來分析超參數(shù)對網(wǎng)絡(luò)的影響. 批大小為128，epoch為100，學(xué)習(xí)率設(shè)置為5.0×10-5. 經(jīng)過實驗驗證，訓(xùn)練時間由之前的10 h 18 min，增加到了12 h 43 min，最終取得了與第一組參數(shù)基本相同的結(jié)果.

在第2個數(shù)據(jù)集中選擇40張圖像，將測試圖像用數(shù)據(jù)集1中訓(xùn)練出的模型進行測試，以驗證網(wǎng)絡(luò)的穩(wěn)定性. 最終得出的數(shù)據(jù)見表 3.

表 3 測試圖像在兩個模型上的效果對比Tab.3 Test the effect of the image on the two models

3 結(jié) 論

在現(xiàn)實條件中，研究人員往往很難獲得大量高質(zhì)量的一一對應(yīng)的低劑量CT圖像和常規(guī)劑量CT圖像. 本文提出了一種在缺乏對應(yīng)圖像條件下的弱監(jiān)督網(wǎng)絡(luò)架構(gòu). 一個公開的數(shù)據(jù)集被用來評價本文所提出的網(wǎng)絡(luò). 不同的實驗結(jié)果表明，本文所描述的網(wǎng)絡(luò)顯著改善了低劑量CT圖像的質(zhì)量.

本文所提出的方法更多的是基于實驗而不是基于嚴謹?shù)臄?shù)學(xué)推導(dǎo). 由于投影數(shù)據(jù)本身含有大量噪聲，因此，下一步將研究將網(wǎng)絡(luò)架構(gòu)移植到投影域進行去噪，以期更好的去噪效果.

在本研究中，還有一些問題需要解決. 由于本文所采用的的數(shù)據(jù)集是模擬的低劑量CT噪聲，因此在實際中的效果可能有所偏差，另外一些噪聲與人體組織或是病變較為相似，網(wǎng)絡(luò)有時不能很好地識別并去除. 這也是下一步研究的重點.