基于組織修復(fù)的腦腫瘤圖像配準(zhǔn)方法

劉忠強(qiáng)，鐘 濤，曹曉歡，張 煜

1南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，2廣東省醫(yī)學(xué)圖像處理重點(diǎn)實(shí)驗(yàn)室，廣東 廣州510515；3上海聯(lián)影智能醫(yī)療科技有限公司，上海200030

腦腫瘤是一種常見的腫瘤疾病，占所有原發(fā)性中樞神經(jīng)系統(tǒng)腫瘤的85%～90%［1］，目前腦腫瘤治療的常規(guī)治療手段有手術(shù)切除和放射治療。研究表明［2-5］，病變體積的量化可以增加對患者功能結(jié)構(gòu)的了解。根據(jù)受影響的大腦結(jié)構(gòu)，損傷的確切位置與特定缺陷有關(guān)。另外有研究對于腦腫瘤，準(zhǔn)確描述和估計腫瘤亞成分的相對體積對計劃放療和治療隨訪非常重要［6］。因此，如何定位腫瘤確切的侵犯腦區(qū)或者部位，成為提高患者療效和存活率的關(guān)鍵一步。

配準(zhǔn)是醫(yī)學(xué)圖像分析一個非常關(guān)鍵和基本的步驟，目的是獲得一個保持拓?fù)涞淖冃螆?，該變形場可以將臨床診斷圖像匹配到一個有參考價值的圖像空間。它可以建立正常腦圖像與腦腫瘤圖像之間的對應(yīng)關(guān)系，從而進(jìn)行圖像數(shù)據(jù)的對比、分析，定位出腫瘤生長的部位及具體侵犯的腦區(qū)，最終達(dá)到輔助臨床診斷與治療。但對于腦腫瘤圖像來說，由于腫瘤在很大程度上影響大腦的形態(tài)，并改變其局部結(jié)構(gòu)，這給腦腫瘤圖像與模板或圖譜的配準(zhǔn)帶來了難題。并且現(xiàn)有的多數(shù)腦圖像配準(zhǔn)算法，如基于相似性測度的方法［7-9］和基于深度學(xué)習(xí)的方法［10-11］，主要針對正常腦（或形態(tài)無明顯變化的大腦）圖像，未考慮腫瘤對腦圖像配準(zhǔn)的影響。少數(shù)針對腦腫瘤圖像與正常大腦圖譜配準(zhǔn)的研究，如Nowinski等［12］使用基于特征點(diǎn)的徑向質(zhì)量效應(yīng)模型來在模板圖像上模擬腫瘤，再將其配準(zhǔn)映射到患者圖像上，通過對形變后的標(biāo)準(zhǔn)圖譜對比分析，確定腫瘤周圍扭曲的解剖結(jié)構(gòu)。不足之處是難以獲得準(zhǔn)確的腫瘤組織生長模型。而另一部分研究［12-15］提出了代價函數(shù)掩蔽策略，利用病理掩膜，使得靠近腫瘤的形變僅受鄰近結(jié)構(gòu)的信息驅(qū)動，將病理區(qū)域排除在配準(zhǔn)之外，僅由正常區(qū)域驅(qū)動配準(zhǔn)，而不受腫瘤病理體素的影響。采用低秩加稀疏矩陣分解的方法從輸入的腫瘤腦圖像中恢復(fù)正常的腦圖像［16-18］。有學(xué)者開發(fā)了一種基于主成分分析的統(tǒng)計方法［19］，以了解不同受試者或同一受試者［20］內(nèi)的腫瘤生長變形情況。這些方法大多基于傳統(tǒng)的迭代優(yōu)化算法進(jìn)行病例區(qū)域修復(fù)。

隨著深度學(xué)習(xí)算法的發(fā)展，如卷積神經(jīng)網(wǎng)絡(luò)修復(fù)算法［21-22］，利用圖像的某些統(tǒng)計信息和模式來恢復(fù)受損區(qū)域內(nèi)的信息，在圖像外觀、對比度甚至形狀方面能有效地恢復(fù)缺失區(qū)域。受此類技術(shù)啟發(fā)，若能將腦部MR［23］圖像中的腫瘤區(qū)域進(jìn)行分割和去除，然后恢復(fù)缺失的腦組織，可以使配準(zhǔn)受病理的影響減小，從而可得到相對準(zhǔn)確的腦腫瘤圖像與標(biāo)準(zhǔn)圖像配準(zhǔn)結(jié)果?；诖?，本文提出使用部分卷積網(wǎng)絡(luò)（PConv-Net）［24］。該算法首先利用U-Net［25］對腫瘤進(jìn)行分割，以便從MR圖像中標(biāo)記大小和位置各異的腫瘤，得到分割掩膜。在此基礎(chǔ)上，利用PConv-Net模擬出腫瘤切除區(qū)域的正常組織圖像,相比于上述傳統(tǒng)算法，基于卷積神經(jīng)網(wǎng)絡(luò)的修復(fù)模型免去了迭代優(yōu)化的繁瑣步驟，能獲得更好的性能和泛化能力。最后，我們對每個恢復(fù)的圖像進(jìn)行配準(zhǔn)，以獲得準(zhǔn)確配準(zhǔn)結(jié)果。

1 方法

本文所提出方法的框架如圖1所示，共分3個步驟。圖1a為分割網(wǎng)絡(luò)：使用U-Net進(jìn)行腫瘤分割。圖1b為修復(fù)網(wǎng)絡(luò)：基于U-Net 生成的腫瘤分割掩膜，使用PConv-Net將給定（腫瘤）區(qū)域恢復(fù)成正常組織。由于腫瘤區(qū)域不存在真實(shí)的正常組織，我們在腦圖像的正常組織上人為模擬“腫瘤”區(qū)域，從而生成PConv-Net的訓(xùn)練數(shù)據(jù)。圖1c為配準(zhǔn)：使用（SyN）［26］配準(zhǔn)算法將目標(biāo)圖像配準(zhǔn)到標(biāo)準(zhǔn)圖像。

圖1 網(wǎng)絡(luò)框架Fig.1 Framework of the proposed method. a: Tumor segmentation using U-Net; b: Partial convolutional network(PConv-Net)for tumor region recovery;c:Registration.

1.1 分割網(wǎng)絡(luò)

基于深度學(xué)習(xí)的U-Net被廣泛用于腫瘤分割。U-Net結(jié)構(gòu)也稱為編碼器-解碼器結(jié)構(gòu)，由兩部分組成。編碼器路徑包含用于特征提取的3個下采樣層和3個最大池化層，而解碼器路徑包括3個上采樣層，用于特征圖上采樣，輸出原始尺寸的分割結(jié)果。分割是基于在相鄰切片之間具有平滑性約束二維切片實(shí)現(xiàn)的，因此大大減少了訓(xùn)練時間和內(nèi)存。我們使用二進(jìn)制交叉熵?fù)p失來衡量分割誤差。

1.2 修復(fù)網(wǎng)絡(luò)

1.2.1 部分卷積網(wǎng)絡(luò) 為了減小腫瘤區(qū)域在圖像配準(zhǔn)中的影響，我們使用PConv-Net修復(fù)腫瘤圖像。我們在正常腦圖像中隨機(jī)模擬生成腫瘤區(qū)域以仿真腫瘤圖像，從而訓(xùn)練PConv-Net。我們采用文獻(xiàn)［27］的部分卷積策略，其中卷積運(yùn)算只對圖像的特定部分進(jìn)行運(yùn)算。在數(shù)學(xué)上，PConv層可以表示為：

x'表示輸入圖像/特征圖X 經(jīng)過卷積后的輸出。F代表卷積濾波器的加權(quán)向量，b是偏置向量。M 是與輸入圖像/特征圖相同尺寸的二進(jìn)制掩膜（0代表腫瘤區(qū)域，1為非腫瘤區(qū)域）圖像，在我們的研究中掩膜代表腫瘤區(qū)域?！啊选北硎局鹪爻朔?，1是一個尺寸和M一樣的所有元素都是1矩陣?？梢钥吹?，輸出值僅取決于未掩蔽的輸入。比例因子sum(1)/sum(M)提供適當(dāng)?shù)目s放，以調(diào)整不同數(shù)量的有效（未掩蔽）輸入。在多層卷積,前一層的輸出x'為下一層的輸入X。在PConv-Net中才采用與U-Net相似的下采樣和上采樣結(jié)構(gòu)，這樣掩模M 與輸入圖像和特征圖具有相同的維數(shù)。

1.2.2 掩膜更新 每個部分卷積操作后，我們使用公式（2）更新掩膜，對于輸入掩膜M，輸出m'實(shí)際上是輸入的閾值：

然后這個新的掩膜被傳送到下一層。每次都使用更新后的M，隨著網(wǎng)絡(luò)層數(shù)的增加，M 輸出m'中為0的像素越來越少，輸出的結(jié)果x'中有效區(qū)域的面積越來越大，m'對整體1oss的影響會越來越小。隨著網(wǎng)絡(luò)層數(shù)的增加，輸出掩膜m'的像素數(shù)量降低為0，輸出結(jié)果x'有效面積的面積在增加，掩膜對整體損失的影響越來越小。1.2.3 損失函數(shù) 損失函數(shù)既針對像素級重建精度，又針對修復(fù)區(qū)域如何平滑過渡到周圍正常組織區(qū)域。

首先，使用均方誤差損失來確?；謴?fù)的圖像與真實(shí)圖像相似。給定一個被U-Net分割出的腫瘤作為初始二進(jìn)制掩膜M 和輸入圖像Iin，網(wǎng)絡(luò)預(yù)測的輸出Iout應(yīng)該接近真實(shí)圖像Igt，（1 -M）表示掩蔽的腫瘤區(qū)域，Lmasked表示了腫瘤區(qū)域的輸出Iout和真實(shí)圖像Igt的L1損失，Lvalid表示非腫瘤區(qū)域的網(wǎng)絡(luò)預(yù)測輸出和Igt的L1損失，定義為：

|Igt|表示Igt元素的數(shù)量。

感知損失Lperc反映恢復(fù)區(qū)域的外觀和度量圖像的高層感知和語義之間的差異,即定義為：

在每個特征圖中引入風(fēng)格損失項(xiàng)：

最后損失項(xiàng)是全變差（Tota1 Variation，TV）損失LTV，它是對R的平滑的懲罰，R是修復(fù)區(qū)域中像素1的膨脹區(qū)域，NIcomp是 Icomp中元素的個數(shù)：

總的損失函數(shù)為Ltotal：

PConv-Net采用與U-Net類似的編碼-解碼構(gòu)架。在編碼器階段使用修正線性單元（ReLU）層，在解碼器階段使用Leaky ReLU層。除第一層編碼器和最后一層解碼器外，所有層都使用批處理歸一化層。

1.3 圖像配準(zhǔn)

最后，我們使用SyN分別將腦腫瘤圖像及其對應(yīng)的修復(fù)后的圖像配準(zhǔn)到標(biāo)準(zhǔn)模板圖像上，得到配準(zhǔn)后的圖像和各像素點(diǎn)的位移形變場。配準(zhǔn)采用的相似性測度是均方差。目標(biāo)函數(shù)為：

其中，dA→T是待配準(zhǔn)圖像A(修復(fù)后圖像或原腫瘤圖像)到模板圖像T的形變場，H 是圖像像素個數(shù)，Ω 是整個圖像。

2 結(jié)果

2.1 數(shù)據(jù)處理和實(shí)驗(yàn)設(shè)置

我們使用（Medica1 Image Computing and Computer Assisted Intervention Society）MICCAI BraTS2018 數(shù)據(jù)集來評估所提出算法的性能。實(shí)驗(yàn)使用T1加權(quán)和FLAIR序列圖像，由于磁共振造影掃描常因偏壓場而導(dǎo)致強(qiáng)度分布不均勻，我們首先在預(yù)處理中應(yīng)用N4偏壓場校正［28］對圖像進(jìn)行處理。為了減少不同受試者之間的強(qiáng)度分布變異性，我們首先采用基于直方圖匹配的歸一化，然后通過減去每張圖像的均值，除以每張圖像的標(biāo)準(zhǔn)差來歸一化所有的圖像。其中FLAIR序列圖像用于腫瘤分割以提取腫瘤掩膜，T1圖像被配準(zhǔn)到標(biāo)準(zhǔn)模板圖像。

訓(xùn)練分割網(wǎng)絡(luò)，我們將每例FLAIR圖像重采樣成155個240×240的切片。我們隨機(jī)抽取其中的100例圖像進(jìn)行模型訓(xùn)練，然后在剩下的圖像中隨機(jī)選取40例圖像進(jìn)行模型測試。U-Net 使用Pytorch和Adam優(yōu)化實(shí)現(xiàn)，學(xué)習(xí)率設(shè)置為0.001，批大小為10，最大迭代150次，分割實(shí)驗(yàn)在12 G NVIDIA GEFORCE RTX 2080 Ti上進(jìn)行訓(xùn)練。模型的輸出為相應(yīng)的腫瘤掩模。

對于PConv-Net，我們從ADNI數(shù)據(jù)集上隨機(jī)選取100例圖像然后按Z軸進(jìn)行切片，得到正常的2-D圖像，然后隨機(jī)分割網(wǎng)絡(luò)得到腫瘤掩膜，二者共同輸入到PConv-Net作為訓(xùn)練集。測試過程再隨機(jī)抽取40例正常受試者的T1圖像以評估PConv-Net的性能。模型以原始T1圖像和模擬腫瘤掩膜作為輸入，嘗試恢復(fù)腫瘤掩膜下的正常組織，從而輸出對應(yīng)位置的去除腫瘤圖像。模型訓(xùn)練和測試是基于Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)。訓(xùn)練過程采用Adam優(yōu)化算法，學(xué)習(xí)速率最初設(shè)置為2e-4，然后使用5e-5的學(xué)習(xí)速率進(jìn)行微調(diào)。最大迭代量為1200 k，批大小為16。該網(wǎng)絡(luò)在一個GPU（12 G NVIDIA GEFORCE RTX 2080 Ti）上訓(xùn)練。最后，我們將這些修復(fù)后的2維切片堆疊為3維圖像以進(jìn)行配準(zhǔn)。

2.2 圖像修復(fù)結(jié)果評估

對分割步驟中得到的腫瘤掩膜我們進(jìn)行了相應(yīng)的優(yōu)化。由于腫瘤邊界的區(qū)域存在水腫或浸潤，導(dǎo)致邊界區(qū)域灰度會與遠(yuǎn)離腫瘤的正常區(qū)域的灰度強(qiáng)度有差異。這種差異在修復(fù)時會導(dǎo)致腫瘤區(qū)域修復(fù)后灰度與正常組織差異較大，從而導(dǎo)致修復(fù)效果不好，如圖2所示，由于水腫的存在致使第四列修復(fù)后的圖像腫瘤區(qū)域的灰度明顯高于周圍正常組織的灰度值。為了最小化腫瘤邊界強(qiáng)度傳播效應(yīng)，減小其對分割精度的影響，我們在輸入PConv-Net之前使用形態(tài)學(xué)操作擴(kuò)展了腫瘤掩模。實(shí)驗(yàn)分別驗(yàn)證了掩膜膨脹1個、3個、5個像素后的結(jié)果，如表1所示，膨脹元素單位大小為3個像素時效果最佳。峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）［29］被用于對恢復(fù)后的圖像與原始圖像進(jìn)行比較評估。PSNR（dB）越高，表示重建性能越好。SSIM的值從0到1，1表示完全恢復(fù)。

圖2 腫瘤掩膜邊界效應(yīng)Fig.2 Tumor mask boundary effect. The first column is the tumor image; the second column is the segmented tumor; the third column is the tumor masked image;the fourth column is the repaired image.

表1 將分割出來的腫瘤掩膜做膨脹0、1、3、5個像素處理后進(jìn)行修復(fù)，對比相應(yīng)腫瘤掩膜取出后剩余部分的相似性度度量和峰值信噪比Tab.1 The segmented tumor masks were repaired after dilation at 0, 1, 3 and 5 pixels, and the similarity and peak signal-to-noise ratio of the remaining parts were measured after corresponding tumor masks were removed

為了評估圖像恢復(fù)的性能，我們在正常圖像上隨機(jī)生成腫瘤掩膜，去除掩膜內(nèi)的組織，并將恢復(fù)后的圖像與掩膜內(nèi)的原始圖像進(jìn)行比較（圖3）。

圖3展示了使用PConv-Net進(jìn)行圖像恢復(fù)的一些示例結(jié)果。第1、5列（A列）是真實(shí)的正常圖像，第2、6列（B列）是腫瘤掩蔽后的圖像，第3、7列（C列）為隨機(jī)生成的掩膜，第4、8列（D列）為修復(fù)后的圖像。圖中可以看出，掩膜覆蓋的正常組織區(qū)域被有效恢復(fù)，模擬生成的組織與真實(shí)正常組織高度相似。我們使用不同掩模的3000張正常T1腦圖像切片進(jìn)行定量評價，得到的PSNR為42.29±2.39 dB，SSIM為0.9989±6.3550 E-05。

2.3 配準(zhǔn)結(jié)果評估

我們使用SyN將每個已恢復(fù)腫瘤區(qū)域的目標(biāo)圖像配準(zhǔn)到T1模板。為了與傳統(tǒng)的直接SyN配準(zhǔn)方法進(jìn)行比較，我們對比配準(zhǔn)后的形變場，以評估配準(zhǔn)結(jié)果，如圖4所示。圖4A和C是腫瘤圖像，B和D是分別對應(yīng)于A和C的修復(fù)圖像，Reg A～D 分別是A～D與模板圖像配準(zhǔn)后的圖像，F(xiàn)ie1d A～D是配準(zhǔn)后對應(yīng)的形變場的雅可比顯示，顏色變化代表形變場平滑程度變化，越偏近紅色表示形變場越不平滑。由形變場對比可以看出，腫瘤圖像配準(zhǔn)后腫瘤區(qū)域產(chǎn)生的形變場嚴(yán)重膨脹且不平滑區(qū)域。修復(fù)圖像相應(yīng)區(qū)域得到的形變場更加平滑。

圖3 帶有掩膜圖像的修復(fù)Fig.3 Examples of recovering the images within masks.A: Ground truth, B: Masked images, C: Tumor mask,D:Recovered images.

為了評估我們的方法，我們將有腫瘤的腦圖像修復(fù)后與模板圖像配準(zhǔn)到的形變場進(jìn)行比較。這些形變場都是與模板圖像具有相同體素尺寸的圖像。對于每個體素，圖像都包含配準(zhǔn)后估計的位移，以便到達(dá)源圖像中匹配體素的位置。位移是在X，Y和Z方向上以毫米為單位的平移，可以通過配準(zhǔn)參數(shù)簡單地計算得出。當(dāng)兩張配準(zhǔn)圖像相似時，體素位移將相似，這反映了一個事實(shí)，即配準(zhǔn)圖像的體素值將在整個形變過程中從源圖像的相似點(diǎn)獲得。對于兩個配準(zhǔn)之后的圖像所得到的形變場a 和b，單個體素i處的位移之間的距離

圖4 對比修復(fù)和配準(zhǔn)后結(jié)果Fig.4 A typical result of registration and example results of PConv-Net for T1 images with glioma.A and C are tumor images,B and D are repair images corresponding to A and C,Reg A-D are images after registration of A-D and template images,FieldA-D are corresponding deformation field after registration.

我們隨機(jī)選擇9例圖像，首先計算了修復(fù)后配準(zhǔn)獲得的形變場與直接配準(zhǔn)得到的形變場之間每個像素點(diǎn)的位移RMS，表示為不做任何掩蔽；然后將原圖像和模板圖像上腫瘤對應(yīng)的區(qū)域掩蔽掉（刪去）在分別進(jìn)行配準(zhǔn)，實(shí)驗(yàn)在腫瘤周圍1、2、3、5個像素范圍進(jìn)行比較配準(zhǔn)之后的形變場的RMS，如圖5所示。結(jié)果表明，直接配準(zhǔn)后的形變場RMS 大，表明像素點(diǎn)配準(zhǔn)后位移大，形變場的平滑性差，而分別對比掩蔽對應(yīng)腫瘤區(qū)域后配準(zhǔn)的場的位移顯著減小，證明經(jīng)過我們的修復(fù)方法后腫瘤周圍的組織的配準(zhǔn)更加準(zhǔn)確可信，圖像失真更小。并且，腫瘤鄰近位置由于水腫導(dǎo)致的失真隨著修復(fù)范圍的擴(kuò)展而減小，在掩膜膨脹3個像素時，效果最好，繼續(xù)擴(kuò)展修復(fù)范圍就會到達(dá)正常組織區(qū)域（即水腫區(qū)域外），這個范圍腫瘤圖像與修復(fù)圖像差異很小，所以RMS 下降且慢慢趨于不變。

圖5 腫瘤周圍不同掩蔽范圍的均方根(RMS)值比較Fig.5 Comparison of root-mean-square (RMS) values of different masking areas around the tumor.

3 討論

腫瘤組織的特異性及侵犯性，使得傳統(tǒng)的直接配準(zhǔn)方法失效。對于精確治療，腦部腫瘤圖像的配準(zhǔn)可以更好的輔助醫(yī)生判斷腫瘤具體侵犯了哪個腦區(qū)，對于臨床診斷和手術(shù)輔助具有重大意義，能促進(jìn)實(shí)現(xiàn)更精確的治療，并且可以通過配準(zhǔn)后侵犯腦區(qū)的具體情況，輔助醫(yī)生判斷術(shù)后患者的生活質(zhì)量和生存期。

本文針對腦腫瘤圖像與標(biāo)準(zhǔn)模板圖像或圖譜圖像配準(zhǔn)的難點(diǎn)問題，即待配準(zhǔn)的腦腫瘤圖像具有腫瘤信號區(qū)域，而在模板圖像中沒有相應(yīng)的區(qū)域，從而影響配準(zhǔn)準(zhǔn)確性，于是我們提出了一種基于局部卷積網(wǎng)絡(luò)來恢復(fù)腫瘤區(qū)域內(nèi)缺失的正常組織，再進(jìn)行配準(zhǔn)的框架。我們使用BraTS2018數(shù)據(jù)集中的腫瘤圖像驗(yàn)證了所提出的配準(zhǔn)框架的有效性。

Nowinski等［12］的方法的局限是要了解正常組織和腫瘤組織的生物力學(xué)特性，但是腫瘤的生物力學(xué)特性是未知的并且無法為患者測量它們。利用代價函數(shù)掩蔽的策略［12-15］，是基于對病理進(jìn)行分割并減輕病變內(nèi)部體素的權(quán)重，然后通過插值來修復(fù)病變區(qū)域，但是他們算法的結(jié)果會隨著分割的質(zhì)量而適當(dāng)降低。而有研究對于單側(cè)病變是有效的，但如果病變是雙側(cè)的，那么被病理掩膜的區(qū)域內(nèi)的修復(fù)可能會受到剩余組織的約束［15］。有學(xué)者基于主成分分析的統(tǒng)計方法并不是非常準(zhǔn)確，水腫區(qū)域的統(tǒng)計偏差影響較大，而且還受到訓(xùn)練中使用的參數(shù)的限制［19］。有算法和其他人的一樣需要迭代優(yōu)化，計算成本高，內(nèi)存占用大［16-18］。而本文提出的方法在修復(fù)模塊對分割得到的掩膜采用了膨脹的方法，使的修復(fù)的結(jié)果對分割的精度的依賴沒有那么高。并且修復(fù)模塊采用深度學(xué)習(xí)的方法大大縮短了運(yùn)算時間。如圖3和圖4示，深度學(xué)習(xí)的方法對于圖像特征的提取更加魯棒，不受病變位置、范圍的影響。

在未來的工作中，我們進(jìn)一步開展以下工作：為了減小運(yùn)算負(fù)擔(dān)，本文中我們訓(xùn)練的修復(fù)網(wǎng)絡(luò)是針對2維圖像，這可能會導(dǎo)致2維融合成3維的過程中丟失部分空間信息；我們計劃采用2.5維方式提升效果；對于一些腦區(qū)被腫瘤擠壓扭曲嚴(yán)重的圖像，修復(fù)得到正常的腦組織的準(zhǔn)確度尚不足。后續(xù)工作擬在損失函數(shù)中加入左右腦對稱的限制項(xiàng)，以平衡左右半腦的修復(fù)效果；根據(jù)與標(biāo)準(zhǔn)模板圖像或圖譜圖像的配準(zhǔn)結(jié)果，評估標(biāo)記腫瘤周圍組織及腫瘤侵犯的組織，以進(jìn)一步分析腦組織和功能受損情況。