基于卷積神經(jīng)網(wǎng)絡的醫(yī)學圖像分割的數(shù)據(jù)增強方法研究

明子雯

（中央民族大學信息工程學院 北京 100000）

0 引言

近年來，醫(yī)學圖像處理為醫(yī)生鑒定圖像和診斷疾病帶來了巨大的便利[1]。對腦損傷的定量分析可以提高我們對腦疾病的認識和治療[2]。自動的腦損傷圖像分割可以高效多次進行腦損傷分析，節(jié)省醫(yī)生對圖像進行人工標注的時間。在圖像識別算法中，卷積神經(jīng)網(wǎng)絡(Convolutional neural networks,CNNs)可以通過訓練來實現(xiàn)相關領域的學習[3]。卷積神經(jīng)網(wǎng)絡現(xiàn)已實現(xiàn)了最先進的腦損傷圖像分割的性能[4-5]。面對醫(yī)學圖像病變區(qū)域復雜，邊界不清晰，來源單一，數(shù)量稀少，數(shù)據(jù)采集多樣化的特點，數(shù)據(jù)增強可以從現(xiàn)有的訓練數(shù)據(jù)中生成額外的訓練數(shù)據(jù)來改進CNNs的訓練，通過基本的圖像變換來實現(xiàn)，包括旋轉變換、平移變換、翻轉變換等，按照規(guī)則將現(xiàn)有的訓練圖像與注釋一起進行轉換。但是通過一些基本的圖像變換生成的數(shù)據(jù)多樣性有限，于是人們開發(fā)了很多新的算法。

例如Mixup隨機線性地組合兩張帶注釋的圖像和相應的注釋[6]，創(chuàng)造了大量的新的訓練圖像。Random Erasing則是隨機擦除圖像中隨機選擇的一個矩形區(qū)域的像素，生成具有不同程度遮擋的訓練圖像[7]。CutMix生成的新圖像中一個區(qū)域來自一個圖像，其余區(qū)域來自另一個圖像，兩個圖像所占整個新圖像的比例是隨機的，生成的新注釋根據(jù)則每個圖像在新圖像中所占的比例進行線性組合[8]。然而，這些基于圖像組合或隨機擦除的數(shù)據(jù)增強方法適用于圖像分類，而對于3D的腦損傷圖像分割則不夠精確，于是我們提出了一種新的數(shù)據(jù)增強方法稱為病變鏡像。

1 病變鏡像方法

我們將一組三維圖像表示為Xi，i表示第i張圖像，這組三維圖像對應的注釋表示為Yi。另一組三維圖像表示為Xj，j表示第j張圖像，這組三維圖像對應的注釋表示為Yj。用Xi和Yi來生成新的圖像X 和注釋Y，同原有的圖像和注釋一起進行卷積神經(jīng)網(wǎng)絡的訓練是我們常用的數(shù)據(jù)增強方法。通過對圖像對的組合變換或者單個圖像的平移、旋轉、對稱等操作來進行數(shù)據(jù)增強，可以有效提高卷積神經(jīng)網(wǎng)絡對圖像分類問題和圖像分割問題的處理效率。

例如Mixup和CutMix就是對圖像對進行組合變換，這兩種都是多樣本數(shù)據(jù)增強。具體來講就是用Xi和Xj以及對應的Yi和Yj生成新的圖像X 和注釋Y。而Random Erasing，則通過對單個圖像進行隨機擦除，是單樣本數(shù)據(jù)增強。具體來講就是通過對圖像Xi的隨機擦除和計算變化后的Yi來產(chǎn)生新的圖像X 和注釋Y。但是普遍的數(shù)據(jù)增強方式是為了改善圖像分類問題，并不適用于腦損傷分割問題和有關于腦損傷病變的圖像，因此我們提出了一種數(shù)據(jù)增強方法稱為病變鏡像。這種方法能產(chǎn)生更加多樣化的數(shù)據(jù)，易于實現(xiàn)腦損傷圖像分割。但與Random Erasing、Mixup和CutMix都不同的是，我們的方法基于病變區(qū)域，更適合腦損傷圖像分割。

在病變鏡像中，我們考慮的是二元的腦損傷分割，因此圖像中病變區(qū)域的強度是1，表示病變，圖像中的其他區(qū)域強度為0，表示背景。⊙表示體素級乘法。生成新的圖像和注釋分別為X 和Y。其數(shù)學表達式為：

其中，Xi表示原腦損傷圖像，如圖1(a)所示。Yi表示病變區(qū)域，如圖1(b)灰色部分。Xi′表示原腦損傷圖像經(jīng)過變換后的圖形。Yi′表示病變區(qū)域經(jīng)過變換后的圖形，如圖1(c)左灰色部分。我們以圖像中心為原點，分別以X、Y、Z軸為基準，計算機以1/2的概率隨機選擇是否將Xi和Yi進行鏡像對稱，在體素上，Xi′和Yi′ 的數(shù)學表達式為：

2 實驗

2.1 對照組Mixup、Cutmix和TDA

Mixup和Cutmix都是對兩組腦部圖像進行組合，適用于圖像分類問題，而不適用于基于病變區(qū)域的圖像分割問題。而病變鏡像只對一組腦部圖像和病變區(qū)域圖像進行操作，通過對病變區(qū)域進行鏡像對稱，從而生成新的圖像和注釋。我們總結并比較了Mixup和CutMix中的數(shù)據(jù)生成過程。對于Mixup和CutMix，注釋的生成被擴展到體素級。Mixup和CutMix都沒有注意到病變區(qū)域，生成的新圖像沒有特別注意病變。此外，在CutMix中新注釋的生成只是根據(jù)圖像所占新圖像的比例進行線性結合，Mixup將兩張圖像進行線性結合，CutMix考慮原圖像在新生成圖像中的比例，都沒有考慮病變區(qū)域的占比程度。病變鏡像解決了腦損傷分割的這些限制，其中新圖像的生成基于病變區(qū)域，而注釋的生成與圖像的生成是一致的。病變鏡像與最先進的分割框架nnU-Net[4]結合。nnU-Net中默認的傳統(tǒng)數(shù)據(jù)增強（Traditional Data Augmentation,TDA）包括旋轉、縮放、鏡像、彈性變形、強度擾動和低分辨率的模擬。為了評估我們的方法，我們將選擇Mixup、Cutmix和TDA作為對照組進行實驗。

2.2 數(shù)據(jù)描述

實驗所采取的數(shù)據(jù)集為公開的可用的ATLAS（Anatomical Tracings of Lesions After Stroke）[9]。這些圖像具有相同的大小為1mm的各向同性的體素。具體的數(shù)據(jù)劃分和實驗設置，我們參照了文獻CarveMix[10]。我們選擇了50張圖像作為測試集，對剩余的170張圖片選擇不同的數(shù)量的訓練設置，我們分別使用了170、85、43和22個標注的訓練圖像，分別占可用標注圖像總數(shù)的100%、50%、25%和12.5%。此外，從訓練數(shù)據(jù)中選擇20%作為驗證集，用于選擇最好的分割網(wǎng)絡模型[10]。

2.3 實驗結果

病變鏡像與Mixup和CutMix的默認參數(shù)進行了比較。對于病變鏡像、Mixup和CutMix，生成了新的注釋圖像，因此總共有1 000張圖像可用于訓練。病變鏡像、Mixup和CutMix與nnU-Net結合，因此這3種方法也被進行了TDA。由于在網(wǎng)絡訓練中每種方法使用相同的訓練代數(shù)和批處理量，并且TDA是隨機在線執(zhí)行的，包括TDA在內的所有方法都使用了相同數(shù)量的訓練樣本，模型參數(shù)和超參數(shù)。因此，選擇TDA作為對照組是合理的。對于分割過程中的評價標準主要采用Dice相似系數(shù)(Dice Similariy Coefficient,DSC)，用于計算兩個樣本的相似度，值的范圍是0～1，分割結果最好時值為1，最差時值為 0，分割結果的Dice系數(shù)的平均值見表1。

表1 分割結果的Dice系數(shù)（百分制）

我們對病變鏡像進行了定性評估。病變鏡像和每種對照方法的代表性測試的分割結果以及專家注釋的平面視圖見圖2。在這里，結果是用100%的訓練數(shù)據(jù)(170個注釋訓練掃描圖像）。我們可以看到病變鏡像產(chǎn)生的分割結果比對照組的方法更與注釋接近。接下來，對病變鏡像進行定量評價。對于每種方法和訓練集的每種實驗設置，我們計算了在測試集上的分割結果的Dice系數(shù)的均值，這些結果在表1中顯示。大部分情況下，病變鏡像都以更高的Dice系數(shù)優(yōu)于比較方法。Mixup和CutMix最初并不是為腦損傷分割而設計的，與TDA相比，它們并不一定能提高分割質量。所以，我們的數(shù)據(jù)增強方法病變鏡像提升了分割精度，在腦損傷圖像分割中更加適用。

3 結語

我們提出了病變鏡像這樣一種簡單的腦損傷圖像分割數(shù)據(jù)增強方法。該方法以圖像中心為原點，對病變區(qū)域分別以X、Y、Z3軸為基準，以1/2的概率隨機選擇是否將原圖像和注釋進行鏡像對稱來生成新的訓練圖像和注釋。對照Mixup、Cutmix和TDA的實驗結果表明，病變鏡像提高了分割精度，在大部分情況下，優(yōu)于對照組的數(shù)據(jù)增強策略。