基于PCA的Unet網(wǎng)絡(luò)用于新冠肺炎CT圖像分割

余后強(qiáng)，徐懌璠，徐靜蕾，陳瑤，湯小麗

（湖北科技學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，湖北 咸寧 437100）

0 引 言

2020年初新冠肺炎的突然爆發(fā)，對(duì)全球數(shù)十億人的生活造成了重大影響。如何快速準(zhǔn)確地對(duì)疑似患者進(jìn)行篩查及診斷，成為醫(yī)學(xué)界面臨的重大課題[1]。研究表明，新冠患者的胸部CT 圖像具有獨(dú)特的影像學(xué)表現(xiàn)，且不同階段表現(xiàn)形式差別較大[2]。由于CT 圖像數(shù)量巨大，且需要具有豐富臨床經(jīng)驗(yàn)的專業(yè)性放射科醫(yī)生進(jìn)行判斷，讀片的過(guò)程非常耗時(shí)耗力。為此，利用計(jì)算機(jī)輔助診斷（CAD）可以極大減少臨床醫(yī)生的工作量，幫助提高診斷的敏感性和特異性。對(duì)于經(jīng)驗(yàn)較少的醫(yī)生也能幫助他們更加準(zhǔn)確地進(jìn)行診斷，確定更加適合的治療方案。目前基于深度學(xué)習(xí)的自然圖像分析和研究已取得了良好效果，但醫(yī)學(xué)圖像由于受到患者隱私、注釋昂貴、數(shù)據(jù)不平衡、圖像更加復(fù)雜等因素影響，深度學(xué)習(xí)的應(yīng)用還處于快速發(fā)展之中。這些應(yīng)用主要包括醫(yī)學(xué)圖像去噪、分割、增強(qiáng)、配準(zhǔn)、融合、分類等[3-5]。分割作為圖像的預(yù)處理過(guò)程，對(duì)之后的配準(zhǔn)、融合、分類等起著重要的臨床指導(dǎo)作用。如何對(duì)醫(yī)學(xué)圖像進(jìn)行精準(zhǔn)分割，一直是國(guó)內(nèi)外眾多學(xué)者研究的熱點(diǎn)。

近些年，隨著人工智能技術(shù)的飛速發(fā)展，基于深度學(xué)習(xí)的圖像處理技術(shù)得到了廣泛應(yīng)用。在圖像分割領(lǐng)域，許多深度模型被提出來(lái)并獲得了良好效果。對(duì)于醫(yī)學(xué)圖像，0laf Ronneberger 等[6]在2015年提出了Unet 模型用于生物醫(yī)學(xué)圖像分割。該模型基于全卷積神經(jīng)網(wǎng)絡(luò)思想，采用編碼-解碼的對(duì)稱框架，結(jié)構(gòu)優(yōu)美，形如字母“U”，因而稱為Unet 模型。一經(jīng)提出，Unet 就在醫(yī)學(xué)圖像分割上表現(xiàn)不俗，超過(guò)了很多傳統(tǒng)模型以及深度分割模型，得到了廣泛應(yīng)用，并有了很多變體。眾多學(xué)者沿用Unet 的核心思想，通過(guò)加入新的模塊或者其他設(shè)計(jì)理念對(duì)其進(jìn)行改造，并應(yīng)用到自己領(lǐng)域。

在本文中，我們將對(duì)新冠肺炎CT 圖像進(jìn)行分割。臨床顯示，新冠CT 影像呈現(xiàn)出磨玻璃影，而傳統(tǒng)分割算法僅根據(jù)肺部區(qū)域的灰度、形態(tài)、紋理等信息，難以將對(duì)比度相似的軟組織區(qū)別開來(lái)?；赨net 的特點(diǎn)，我們將基于該模型對(duì)新冠肺炎CT 圖像進(jìn)行自動(dòng)分割。但原始的Unet 存在一些不足，比如層數(shù)較淺、使用sigmoid 作為激活函數(shù)容易在數(shù)據(jù)絕對(duì)值較大時(shí)出現(xiàn)過(guò)飽和現(xiàn)象，導(dǎo)致梯度爆炸或消失，這對(duì)于模型的訓(xùn)練是非常不利的。同時(shí)，在模型訓(xùn)練中，樣本量的大小也起著很大的影響。樣本太少，容易過(guò)擬合。對(duì)于新冠肺炎，當(dāng)前能采集到的CT 圖像數(shù)據(jù)比較有限，如何在小樣本的情況下訓(xùn)練Unet，也是面臨的挑戰(zhàn)。

為了解決以上問(wèn)題，我們將首先對(duì)CT 影像數(shù)據(jù)進(jìn)行特征預(yù)提取，從而減少原始圖像中噪聲等因素的影響，保留更本質(zhì)的特征，并能獲得更多的特征圖像，這些圖像對(duì)于之后的Unet 模型不僅能增加訓(xùn)練樣本集，還能加速網(wǎng)絡(luò)的訓(xùn)練過(guò)程。為了對(duì)新冠CT 圖像進(jìn)行特征預(yù)提取，我們建立了一個(gè)兩層的主成分分析（Principal Component Analysis,PCA）網(wǎng)絡(luò)[7]。在該網(wǎng)絡(luò)中，簡(jiǎn)單的PCA 運(yùn)算首先運(yùn)用于訓(xùn)練集上以獲得卷積核，隨后原始圖像與卷積核進(jìn)行卷積運(yùn)算產(chǎn)生圖像的輸出特征。相比于一些CNN 模型，由于沒有正則化參數(shù)或者數(shù)值優(yōu)化求解等過(guò)程，該網(wǎng)絡(luò)訓(xùn)練起來(lái)非常簡(jiǎn)單，在特征提取方面卻很有效。

基于PCA 在自動(dòng)提取圖像本質(zhì)特征方面強(qiáng)大的能力，我們將其與Unet 相結(jié)合。利用PCA 產(chǎn)生的特征圖像作為訓(xùn)練集用于Unet 模型的訓(xùn)練。同時(shí)，為了抑制Unet 在訓(xùn)練中使用sigmoid 作為激活函數(shù)導(dǎo)致模型容易陷入過(guò)擬合或局部最小值問(wèn)題，我們將在網(wǎng)絡(luò)層中使用Batch Normalization（BN）[8]思想，即對(duì)每個(gè)隱含層的數(shù)據(jù)分布都進(jìn)行歸一化到標(biāo)準(zhǔn)正態(tài)，這樣處理可以緩解梯度衰減的問(wèn)題。通過(guò)這兩方面的改進(jìn)，新構(gòu)造的模型能夠克服原始Unet 中存在的一些不足，更好的用于CT 圖像的分割，這種聯(lián)合PCA 和Unet 的混合模型記為PCA-Unet。

1 方法介紹

在本節(jié)中，根據(jù)新冠CT 圖像的特點(diǎn)，提出了一個(gè)聯(lián)合主成分分析（Principal Component Analysis,PCA）網(wǎng)絡(luò)與Unet 的混合模型用于對(duì)新冠CT 圖像進(jìn)行分割。該模型如圖1所示，輸入的原始CT 圖像將首先進(jìn)入PCA 模型，通過(guò)與其中的PCA 濾波器進(jìn)行卷積操作，產(chǎn)生相應(yīng)的特征圖像。這些特征圖像將作為訓(xùn)練集輸入到Unet 模型中，進(jìn)行深度特征提取，然后根據(jù)Unet 最后的Softmax 層，得到輸入圖像的分割圖。下面詳細(xì)介紹PCA-Unet 各部分的構(gòu)造過(guò)程。

圖1 PCA-Unet 模型用于新冠CT 圖像分割的流程圖

1.1 PCA 網(wǎng)絡(luò)的計(jì)算過(guò)程

PCA 網(wǎng)絡(luò)由兩層構(gòu)成，原始圖像進(jìn)入PCA 模型中，首先會(huì)與第一層的濾波器進(jìn)行卷積，產(chǎn)生第一階段的特征圖。然后每一個(gè)特征圖又與第二階段的濾波器進(jìn)行卷積，產(chǎn)生第二階段的特征圖。所有這些特征圖即是PCA 網(wǎng)絡(luò)的最終輸出。在PCA 網(wǎng)絡(luò)中，僅僅濾波器需要通過(guò)訓(xùn)練得到。下面就PCA 的卷積過(guò)程進(jìn)行詳細(xì)描述。

1.1.1 第一個(gè)卷積層的計(jì)算

假設(shè)訓(xùn)練圖片的數(shù)目為K，所有階段的圖像塊大小均為k1×k2。對(duì)于第p張訓(xùn)練圖片，按照像素點(diǎn)順序逐次進(jìn)行塊采樣并去均值化之后再向量化。將所有的向量按照原像素點(diǎn)的順序排列到一起，得到該張圖片對(duì)應(yīng)的矩陣Ap=[ap，1，ap，2，…，ap，s]，其中ap，s是第s個(gè)去均值化后的圖像塊對(duì)應(yīng)的向量，S是該張圖片產(chǎn)生的圖像塊數(shù)目。通過(guò)對(duì)訓(xùn)練集中每張圖片做相同的處理，可得到訓(xùn)練集對(duì)應(yīng)的矩陣A=[A1，A2，…，AK]∈Rk1k2×SK。然后對(duì)矩陣A進(jìn)行PCA 運(yùn)算，目的是通過(guò)尋找一系列的標(biāo)準(zhǔn)正交矩陣來(lái)最小化重構(gòu)誤差：

式中L1是第一層濾波器的個(gè)數(shù)，是大小為L(zhǎng)1×L1的單位矩陣，||·|| 代表Frobenius 范數(shù)。該式子的求解就是經(jīng)典的主成分分析問(wèn)題，它求出的L1個(gè)解就是AAT的前L1個(gè)特征值，相應(yīng)的特征向量為：

這里，ql（AAT）代表AAT的第l個(gè)特征向量。式（1）求出的L1個(gè)特征向量就是第一層的卷積核。

1.1.2 第二個(gè)卷積層的計(jì)算

類似于深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks,DNNs），多層PCA 濾波器也可以級(jí)聯(lián)到一起，用于提取更深層次的特征。在第一個(gè)卷積層產(chǎn)生的所有輸出作為第二個(gè)卷積層的輸入，然后重復(fù)幾乎相同的計(jì)算方法，產(chǎn)生的L2個(gè)特征向量就是第二層的卷積核。

1.1.3 輸出層的處理

對(duì)于第p張訓(xùn)練圖片，經(jīng)過(guò)第一個(gè)卷積層后獲得L1個(gè)輸出，記為第一層的每個(gè)輸出又作為輸入層，進(jìn)入第二個(gè)卷積層后，產(chǎn)生L1個(gè)相應(yīng)的輸出，記為這些特征圖像將作為訓(xùn)練集，輸入U(xiǎn)net 中進(jìn)行訓(xùn)練。

1.2 Unet 模型的計(jì)算過(guò)程

Unet 模型為對(duì)稱結(jié)構(gòu)，由左右兩部分構(gòu)成。左邊部分為特征提取，類似VGG 結(jié)構(gòu)，通過(guò)四個(gè)連續(xù)卷積塊操作，將原始572×572×1 的圖像編碼成28×28×1 024 的特征圖。Unet 的右邊部分為上采樣過(guò)程，采用全卷積思想，通過(guò)四次上采樣，將編碼后的28×28×1 024 的特征圖像逐步擴(kuò)大至388×388×2 的圖像尺寸。Unet 由于增加了skip connection結(jié)構(gòu)，使得在每一級(jí)上采樣過(guò)程中，能夠?qū)⒌讓犹卣髋c高層特征融合，保留了高層特征所包含的高分辨率等細(xì)節(jié)信息，因此提高了圖像分類精度。為了避免Unet 訓(xùn)練過(guò)程中出現(xiàn)的過(guò)擬合問(wèn)題，我們采用了BN 思想。當(dāng)有m個(gè)mini-batch 時(shí)，假設(shè)輸出值為B=（x1，x2，…，xm），

2 實(shí)驗(yàn)及分析

2.1 實(shí)驗(yàn)所用數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

在本節(jié)中，我們將測(cè)試所提算法的有效性。本研究所用新冠肺炎CT 圖像來(lái)源于湖北省咸寧市中心醫(yī)院采集的真實(shí)臨床數(shù)據(jù)，共360 例。三位臨床影像醫(yī)生參與了損傷區(qū)域的識(shí)別和標(biāo)記，其中300 個(gè)數(shù)據(jù)用于訓(xùn)練，剩下的60 個(gè)用于測(cè)試，所有圖像裁剪成256×256 尺寸。

對(duì)于本研究中提出的PCA 模型，經(jīng)過(guò)測(cè)試，發(fā)現(xiàn)在PCA 模型中，使用兩個(gè)卷積層就能夠取得良好的特征提取效果。如果網(wǎng)絡(luò)進(jìn)一步加深，計(jì)算量會(huì)顯著增加，但去噪效果提升很小，因此我們使用兩個(gè)卷積層進(jìn)行特征預(yù)提取，兩層的濾波器個(gè)數(shù)都設(shè)置為12，訓(xùn)練圖像塊的大小設(shè)為7×7。

為了定量評(píng)估分割效果，我們使用四個(gè)指標(biāo)，分別是分割結(jié)果與標(biāo)簽的交并比（Itersection over union,Iou）、精確率（Precision,Pre）、特異度（Specificity,Spe）與召回率（Recall,Rec），它們計(jì)算公式如下：

這里TP，F(xiàn)P，TN，F(xiàn)N 分別是像素點(diǎn)的真陽(yáng)性數(shù)量、假陽(yáng)性數(shù)量、真陰性數(shù)量和假陰性數(shù)量。

圖2為使用PCA 模型產(chǎn)生的特征圖像。第一行為原始新冠CT 圖像，第二行為原圖與PCA 進(jìn)行第一層卷積產(chǎn)生的前三張?zhí)卣鲌D像，第三行為原圖與PCA 進(jìn)行第二層卷積產(chǎn)生的前三張?zhí)卣鲌D像。

圖2 PCA 模型產(chǎn)生的特征圖像

2.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)隨機(jī)選擇兩張真實(shí)新冠CT 圖像進(jìn)行測(cè)試，如圖3所示，左邊圖像記為A，右邊圖像記為B。從兩張圖像可以看到在肺部有明顯的磨玻璃影，用藍(lán)色方框圈出。本研究將分別使用Unet 和PCA-Unet 對(duì)這兩塊區(qū)域進(jìn)行分割，并定量比較分割結(jié)果。

圖3 測(cè)試圖像

圖4給出了測(cè)試圖像A 的分割結(jié)果?？梢钥闯?，與金標(biāo)準(zhǔn)相比，Unet 方法雖然能實(shí)現(xiàn)較好的結(jié)果，但當(dāng)背景部分干擾較大時(shí)難以很好的擬合磨玻璃影的輪廓。而PCA-Unet方法分割結(jié)果較佳，能將磨玻璃影部分清晰地分割出來(lái)，更接近金標(biāo)準(zhǔn)。

圖4 測(cè)試圖像A 分割結(jié)果

同時(shí)，從表1的定量結(jié)果可以看出，PCA-Unet 比Unet在四個(gè)評(píng)價(jià)指標(biāo)上都具有優(yōu)勢(shì)。因此，不論是從主觀印象還是客觀指標(biāo)都可以看出，對(duì)于新冠CT 圖像A，PCA-Unet比Unet 有更好的分割表現(xiàn)。

表1 本文方法與Unet 在測(cè)試圖像A 上的結(jié)果對(duì)比

另外，圖5給出了測(cè)試圖像B 的分割結(jié)果。從圖中可以明顯看出，本文提出的方法更接近金標(biāo)準(zhǔn)，更能把磨玻璃影的輪廓擬合出來(lái)。

圖5 測(cè)試圖像B 分割結(jié)果

類似的定量結(jié)果可以從表2中看出，除了在召回率這一項(xiàng)指標(biāo)上，PCA-Unet 落后于Unet 之外，在其他三項(xiàng)指標(biāo)上，PCA-Unet 都占有優(yōu)勢(shì)。綜合測(cè)試圖像A 和B 的分割結(jié)果，可以看出，PCA-Unet 具有較好的魯棒性，比單獨(dú)使用Unet有更優(yōu)良的分割表現(xiàn)。

表2 本文方法與Unet 在測(cè)試圖像B 上的結(jié)果對(duì)比

3 結(jié) 論

在本研究中，針對(duì)Unet 模型的一些不足，我們提出了使用PCA 進(jìn)行特征預(yù)提取，然后再輸入U(xiǎn)net 進(jìn)行訓(xùn)練的聯(lián)合模型。同時(shí)，在網(wǎng)絡(luò)層中使用BN 技術(shù)進(jìn)行處理。通過(guò)這些改進(jìn)，提出的模型相比原始的Unet 在新冠CT 圖像分割上獲得了更好的效果。從視覺印象上，使用本文方法獲得的分割輪廓更接近金標(biāo)準(zhǔn)。在四項(xiàng)定量指標(biāo)上，本文方法也幾乎全面超過(guò)了Unet。這些結(jié)果對(duì)于基于CAD 的臨床診斷具有一定的現(xiàn)實(shí)意義，能夠幫助臨床醫(yī)生更好的進(jìn)行圖像分析。