基于半監(jiān)督方法的腦梗死圖像識別

歐莉莉，邵峰晶*，孫仁誠，2，隋 毅

（1.青島大學計算機科學技術學院，山東青島 266071；2.青島大學附屬醫(yī)院，山東青島 266071）

0 引言

近年來，隨著醫(yī)學成像技術不斷提高，各種醫(yī)學設備產(chǎn)生的大量醫(yī)學圖像，為醫(yī)學圖像識別研究提供了充分的數(shù)據(jù)來源。然而，由于醫(yī)學圖像數(shù)據(jù)具有多模態(tài)性、多維性和不確定性等特點［1］，給醫(yī)學圖像識別帶來了很大挑戰(zhàn)。傳統(tǒng)的醫(yī)學圖像識別是由醫(yī)生對患者的超聲影像進行肉眼觀察診斷，其識別率低、耗時比較長，診斷結(jié)果也往往具有主觀性和低可靠性，難以滿足當下的醫(yī)學需求，而深度學習（Deep Learning）的出現(xiàn)促進了醫(yī)學圖像識別的進一步發(fā)展。深度學習作為機器學習的一個重要分支，其原理是模仿人腦的機制，自動學習數(shù)據(jù)的內(nèi)在規(guī)律，利用分層網(wǎng)絡模型逐層地提取特征，這些特征能準確地反映數(shù)據(jù)信息，從而提高圖像識別的準確性。

生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）是由Goodfellow 等［2］在2014 年提出的，并且在深度學習領域引起廣泛的研究熱潮。由于GAN 的生成能力比較強，人們逐漸將其應用于圖像領域，例如圖像合成［3］、圖像修復［4］、圖像識別、視頻檢索［5］、根據(jù)文字生成圖片［6］、圖像超分辨率［7］、灰度圖像上色［8］及X光圖像的生成［9］等方面。在圖像識別領域中，雖然基于GAN 的方法［10］具有很高的識別率，但是與監(jiān)督學習方法一樣，在訓練時需要大量的標簽數(shù)據(jù)。當標簽數(shù)據(jù)不足時，會影響一些特定問題的識別效果。如：在對醫(yī)學圖像分析時，采集到的樣本需要先由經(jīng)驗豐富的醫(yī)生進行標注，然后才能進行分析，但是這個過程要耗費大量的時間和人力，還會浪費無標簽樣本中的一些重要信息［11］。

本文針對這個問題，將半監(jiān)督生成對抗網(wǎng)絡（Semi-Supervised GAN，SSGAN）［12］與深度卷積生成對抗網(wǎng)絡（Deep Convolutional GAN，DCGAN）［13］的特點相結(jié)合，構(gòu)建半監(jiān)督深度卷積生成對抗網(wǎng)絡（Semi-Supervised DCGAN，SS-DCGAN）模型，在該模型中將具有特征提取功能的卷積神經(jīng)網(wǎng)絡加入到生成器與判別器中，用來提取圖片的特征信息。本文實驗中選用的是腦部磁共振（Magnetic Resonance，MR）圖像數(shù)據(jù)，其中只有少量的標簽數(shù)據(jù)，通過對比不同模型在該數(shù)據(jù)集上的實驗結(jié)果，證明半監(jiān)督深度卷積生成對抗網(wǎng)絡具有一定的魯棒性。

1 生成對抗網(wǎng)絡

GAN 是一種深度學習模型，主要由生成器和判別器組成，生成器G與判別器D是一種博弈對抗關系。GAN 網(wǎng)絡中生成器與判別器是一種對抗關系，在模型訓練時需要對兩個網(wǎng)絡同時進行訓練［14］，生成對抗網(wǎng)絡的基本框架如圖1所示。

圖1 GAN基本框架Fig.1 Base framework of GAN

生成器負責最大化地擬合服從某種簡單分布的隨機噪聲，使其盡可能地服從真實數(shù)據(jù)的分布，并生成偽樣本；判別器負責判斷輸入的數(shù)據(jù)是否為真實數(shù)據(jù)，若為真則輸出為1，否則為0。訓練時，生成器與判別器相互博弈，前者生成的偽樣本慢慢接近真實數(shù)據(jù)，后者的判斷能力慢慢增強。當判別器無法確定數(shù)據(jù)是真實數(shù)據(jù)還是生成數(shù)據(jù)時，生成器已經(jīng)很好地學習到了真實數(shù)據(jù)的分布規(guī)律，即D(G(z))=0.5。式（1）為GAN模型的優(yōu)化函數(shù)［2］，由前后兩部分組成：

其中：x為真實數(shù)據(jù)，服從真實數(shù)據(jù)分布Pdata(x)；z為隨機噪聲，服從先驗分布Pz(z)；G（z）是將隨機噪聲z輸入到生成器所產(chǎn)生的偽樣本；D（x）和D（G（z））分別為判別器判斷x和G（z）為“真”的概率。

在判別器中，要提高判斷是真實數(shù)據(jù)還是生成數(shù)據(jù)的能力，需要對判別器的參數(shù)進行更新。對于真實數(shù)據(jù)就是要最大化D（x），即最大化log(D(x))；對于生成數(shù)據(jù)G（z），要最小化D（G（x）），即最大化log(1-D(G(z)))。由此可以得出判別器的目標函數(shù)，如式（2）所示：

在生成器中，通過欺騙判別器來提高自身生成偽樣本的能力，就要對生成器的參數(shù)進行更新。要想使判別器判斷不出輸入的數(shù)據(jù)是否是偽樣本，就要使D（G（z））最大，即最小化log(1-D(G(z)))。因此，生成器的目標函數(shù)如式（3）所示：

2 半監(jiān)督生成對抗網(wǎng)絡

2016 年OpenAI 提出了GAN 的改進模型——半監(jiān)督生成對抗網(wǎng)絡（Semi-Supervised GAN，SSGAN）［10］。本文將該網(wǎng)絡模型應用到腦部MR 圖像的識別上。相較于GAN 模型，SSGAN 使用標簽數(shù)據(jù)和無標簽數(shù)據(jù)共同訓練有類別信息的樣本。

SSGAN 模型的基本框架如圖2 所示。將隨機噪聲z輸入到生成器，并輸出生成樣本G（z）；G（z）與有標簽、無標簽的腦部MR數(shù)據(jù)一同輸入到判別器中。假定對于一個K分類問題，將生成器生成的偽樣本記為y=K+1類，判別器最后將輸出K+1 維的分類結(jié)果。在SSGAN 訓練過程中，其損失函數(shù)采用監(jiān)督學習與無監(jiān)督學習相結(jié)合的方式，這種做法有助于提高半監(jiān)督分類的準確率［15］。

圖2 SSGAN基本框架Fig.2 Base framework of SSGAN

為了能夠更好地獲取腦部MR 圖像的特征信息，本文還采用了將傳統(tǒng)的監(jiān)督學習方法卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）與無監(jiān)督的GAN 相結(jié)合的深度卷積生成對抗網(wǎng)絡（Deep Convolutional GAN，DCGAN）［11］。該模型是由Alec Radford 于2015 年提出的，并首次將卷積神經(jīng)網(wǎng)絡與生成對抗網(wǎng)絡結(jié)合在一起，利用卷積神經(jīng)網(wǎng)絡的特征提取功能［16］，來提高GAN模型訓練過程的穩(wěn)定性。

DCGAN的主要貢獻表現(xiàn)在下列三個主要方面：

1）改變了普通卷積神經(jīng)網(wǎng)絡在卷積之后接一層池化的結(jié)構(gòu)，去掉池化層。判別器中池化層換成步長為1 的卷積層，而生成器中的池化層換為反卷積層。

2）刪除網(wǎng)絡中的全連接層，將卷積神經(jīng)網(wǎng)絡連接到生成器判別器的輸入輸出層。

3）在生成器和判別器輸入層、中間層都使用批量歸一化（Batch Normalization，BN）。

除此之外，因為GAN 中使用的是不適合高分辨率生成的maxout［17］激活函數(shù)，而DCGAN 在生成器的輸出層使用Tanh激活函數(shù)，其他層均使用ReLU（Rectified Linear Unit）［18］激活函數(shù)；在判別器的每層都使用LeakyReLU［19］激活函數(shù)。

3 半監(jiān)督深度卷積生成對抗網(wǎng)絡

半監(jiān)督深度卷積生成對抗網(wǎng)絡（SS-DCGAN）的主要思想是：結(jié)合了SSGAN 和DCGAN 的特點，建立圖像識別模型SSDCGAN。在模型中將深度卷積神經(jīng)網(wǎng)絡引入到生成器與判別器中。在訓練時，判別器作為分類器進行訓練。在該模型中不僅使用了標簽數(shù)據(jù)，還使用了大量的無標簽數(shù)據(jù)，主要是為了利用無標簽數(shù)據(jù)來提高標簽數(shù)據(jù)的分類精度。在訓練時，雖然無標簽數(shù)據(jù)不帶有類別信息，但卻有助于學習數(shù)據(jù)的整體分布，同時能夠提高模型的分類準確率。

在生成器中，首先，將服從某種特定分布的100 維隨機噪聲輸入到生成器中，經(jīng)過Reshape 操作，得到一個三維張量，大小為4×4×1 024；然后將該三維張量經(jīng)過6 次反卷積和上采樣，生成與真實數(shù)據(jù)大小及分布一致的樣本圖像。最后在輸出層輸出大小為128×128×3 的偽樣本圖像，其中128×128 代表圖像的分辨率，3 代表圖像通道數(shù)。在反卷積過程中，卷積核ω的大小為5×5，步長stride 為2，完成一次反卷積操作，都要進行批量歸一化處理。網(wǎng)絡的輸出層采用的是Tanh 激活函數(shù)，其余層采用的是ReLU激活函數(shù)。其結(jié)構(gòu)如圖3所示。

在判別器中，采用的了17 層卷積神經(jīng)網(wǎng)絡和3 個全連接層。首先，通過17 層卷積層對128×128×3 的圖像進行特征提取，再利用全連接層對特征信息進行整合，最后輸出分類結(jié)果。每完成一次卷積操作就要進行批量歸一化，在卷積過程中采用的是LeakyReLU 激活函數(shù)。它與ReLU 函數(shù)的不同之處在于，LeakyReLU 函數(shù)在負半軸保留了數(shù)值為0.2 的斜率，作用是：在訓練過程中，避免因出現(xiàn)梯度消失，模型無法收斂的情況。網(wǎng)絡的輸出層是全連接層，并通過Softmax 輸出歸一化類別概率。其結(jié)構(gòu)如圖4所示。

圖3 SS-DCGAN生成器結(jié)構(gòu)Fig.3 Generator structure of SS-DCGAN

圖4 SS-DCGAN的判別網(wǎng)絡Fig.4 Discriminator network of SS-DCGAN

4 基于SS-DCGAN的腦部MR圖像識別

基于上述模型結(jié)構(gòu)，針對腦部MR 圖像識別中有標簽數(shù)據(jù)稀缺的問題，采用了一種基于GAN 模型的半監(jiān)督方法來實現(xiàn)腦部MR 圖像的識別。該方法對網(wǎng)絡參數(shù)的更新是通過監(jiān)督損失和無監(jiān)督損失共同訓練，在生成器中，利用特征匹配來提高GAN 的學習能力，通過對抗訓練來提高圖像識別的準確率。

4.1 數(shù)據(jù)及預處理

本文所用數(shù)據(jù)來自青島大學附屬醫(yī)院神經(jīng)科，是在有經(jīng)驗臨床醫(yī)生的指導下選取的腦部MR 圖像，并將其分為正常（不患腦梗）和異常（患腦梗）兩種類別的圖像，在異常圖像中又根據(jù)其患腦梗病變的面積將其分為：腔隙性腦梗死（病變面積＜1.5 cm）、小梗死（病變面積1.5～3 cm）、大梗死（病變面積＞3 cm）。正常圖像的腦組織區(qū)域呈灰黑色，而異常圖像的腦組織會有部分灰白色區(qū)域，如圖5所示，圖5（b）中框中部分即為病灶區(qū)域。

為了使輸入圖像尺寸與模型相匹配，在輸入模型之前需要將裁剪后大小不一的圖像設置成相同的大小?？紤]到模型訓練速度以及計算機性能等原因，選擇128×128 像素作為輸入圖像的尺寸大小。通過對初始樣本中的少量圖片進行數(shù)據(jù)增強，將它們以不同的角度逆時針翻轉(zhuǎn)（如10°、15°、20°、25°），從而使數(shù)據(jù)擴充到6 744 張，并將數(shù)據(jù)集的80%作為訓練集，20%作為測試集，即訓練集5 396 張，測試集1 348 張。其中訓練集分為標簽數(shù)據(jù)與無標簽數(shù)據(jù)，并且無標簽數(shù)據(jù)要遠多于標簽數(shù)據(jù)。

圖5 腦部MR圖像Fig.5 MR images of brain

4.2 SS-DCGAN模型訓練

在SS-DCGAN 中，對于一個K分類問題，將生成器生成的偽樣本添加到真實數(shù)據(jù)中，并記為第K+1 類，將數(shù)據(jù)x作為判別器的輸入，并輸出一個K+1 維的邏輯向量(l1，l2，…，lK+1)，再通過softmax函數(shù)得出歸一化類別概率：

其中：Pmodel的最大值對應類別的預測標簽。

SS-DCGAN 模型的訓練過程就是損失函數(shù)的優(yōu)化過程。在判別器中，要輸入三種類別的數(shù)據(jù)（有標簽數(shù)據(jù)、無標簽數(shù)據(jù)、生成數(shù)據(jù)），且都有其相應的損失函數(shù)，即有標簽數(shù)據(jù)損失Llabel、無標簽數(shù)據(jù)損失Lunlabel、生成樣本損失Lgen。

有標簽數(shù)據(jù)損失，即真實類標簽分布和預測類標簽的交叉熵損失，此表達式為：

無標簽數(shù)據(jù)損失，即無標簽數(shù)據(jù)來自真實數(shù)據(jù)，此時y≠K+1，該表達式為：

生成樣本的損失，即生成器生成的偽樣本被判別器判斷為假樣本的損失，此時y=K+1，該表達式為：

其中：x為數(shù)據(jù)圖像；y為有標簽數(shù)據(jù)的標簽，即y∈{1，2，…，K，K+1}；x，y～Pdata表示輸入帶有標簽y的真實數(shù)據(jù)圖像x；x～Pdata表示x是真實數(shù)據(jù)分布中的無標簽數(shù)據(jù)；x～G表示x來自生成器生成的偽樣本；Pmodel(·|·)表示預測類概率。

在判別器的損失函數(shù)中：

1）有標簽樣本的損失Llabel，相當于一個標準的監(jiān)督分類任務的訓練過程，對于一個K分類，優(yōu)化網(wǎng)絡參數(shù)需要通過最小化標簽數(shù)據(jù)樣本和模型預測分布Pmodel(y|x)之間的交叉熵。

2）無標簽樣本損失Lunlabel，在訓練時就是要盡可能最大化無標簽數(shù)據(jù)來自真實數(shù)據(jù)的概率。

3）生成樣本損失Lgen，在訓練時就是要盡可能地最大化樣本來自生成樣本的概率。

判別器的訓練過程就是優(yōu)化損失函數(shù)的過程。其中，對有標簽數(shù)據(jù)進行監(jiān)督學習，對無標簽數(shù)據(jù)和生成樣本進行無監(jiān)督學習。即，判別器的總損失函數(shù)LD是由監(jiān)督損失函數(shù)Lsupervised和無監(jiān)督損失函數(shù)Lunsupervised組成，公式如下：

判別器會將生成樣本判別為假樣本，為了欺騙判別器，達到擴充樣本的目的，就需要生成器生成的偽樣本近似擬合真實數(shù)據(jù)。在本文并沒有采用原始GAN 中的方法來定義生成器的損失函數(shù)LG，而是采用特征匹配的方法［10］，即：訓練過程中，G的損失函數(shù)為生成樣本與真實樣本特征匹配的結(jié)果，通過最小化損失函數(shù)，生成器實現(xiàn)最大化擬合真實數(shù)據(jù)的分布。其定義為：

其中：f(·)表示判別器中間層的特征值；||·||2表示2-范數(shù)。

本文為了提高模型的學習能力，將監(jiān)督和無監(jiān)督損失相結(jié)合，共同來對判別器的參數(shù)進行調(diào)整，過程為：訓練時，判別器與生成器交替訓練，如果要更新一方的參數(shù)，就要固定另一方的參數(shù)。對判別器訓練時，參數(shù)的更新通過最小化標簽數(shù)據(jù)和模型預測分布之間的交叉熵，無標簽的真實數(shù)據(jù)和偽樣本需要通過GAN 的對抗訓練原理來進行參數(shù)的更新。訓練生成器時，采用的是特征匹配方法來擬合真實數(shù)據(jù)的分布。SS-DCGAN 模型是通過監(jiān)督與無監(jiān)督的聯(lián)合訓練來實現(xiàn)半監(jiān)督分類功能。

SS-DCGAN模型的訓練過程如下：

1）將服從某種簡單分布的隨機噪聲z輸入到生成器，得到偽樣本G（z）。

2）判別器中輸入真實樣本x（有標簽、無標簽）和偽樣本G（z），并通過softmax輸出歸一化概率值D（x）和D（G（z））。

3）使生成器的參數(shù)不變，如果圖像為有標簽的真實數(shù)據(jù)圖像，則將Llabel作為損失函數(shù)；若真實圖像為無標簽數(shù)據(jù)圖像，則Lunlabel作為損失函數(shù)；若輸入圖像為生成器生成的偽樣本圖像，則Lgen作為損失函數(shù)。判別器的參數(shù)調(diào)整采用Adam梯度下降法。

4）保持判別器的參數(shù)不變，全連接層的輸出為中間層特征，生成器參數(shù)的調(diào)整是通過真實圖像與偽樣本的特征匹配。

5）以上4個步驟重復執(zhí)行，當達到設定的epoch結(jié)束。

6）模型訓練完成后，將測試集輸入到判別器中，輸出圖像類別。

5 實驗與結(jié)果分析

本文實驗環(huán)境為Windows 10 系統(tǒng)，CPU 3.60 GHz，RAM 32.0 GB，Python版本為3.7。

實驗中數(shù)據(jù)加載方式為批處理，大小為16，epoch 為1 500。采用全局學習率為0.000 3、動量大小為0.5 的Adam優(yōu)化器來優(yōu)化損失函數(shù)［14］。為了充分驗證SS-DCGAN 模型圖像識別的有效性，在腦部MR 圖像上進行實驗。模型沒有對輸入的圖像進行預處理，只是將圖像做歸一化處理，再映射到［-1，1］的范圍上［14］。

將腦部MR 圖像在SS-DCGAN 模型上訓練1 500輪后判別器與生成器損失函數(shù)（D_loss 和G_loss）的變化曲線圖如圖6所示。

圖6 模型損失變化趨勢Fig.6 Loss trend of model

從圖6 可看出，隨著訓練次數(shù)的增加，判別器與生成器的損失都呈下降趨勢。在D_loss 損失圖中，在訓練初期出現(xiàn)急劇下降的趨勢，后期部分損失函數(shù)出現(xiàn)震蕩現(xiàn)象。而在G_loss 損失圖中，訓練時會出現(xiàn)大幅震蕩現(xiàn)象。原因是：兩個網(wǎng)絡訓練時進行博弈對抗，并不斷學習圖像的特征，后期兩個網(wǎng)絡的學習能力都逐漸增強，就會出現(xiàn)圖中所顯示的此消彼長的震蕩現(xiàn)象［9］。

圖7 為訓練情況下模型的分類準確率結(jié)果，其訓練情況下的平均準確率達到95.05%。

圖7 腦部MR圖像上訓練準確率變化趨勢Fig.7 Change trend of train_acc on MR images of brain

訓練結(jié)果表明，腦部MR圖像在SS-DCGAN模型上進行訓練時得到了較高的訓練準確率。為了測試SS-DCGAN 在標簽數(shù)據(jù)較少時的分類性能，將本文模型與監(jiān)督學習的卷積神經(jīng)網(wǎng)絡（CNN）［20］、半監(jiān)督梯度網(wǎng)絡（Ladder Network）［21］以及ResNet32（Residual Network 32）進行對比實驗。將有標簽數(shù)據(jù)的數(shù)量依次分為25、50、100、250、600、1 200，在這6 種不同標注數(shù)量的樣本中采用的數(shù)據(jù)集都是來自訓練集。表1 為上述4 種方法在這6 種不同標注數(shù)量樣本下的平均準確率，表2為不同標注數(shù)量樣本的測試時間，圖8 為平均準確率的變化趨勢圖。

表1 不同標注數(shù)量樣本的平均準確率Tab.1 Average classification accuracy of samples with different numbers of labeled data

表2 不同標注數(shù)量樣本的測試時間Tab.2 Test time of samples with different number of labeled data

表1 中的數(shù)據(jù)是每個模型在相同數(shù)據(jù)集、epoch 為1 500的情況下經(jīng)過6 次實驗得出的平均準確率，從中可以看出，SS-DCGAN 在有標簽數(shù)據(jù)較少時就能達到相較于其他方法不錯的準確率。例如：SS-DCGAN 在只有50 個標注樣本時就可以達到60.97%的平均準確率，但CNN想要達到與SS-DCGAN相當?shù)臏蚀_率就需要50～100個標注樣本。SS-DCGAN相較于其他兩種模型，即半監(jiān)督梯度網(wǎng)絡和ResNet32，都表現(xiàn)出優(yōu)越的性能。但是盡管在相同數(shù)據(jù)集下，經(jīng)過多次實驗，SSDCGAN 比ResNet32 的準確率高得并不是很多。所以為了排除實驗結(jié)果具有偶然性，同時也為了驗證SS-DCGAN 在同等條件下是否一直比ResNet32 優(yōu)越，對Mnist、Cifar10、SVHN（Street View House Number）三個公開的數(shù)據(jù)集在SS-DCGAN和ResNet32 上都進行epoch 為1 000 的實驗，實驗結(jié)果如表3所示。通過對這三次實驗的結(jié)果分析可得：在不同的數(shù)據(jù)集上進行實驗，SS-DCGAN 對圖片的識別準確率要優(yōu)于ResNet32，并且獲得更少的時間損耗。

圖8 不同標注數(shù)量樣本分類結(jié)果Fig.8 Classification result of samples with different numbers of labeled data

表3 不同數(shù)據(jù)的準確率與訓練時間Tab.3 Accuracy and training time of different data

為了驗證本文所提模型的優(yōu)越性，使用腦梗死數(shù)據(jù)集在多個改進的GAN 網(wǎng)絡模型上進行實驗，并且對每個模型分別進行了5 次實驗，對實驗結(jié)果求得平均值。實驗的最終結(jié)果如表4所示。

表4 不同模型的實驗結(jié)果對比Tab.4 Comparison of experimental results of different models

分析表4 可以得出，SS-DCGAN 模型的運行時間與GAN、CatGAN（Categorical GAN）、DCGAN 模型相差無幾，但準確率要高很多。

通過分析上述的實驗結(jié)果：SS-DCGAN 模型可以在腦部MR 圖像上獲得較好的識別效果；同時，在其他數(shù)據(jù)集上也驗證了該方法的有效性且準確率更高，表明本文所提模型具有一定的魯棒性與有效性。

6 結(jié)語

為了解決醫(yī)學圖像識別中有標簽數(shù)據(jù)不足的問題，結(jié)合了SSGAN 和DCGAN 的優(yōu)點，建立半監(jiān)督深度卷積生成對抗網(wǎng)絡模型。通過定義半監(jiān)督損失函數(shù)，以及監(jiān)督與無監(jiān)督學習的聯(lián)合訓練，利用模型的判別器來識別腦部MR 圖像。在腦部MR 圖像數(shù)據(jù)集下，實驗結(jié)果表明，SS-DCGAN 在標簽數(shù)據(jù)不足時，能表現(xiàn)出比其他監(jiān)督、無監(jiān)督模型更好的性能，且比其他改進的GAN 模型實現(xiàn)效果要好。未來，我們將進一步優(yōu)化網(wǎng)絡結(jié)構(gòu)，使模型的運算更加高效，識別效果更加精準，并將其應用于其他醫(yī)學圖像識別中。