粗-細兩階段卷積神經網絡算法

張夢倩，張 莉,2+

1.蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006

2.蘇州大學 機器學習與類腦計算國際合作聯合實驗室，江蘇 蘇州 215006

圖像分類是計算機視覺中最基本的任務。早期，支持向量機和K近鄰方法是圖像分類的主流方法。然而，在1998 年Lecun 等人[1]提出了用于圖像分類的5 層卷積神經網絡（convolutional neural network，CNN），即LeNet-5 方法之后，CNN 開始在這個領域散發(fā)光芒。因而，基于CNN 的各種高效方法被提出，如AlexNet（Alex network）[2]、VGG16（visual geometry group 16）[3]、GoogLeNet（Google Net）[4]、ResNet（deep residual network）[5]、DenseNet（densely networks）[6]等。

細胞圖像分類在圖像分類任務中占有一席之地，如宮頸細胞[7-8]、白細胞[9]、紅細胞[10]等。細胞圖像往往來自醫(yī)學圖像采集，與視覺圖像相比，這類圖像通常具有分辨率低、對比度低、圖像信息模糊等特點。因此，細胞圖像分類是圖像分類中的一個難題。然而，對細胞圖像進行準確分類對于臨床診斷和醫(yī)學研究具有重要意義。因此，細胞圖像分類具有重要的學術研究價值和巨大的實用研究價值。

本文研究的對象是人上皮2 型（human epithelial type 2，HEp-2）細胞，針對其間接免疫熒光檢測（indirect immunofluorescence，IIF）圖像進行分類。對于HEp-2 圖像而言，往往有著看似相同的細胞輪廓和難以區(qū)分的細節(jié)特征。因而，對HEp-2 細胞圖像細節(jié)特征中的差別進行抽取，是分類任務的根本。但對于HEp-2 細胞全局特征的把握也是不可或缺的，Gao等人[11]在其論文中對于細胞掩模部分的研究充分證明了這一點。因此，單一地關注其全局特征或者細節(jié)特征，都無法對其準確判斷。

因此，本文將粗-細（coarse-to-fine,CTF）策略應用到模型中。在人類的生長和生活中，對于視覺的感知往往是一個CTF 的過程。例如，當新生兒的初始視力很弱時，在大多數情況下，只能看到物體的整體結構，對于細節(jié)特征的掌握和記憶能力較差。隨著視力的提高和大腦發(fā)育的不斷改善，大腦將逐漸豐富每一個認知原型的細節(jié)，從而獲得對目標粒度更豐富的理解，直到穩(wěn)定。這與Navon[12]在1977 年提出的視覺感知中的“全局優(yōu)先”效應相吻合，即對于人類而言，全局特征比局部特征更能被識別。相應的認知實驗表明，人類識別大寫字母的反應時間，比識別小寫字母的反應時間短。該理論也充分證明了CTF 的合理性。

學者們相繼將CTF 策略應用到了相關算法中。該策略最早出現在20 世紀90 年代初的人臉檢測算法中，Yang 和Huang[13]提出了使用CTF 策略來解決計算資源不足的問題。在對人像進行下采樣和上采樣后，先對模糊圖像進行分類，然后對原始圖像進行進一步分類，不僅提高了分類結果，而且節(jié)約了計算資源。在圖像分類領域，也有不少學者對CTF 策略進行了擴展應用。Tian 等人[14]提出以霍夫圓檢測為粗分類器及CNN 和支持向量機為細分類器，對白細胞和白帶濕膜細胞進行識別。Fu 等人[15]利用CNN 不同維度的全連接層輸出，作為粗略和精細的信息，聯合優(yōu)化損失函數對圖像進行分類。以上方法雖不同，但都表明了CTF 策略對模型有正面影響。

為此，本文提出一種基于聚類的粗-細卷積神經網絡（coarse-to-fine two-stage convolutional neural network，CTFTCNN）模型，并應用于HEp-2 細胞圖像分類。本文模型由兩種子網絡組成：粗粒度網絡和細粒度網絡。每種子網絡都獨立訓練，不會增加整體網絡的深度。先基于驗證集圖像聚類，獲得一個粗粒度數據集，用于粗粒度網絡的訓練。該數據集在每一粗類中包含一個或多個細類且每個細類只屬于一個粗類。

在CTFTCNN 中，粗粒度網絡是一個多尺度卷積神經網絡（multi-scale convolutional neural network，MSCNN）[16]。為其分配的任務是確定樣本屬于哪個粗類，這項任務的重點是識別圖像的全局特征，相對較簡單?？蓪⒋至６染W絡類比弱視時期的人類。細粒度神經網絡中包含的網絡個數，與粗粒度數據集中包含兩個細類以上的粗類個數相同。每個子網絡將對應每個粗類，用于重新訓練兩個或多個細類。細粒度網絡中的每個子分類器都是一個需要微調的VGG16 網絡，可以極大地節(jié)省計算資源和訓練時間?？蓪⒓毩６染W絡類比有著豐富視覺經驗和專業(yè)知識時期的人類。預測時，如果粗類中只含有一個細類，則可以從粗粒度網絡輸出結果。否則，將粗粒度網絡和細粒度網絡提取的特征，聯合決定出最終的預測結果。

1 相關工作

1.1 HEp-2 細胞分類

病人血清中的抗核抗體是各種自身免疫性疾病特別是抗核抗體相關風濕性疾病的重要血清標志物。常用的檢測血清中抗核抗體的方法是用純化或重組抗原篩選抗核抗體，如酶聯免疫吸附試驗（enzyme linked immunosorbent assay，ELISA）和HEp-2 細胞間接免疫熒光法（IIF）[17-18]。雖然ELISA 方法簡單、自動化程度高，但在抗原純化過程中，會出現抗原性“衰減”或“失活”等缺點，而后一種方法則不會。另外，HEp-2 細胞是人源性細胞，有著核抗原豐富、特異性強、含量高、核體積大、細胞結構清晰等優(yōu)點，易于觀察和熒光染色分析，還能檢測總抗核抗體。因此，基于HEp-2 細胞的IIF 方法被美國風濕病學會和歐洲自身免疫標準化協(xié)會推薦為抗核抗體檢測的標準方法[19]。本文針對經過IIF 方法的HEp-2 細胞，對其抗核抗體的核型進行鑒定，其中不同的核型，可能對應于不同的自身免疫性疾病。

在2015 年之前，對于HEp-2 圖像分類的主流方法是傳統(tǒng)淺層機器學習[20-26]。在這類算法中，特征提取是分類任務的關鍵步驟。但傳統(tǒng)淺層機器學習算法提取的特征不充分，且包含一些不相關的特征，導致分類性能較差。為了進一步提高分類性能，學者們提出了一些基于CNN 的HEp-2 圖像特征提取方法。Gao 等人[11]在2017 年提出了一種基于5 層CNN的HEp-2 圖像分類器，在ICPR 2012 和ICPR 2014 數據集上都取得了良好的效果。并說明了在處理HEp-2 圖像時，不需要使用掩模和校正圖像。同年，Liu 等人[27]提出了一個由5 層CNN 組成的深度自動編碼分類網絡（deep autoencoding-classification network,DACN），分為兩個分支：圖像恢復解碼器和圖像分類器。DACN 的損失函數是兩個分支的聯合。

基于殘差網絡ResNet[5]，Shen 等人[28]提出了一種更深層次的網絡結構，稱為深交叉剩余網絡（deep cross residual network，DCRN）。DCRN 中的深度交叉殘差模塊由3 個卷積層和3 個交叉連接組成，將網絡升級到24 層，并在I3A 和ICPR 2012 數據集上取得了良好的效果。無獨有偶，Xie 等人[29]提出了一種50 層的深度監(jiān)督ResNet（deeply supervised ResNet,DSRN），充分利用了殘差模塊，能夠解決梯度消失和彌散問題。

1.2 圖像聚類

聚類算法是一類無監(jiān)督學習算法，其目的是利用相似度度量，使得同一個簇（或組）的數據比來自不同簇的數據更相似。以此，將數據集分為多個簇。因此，數據的特征在聚類算法中顯得極為重要。然而，圖像數據的信息表示方式不具有結構化和代表性，給特征的確定帶來困難，同時圖像數據也是一種高維數據。即使是100×100 像素的小灰度圖像也有10 000 維。因此，圖像的聚類通常存在以下問題：（1）直接在高維數據集中應用聚類算法效率低。（2）由于數據在高維空間中具有稀疏性，數據分布分散難以成簇。（3）由于維數高，算法的計算時間復雜度也高。

實際上，學者們對圖像聚類做了很多研究。Zheng 等人[7]提出了一種用于圖像聚類的局部預服務方法。Yang 等人[30]提出了一種使用局部判別模型和全局集成的聚類算法。He 等人[31]提出在張量空間中表示圖像，并采用K-means 對這些圖像進行聚類。Tariq 等人[32]基于張量分解和圖像的空間結構，提出了一種非參數聚類方法。另有學者以深度學習的方式從自編碼器中抽取圖像特征，嵌入聚類層完成圖像聚類任務[33]。對于數據降維算法[34]和聚類算法[35]的優(yōu)化，也都在不斷進行。

在本文方法中，聚類的作用是輔助劃分數據集為粗集。本文使用最簡單也最普遍的方法，主成分分析和K-均值（PCA+K-means）來輔助劃分數據集。

2 粗-細兩階段神經網絡算法

2.1 數據預處理

假設{(X,Y)}={(x1,y1),(x2,y2),…,(xn,yn)} 為給定的數據集，其中圖像數據xi∈?l×d，yi∈{1,2,…,k}是xi的標簽，l和d分別表示圖像的行和列數，k是總的類別數，也是細類的個數。令X=XT?XV和Y=YT?YV，其中XT是樣本數為|XT|=t的訓練集，XV是樣本數為|XV|=v的驗證集，YT和YV是對應的標簽集，n=t+v是給定樣本的數量。

本文方法采用CTF 策略。先考慮為粗粒度分類任務生成粗粒度數據集，即對原始數據集進行一個粗略的劃分。一般情況下，根據給定的簇數k′且k′

接著本文考慮為細粒度分類任務生成數據集。由于細粒度網絡采用VGG16 模型，需要將原始圖像xi∈?l×d轉換成大小為224×224 且通道為3 的圖像，即。令轉換后的圖像數據集為。根據先前的聚類結果，對轉換后的圖像數據集進行重新劃分，即。本文使用細類標簽生成訓練集和驗證集：

其中，tu和vu分別表示Cu粗類中訓練集和驗證集的圖像個數。

2.2 訓練過程

2.2.1 粗粒度網絡

從圖1（a）可以看出，粗粒度網絡是一種MSCNN模型，它可以在非相鄰層之間傳遞信息。由于MSCNN在圖像分類問題上，特別是在低精度圖像的分類問題上具有優(yōu)異的性能[36]，本文將MSCNN 作為粗粒度網絡。

Fig.1 Model in training procedure圖1 訓練過程的模型結構圖

如圖1（a）所示，粗粒度網絡由5 個卷積層、3 個非重疊最大池層、2 個完全連接層和1 個多尺度連接組成。粗粒度網絡的參數列在表1 中，6′表示操作設置在多尺度連接上。在執(zhí)行卷積之后，每個層由激活函數ReLU（rectified linear unit）來激活。激活函數可以為模型引入非線性因素，提高網絡表達能力。

Table 1 Configuration of coarse-grained network with input size 78×78表1 輸入尺寸為78×78 的粗粒度網絡的配置

在本文的模型中，粗粒度網絡被用作初級分類。粗粒度網絡的訓練集是帶有粗類標簽y′i的XTC。由于聚類的作用，在某粗類中的圖像具有相似的全局特征。而正如“全局優(yōu)先”假設所言，對于全局特征的識別比局部特征要簡單得多，因此粗粒度網絡的結構相對簡單。在粗粒度網絡中，卷積層的核較大，便于從圖像中提取全局特征。

粗粒度網絡的具體訓練過程如下。對于任意(xi,y′i)∈XTC，將xi通過11 層網絡，并使用Softmax 函數得到它的粗類估計輸出。其中，在第三個卷積層之后，特征映射將被傳播到兩條路徑：主路徑和分支路徑。在主路中，第三卷積層的輸出通過2×2 非重疊最大池化層和第四個卷積層。在分支路徑中，第三個卷積層的輸出直接通過4×4 的非重疊最大池化層，與主路徑中的特征映射在信道上進行拼接。將拼接后的特征映射通過第五卷積層，在通道上進行混合和壓縮，進一步融合前后特征信息。最后經過2 個全連接層后，通過Softmax 函數對特征圖進行分類。

粗粒度網絡的模型可以表示為以下公式：

其中，FC(xi)表示xi在粗粒度分類階段的最終特征圖，fconv(?)表示卷積層操作，表示重復k次的全連接操作，fconv+p4(?)表示卷積操作和步長為4 的非重疊最大化池化層，表示重復k次卷積操作和步長為2 的非重疊最大化池化層。采用Softmax 函數對xi的粗類估計表示如下：

2.2.2 細粒度網絡

細粒度網絡的目標是通過進一步細化每個粗類的判別能力，以此來提高分類性能。根據“全局優(yōu)先”假設可知，確定細節(jié)特征的任務相對困難。因此，本文需要用復雜而有經驗的網絡來處理它。VGG16 包含16 層，并且由數以千計的圖像進行預訓練，是解決任務的“最佳人選”。同時，在細粒度網絡中，卷積核較小，也便于從圖像中提取細節(jié)特征。在本模型中，細粒度網絡采用已預訓練好的VGG16 模型，其中預先訓練的VGG16 模型意味著，該模型已經在ImageNet 數據集上進行了訓練，并且在許多分類應用中取得了良好的效果。此處，本文再對VGG16進行微調，可以節(jié)省訓練成本并提高模型表達效率。由于原VGG16 模型使用224×224×3 的圖像進行訓練，因此相應地把輸入細粒度網絡的圖像尺寸進行了調整，以便更好地適應VGG16 模型。

2.3 預測過程

假設已經訓練好了粗粒度網絡和細粒度網絡。現在考慮對無標簽的圖像x∈?l×d分配標簽。

首先，通過粗粒度網絡對x進行初步的類別預測，即

其中，0 ≤α≤1 是加權系數。如圖2 所示，將混合特征圖F(x)輸入到分類器中獲得對x的分類估計：

3 實驗與結果

為了驗證本文所提模型的有效性，本章在ICPR2014 Task-2 數據集上測試并對比了本文方法。

以Python 3.6 在Tensorflow1.13.1 框架作為實驗運行環(huán)境。在本文的實驗中，以1E-4 的學習率，采用Adam（adaptive moment estimation）優(yōu)化器來訓練網絡。

3.1 度量標準

對HEp-2 細胞分類模型的性能評估，通常采用的指標為平均分類準確率（average classification accuracy，ACA）和平均類精度（mean class accuracy，MCA）。給定N個測試樣本xi及標簽yi，ACA的計算公式如下：

MCA 主要計算每個類的平均精度，公式如下[37]：

其中，CCRj指第j類的正確分類率。

3.2 數據集

Fig.2 Model in prediction procedure圖2 模型預測結構圖

本文采用ICPR 2014 Task-2數據集進行實驗。該數據來源于澳大利亞Sullivan Nicolaides病理實驗室，收集自1 001名抗核抗體陽性患者血清[38-39]。收集過程如下：首先把病人血清稀釋到1∶80，形成一個樣本；然后，用安裝在顯微鏡上的單色照相機拍攝標本。每個樣本在4 個不同的位置拍攝，即每個樣本呈現4個樣本圖像。樣本圖像的染色核型分為6 類：14 367個均勻型、14 655 個斑點型、13 257 個核仁型、13 737個著絲粒型、5 086 個高爾基型和2 343 個核膜型。

所有樣本圖像均為單色未壓縮格式，分辨率為1 388×1 040 像素，并帶有自動獲取的相應細胞掩模。Qi 等人[40]利用ICPR 2014 Task-2 數據集的分割掩模，設計了一種自動提取細胞圖像的方法，從ICPR 2014 Task-2 數據集中共裁剪出6 個模式63 445個細胞圖像。裁剪后的HEp-2 圖像大小在70×70 左右浮動。為了不丟失信息和統(tǒng)一起見，本文將裁剪的HEp-2 圖像的大小調整為78×78。圖3 顯示了數據集中的一些圖像樣本。

3.3 實驗和結果

公平起見，所有的實驗都是在相同的環(huán)境下進行的，所有方法采用相同的激活函數，并在同一訓練和測試集上進行。

在經過粗粒度網絡前，通過對驗證集聚類獲得粗分集合。本次實驗中選取k′=3，聚類過程中，隨機多次從驗證集中抽取不同規(guī)模（600，1 200，3 000）的數據，進行多次聚類，均獲得相同的聚類結果。聚類結果為C1={1,2,4}，C2={3}，C3={5,6}。隨后，本文使用粗粒度訓練集來訓練粗粒度網絡，進行了12 000次迭代，并進行測試。粗粒度網絡的測試結果如表2所示。為顯示細粒度網絡對網絡性能提升的幫助，將粗分類網絡的具體分類性能顯示在表3 中，其中粗體表示該類的準確性。

Table 2 Classification performance of coarse-grained network on test set表2 粗粒度網絡在測試集上的分類性能 %

Table 3 Classification performance of coarse-grained network on test set(specific)表3 粗粒度網絡在測試集上的分類性能（具體）%

本文模型在測試集上得到的最終分類結果，顯示在表4 中。比較表3 和表4，可以看出均勻型、斑點型和著絲粒型的分類精度在經過細粒度網絡后性能是增加的，分別增加了11.1 個百分點、9.1 個百分點和1.8 個百分點。同時通過細粒度網絡后，也降低了它們的混淆率。此外，還可以看到，屬于C3粗類的圖像，通過對應的細粒度網絡，高爾基型和核膜型的分類準確率分別提高了1.7 個百分點和3.1 個百分點。

Table 4 Classification performance of CTFTCNN on test set表4 CTFTCNN 在測試集上的分類性能 %

Fig.3 Examples of 6 classes of HEp-2 cell patterns圖3 6 類HEp-2 細胞染色模式示例

這些現象表明，為了進一步區(qū)分類，有必要為C1和C3構建細粒度網絡。在細粒度網絡的幫助下，5 個類的分類性能都得到了提高。因此，CTFTCNN 的分類性能在總體上優(yōu)于粗粒度網絡，即MSCNN。

此外，本文結果與Gao 等人[11]提出的5 層CNN、Shen 等人[28]提出的DCRN 以及Tian 等人[14]提出的細胞分類模型進行對比。由于上述方法的源碼無法獲得，且模型結構簡明詳盡，對比方法的實驗結果是復現所得。如第2 章所述，粗粒度網絡和細粒度網絡，分別是MSCNN 和經過預訓練的VGG16 網絡，也可以直接將兩者單獨用作分類器進行對比。

在表5 中列出了本文模型與其他方法的性能比較。從表5 中可以看到，所提出的模型在比較方法中具有最高的ACA 和MCA，其次是DCRN。在ACA和MCA 指標上，本文模型分別高于DCRN4.5 個百分點和3.06 個百分點。因此，CTFTCNN 與最先進的方法相比具有更好的性能。

Table 5 Comparison of 6 methods on test set表5 6 種方法在測試集上的比較

對于任意圖像，如果粗粒度網絡為其分配C2類的粗標簽，那么可以直接得到它的細類標簽為3，即為核仁型；否則將其放入相應的細粒度網絡。然后根據式（4）確定其標簽，其中根據經驗設置α=0.2。

4 總結

本文針對HEp-2 細胞圖像分類，提出了一種具有CTF 策略的CNN 模型。該模型將粗粒度網絡和細粒度網絡結合，用以代替更深層次的CNN。因此該模型可以解決較深CNN 帶來的一些問題。對于粗粒度網絡，利用MSCNN 的結構，保持層間信息的有效連接融合。在設置細粒度網絡時，應用了遷移學習思想，有利于減少計算資源消耗。該模型結合HEp-2 細胞圖像的特征，可以有效地對HEp-2 細胞圖像進行分類。本文在ICPR 2014 Task-2 數據集上進行了實驗。與MSCNN 相比，CTFTCNN 在一定程度上提高了其分類精度，充分說明了CTF 策略的必要性和集成學習的有效性。與目前最先進的方法相比，CTFTCNN 也具有優(yōu)越性。因此，本文提出的模型對于臨床診斷具有很大的潛力。