基于SSN的數(shù)據(jù)集預(yù)處理框架

劉 瑯，徐中偉，梅 萌

(同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海 201804)

0 引 言

隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，計(jì)算機(jī)檢測(cè)癌細(xì)胞成為了可能。但由于病理學(xué)數(shù)據(jù)集是由專門的醫(yī)學(xué)機(jī)構(gòu)提供的，不同機(jī)構(gòu)所給出病理圖片的染色狀態(tài)卻不盡相同，這就對(duì)計(jì)算機(jī)輔助診斷(computer-aided diagnosis，CAD)帶來了一定的影響。Cho等[1]的研究表明，圖片分類這種數(shù)據(jù)驅(qū)動(dòng)類型的工作，數(shù)據(jù)集的質(zhì)量對(duì)于模型的分類精度有著直接的影響。因此，在訓(xùn)練之前，對(duì)數(shù)據(jù)集進(jìn)行精細(xì)的預(yù)處理就顯得尤為重要。

現(xiàn)存的染色預(yù)處理算法可以分為3大類。第一類為基于顏色匹配的方法，如Liu等[2]提出的通過縮小原圖片和目標(biāo)圖片在各個(gè)通道上的距離完成顏色的匹配。但該方法沒有考慮到單個(gè)圖片中由于染料本身帶來的顏色差別，會(huì)存在顏色錯(cuò)誤映射的情況。

第二類方法主要針對(duì)特定染色區(qū)域進(jìn)行反卷積，如Alsubaie等[3]提出的染色反卷積算法，該方法需要知道整張切片圖像(whole slide image，WSI)中每種染色的參考染色矢量(reference stain vector，RSV)。由于需要人工介入，這些基于RSV的手動(dòng)估計(jì)算法的應(yīng)用規(guī)模受到了限制。

第三類方法為染色分離法，在這種方法中，每一個(gè)通道被單獨(dú)分離開來進(jìn)行染色。Bojnordi等[4]提出了一種基于色相-飽和度-密度(hue-saturation-density，HSD)的顏色模型，對(duì)于每一個(gè)染色類別單獨(dú)進(jìn)行色度和密度分布的轉(zhuǎn)換。但該方法沒有將切片組織結(jié)構(gòu)的空間特征考慮在內(nèi)，且目標(biāo)參考圖片需要由組織病理學(xué)領(lǐng)域的專家進(jìn)行挑選。

針對(duì)這些問題，本文提出了一種基于染色風(fēng)格歸一化算法(stain style normalization，SSN)的組織病理學(xué)數(shù)據(jù)集預(yù)處理框架，該框架提取圖片的內(nèi)容特征和風(fēng)格特征構(gòu)建損失函數(shù)，搭建圖片轉(zhuǎn)換網(wǎng)絡(luò)和損失函數(shù)網(wǎng)絡(luò)對(duì)大量圖片進(jìn)行訓(xùn)練，將數(shù)據(jù)集中的圖片轉(zhuǎn)換到和目標(biāo)圖片相同的染色分布。

1 基于SSN的數(shù)據(jù)集預(yù)處理框架

1.1 預(yù)處理框架

整個(gè)框架如圖1所示。該框架搭建了一個(gè)由圖片轉(zhuǎn)換網(wǎng)絡(luò)和損失函數(shù)網(wǎng)絡(luò)構(gòu)成的風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)。在訓(xùn)練階段，固定一張染色圖片為目標(biāo)染色圖片(即風(fēng)格圖片)，對(duì)大量不同的內(nèi)容圖片進(jìn)行訓(xùn)練，將目標(biāo)染色圖片的染色紋理編碼在模型的權(quán)重之中；在運(yùn)行階段，利用已經(jīng)訓(xùn)練好的、權(quán)值固定的染色遷移模型，將編碼好的染色風(fēng)格紋理快速覆蓋到輸入的內(nèi)容圖片上，完成染色風(fēng)格的歸一化操作。由于模型的權(quán)重在訓(xùn)練階段已經(jīng)固定，在運(yùn)行時(shí)，可以快速的對(duì)大量?jī)?nèi)容圖片進(jìn)行染色風(fēng)格的歸一化處理，具有較高的實(shí)時(shí)性。

圖1 基于SSN的組織病理學(xué)數(shù)據(jù)集預(yù)處理框架

1.2 染色風(fēng)格歸一化算法

該框架中的染色風(fēng)格歸一化算法是受到Gatys等提出的圖片風(fēng)格遷移算法[5]的啟發(fā)。圖片風(fēng)格遷移是指，將一張圖片的風(fēng)格遷移到另一張圖片上，同時(shí)保留該圖片原有的內(nèi)容信息。其中，提供風(fēng)格紋理的圖片稱為目標(biāo)風(fēng)格圖片(簡(jiǎn)稱風(fēng)格圖片)，提供內(nèi)容信息的圖片成為目標(biāo)內(nèi)容圖片(簡(jiǎn)稱內(nèi)容圖片)。輸出的圖片既保留了內(nèi)容圖片的結(jié)構(gòu)信息，又有著風(fēng)格圖片提供的風(fēng)格紋理[6]。

用圖片風(fēng)格遷移的思想，可以較好解釋本文提出的染色風(fēng)格歸一化算法：在一個(gè)染色狀態(tài)各不相同的組織病理學(xué)數(shù)據(jù)集(如圖2所示)中，選定一張染色分布狀態(tài)較好的病理學(xué)圖片作為目標(biāo)風(fēng)格圖片，數(shù)據(jù)集中剩余的其它所有圖片均視為內(nèi)容圖片。對(duì)這些內(nèi)容圖片逐個(gè)進(jìn)行染色風(fēng)格遷移，那么輸出的圖片既包含了目標(biāo)染色圖片的風(fēng)格信息(即染色分布)，又保留了原內(nèi)容圖片的內(nèi)容信息(即組織病理學(xué)樣式)，這樣，整個(gè)數(shù)據(jù)集的染色狀態(tài)便趨于統(tǒng)一，實(shí)現(xiàn)了染色風(fēng)格的歸一化處理。

圖2 不同染色狀態(tài)的病理學(xué)圖片樣例

1.3 風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)

風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)(style transform net)結(jié)構(gòu)如圖3所示，該網(wǎng)絡(luò)由兩部分組成：圖片轉(zhuǎn)換網(wǎng)絡(luò)(image transform net)[7]和損失函數(shù)網(wǎng)絡(luò)(loss network)[8]。首先，將圖片輸入到圖片轉(zhuǎn)換網(wǎng)絡(luò)中，將輸出的圖片作為風(fēng)格化的初始圖片，輸入到損失函數(shù)網(wǎng)絡(luò)，聯(lián)合目標(biāo)內(nèi)容圖片和目標(biāo)風(fēng)格圖片構(gòu)建損失函數(shù)，通過梯度下降法不斷尋找損失函數(shù)的最小值，訓(xùn)練圖片轉(zhuǎn)換網(wǎng)絡(luò)。

圖3 風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)

1.3.1 損失函數(shù)網(wǎng)絡(luò)

損失函數(shù)網(wǎng)絡(luò)[8]包含4個(gè)卷積塊，10個(gè)卷積層。在一個(gè)用于提取圖片特征信息的卷積神經(jīng)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)層次的不斷深入，這些卷積層提取到的特征信息也有所不同，

根據(jù)特征信息重建后的圖片也隨之改變，它們從一個(gè)個(gè)具體的像素點(diǎn)轉(zhuǎn)變成了一種更加抽象的、代表著圖片內(nèi)容和紋理信息的特征[5]，如圖4所示。我們可以從視覺上直觀的看出高維特征和低維特征在表達(dá)圖片信息時(shí)有著不同的側(cè)重。我們把側(cè)重于表達(dá)物體間排列關(guān)系的特征稱為內(nèi)容特征，側(cè)重于表達(dá)圖片整體紋理的特征成為風(fēng)格特征。

圖4 重建圖片在不同網(wǎng)絡(luò)層次的表達(dá)[5]

(1)內(nèi)容特征

從圖4中對(duì)內(nèi)容圖片的重建可以看出：對(duì)于內(nèi)容特征，低層的特征信息只是準(zhǔn)確地還原輸入圖片中的各個(gè)像素點(diǎn)，而高層的特征信息則更側(cè)重于輸入圖片中各個(gè)物體間的排列關(guān)系，不會(huì)限制單個(gè)像素之間的位置?？紤]到進(jìn)行染色風(fēng)格轉(zhuǎn)化時(shí)，正是需要保持原內(nèi)容圖片中各個(gè)物體的排列關(guān)系、打破單個(gè)像素之間的約束從而達(dá)到風(fēng)格化的目的，因此我們選取損失函數(shù)網(wǎng)絡(luò)高層(ReLU3_3)的特征信息來表示圖片的內(nèi)容特征。

(2)風(fēng)格特征

而對(duì)于風(fēng)格特征，這里使用了一種原本被Gatys等[9]用于圖片質(zhì)地合成的算法[10]。該算法的主要目的是抓取圖片的紋理信息，具體做法如下：在每一個(gè)block的最高層提取圖片的特征信息，這些特征信息包含了卷積核在不同空間上映射出的特征響應(yīng)，使用該方法可以較好提取出靜態(tài)的、多維度的特征。從圖4中對(duì)風(fēng)格圖片的重建可以看出，每一個(gè)block提取出的特征信息都能較好保留原圖的色彩紋理和局部結(jié)構(gòu)，圖片內(nèi)容的整體排列關(guān)系則被丟棄。因?yàn)閳D片中整體的排列關(guān)系已經(jīng)通過內(nèi)容特征進(jìn)行抓取，所以風(fēng)格特征只用專注圖片的顏色紋理即可。因此，我們選取在每一個(gè)block的最高層(ReLU1_2、ReLU2_2、ReLU3_3、ReLU4_3)的特征信息來表示圖片的風(fēng)格特征。

關(guān)于損失函數(shù)的構(gòu)建，早期的方法使用的是基于像素的損失函數(shù)[9]，即計(jì)算兩張圖片像素之間的歐氏距離。但這種方法只能抓住圖片間單個(gè)像素的差異，無法捕捉圖片之間整體的感知差異。這里使用的損失函數(shù)是一種基于整體視覺感知的損失函數(shù)[11]，我們稱之為感知損失函數(shù)(perceptual loss),它不再專注于圖片單個(gè)像素之間的差異，而是更加關(guān)注圖片整體呈現(xiàn)出的視覺感官上的差異，即圖片內(nèi)容所表達(dá)出的語義差異[12]。經(jīng)過預(yù)訓(xùn)練的損失函數(shù)網(wǎng)絡(luò)已經(jīng)可以學(xué)習(xí)編碼圖像的感知語義信息。而這些高級(jí)的語義信息正是損失網(wǎng)絡(luò)用來衡量圖片間風(fēng)格差異和內(nèi)容差異所需要的。

有了內(nèi)容特征和風(fēng)格特征，我們便可以構(gòu)建內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)，兩者加權(quán)之和為最終的損失函數(shù)[5]：

(1)內(nèi)容損失函數(shù)

當(dāng)我們進(jìn)行圖像風(fēng)格遷移時(shí)，必須保證生成的圖像在內(nèi)容上與原內(nèi)容圖像一致。因此，要找到一個(gè)能夠衡量?jī)蓮垐D片在內(nèi)容上的差異的參數(shù)，在優(yōu)化的過程中對(duì)該參數(shù)進(jìn)行約束。內(nèi)容損失(content_loss)就是衡量原圖像與內(nèi)容圖像在內(nèi)容上差異的一個(gè)重要指標(biāo)。我們?cè)趽p失函數(shù)網(wǎng)絡(luò)的 ReLU3_3層提取圖片的高維特征作為內(nèi)容特征，通過約束生成圖像和內(nèi)容圖像在該層輸出特征圖的均方誤差(means square error，MSE)，可以使二者在 ReLU3_3層上輸出相似的結(jié)果[5]，從而保證生成圖像和內(nèi)容圖像在 內(nèi)容上的一致性。計(jì)算公式如下

(1)

其中，y′是輸入圖像，也就是生成的圖像，y是內(nèi)容圖像，φ代表損失函數(shù)網(wǎng)絡(luò)，φj(y)指的圖像y輸入到該網(wǎng)絡(luò)以后的第j層的特征圖，j在這里指的是ReLU3_3層，CjHjWj是第j層輸出的特征圖的尺寸。

(2)風(fēng)格損失函數(shù)

圖片之間的風(fēng)格差異是通過風(fēng)格損失(style_loss)來衡量的[9]，我們使用Gram矩陣來定義風(fēng)格損失。該矩陣的計(jì)算方法為：矩陣中某點(diǎn)坐標(biāo)(c,c′)對(duì)應(yīng)的值，就是特征圖的第c張和第c′張圖對(duì)應(yīng)元素相乘，求和后除以CjHjWj的值，即

(2)

根據(jù)生成圖像和風(fēng)格圖像在ReLU1_2、ReLU2_2、ReLU3_3、ReLU4_3輸出特征圖的Gram矩陣之間的MSE來縮小生成的圖像與風(fēng)格圖像之間的風(fēng)格差異。

1.3.2 圖片轉(zhuǎn)換網(wǎng)絡(luò)

如表1，圖片轉(zhuǎn)換網(wǎng)絡(luò)[7]可以分為3個(gè)部分：降維層、殘差層和升維層。

表1 圖片轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)

先降維后升維主要有兩個(gè)目的：第一，可以減小計(jì)算量。假設(shè)卷積核的大小是3×3，通道數(shù)為C，輸入圖片的大小為C×H×W,如果不進(jìn)行下采樣，進(jìn)行卷積需要9HWC2次乘加運(yùn)算；若是將卷積核的通道數(shù)提升至D×C個(gè)，輸入圖片的大小為DC×H/D×W/D，同樣是9HWC2次運(yùn)算，即在同樣的計(jì)算代價(jià)下，網(wǎng)絡(luò)變得更大了。第二，有效感知面積的增加[11]。通過下采樣后，每一塊區(qū)域連接的前一層的區(qū)域變大了，即輸出圖片中的單個(gè)像素點(diǎn)在上一層有著更大的有效感知視野。如此一來，單位面積下的像素所捕獲的上一層的信息量就越大，下一層的圖片就可以更好保存上一層圖片的信息。大的信息量意味著生成風(fēng)格化圖片的每一個(gè)局部區(qū)域都是由上一層圖片中更大面積的區(qū)域計(jì)算得到的，輸出風(fēng)格化圖片的區(qū)域連續(xù)性更強(qiáng)。

降維層和升維層都是由3層卷積層構(gòu)成的，其中兩個(gè)stride不為1的卷積層是為了對(duì)圖片上/下采樣。這里以降維層為例，輸入圖片大小為256×256，第一個(gè)卷積層kernel size為9×9，stride為1，不改變輸入圖片的大小，通道數(shù)提升到32；第二個(gè)卷積層kernel size為3×3，stride為2，通道數(shù)提升至64，特征圖的寬和高縮小為原來的二分之一；第三個(gè)卷積層kernel size為3×3，stride為2，通道數(shù)提升至128，特征圖的寬和高縮小為原來的四分之一，即64×64。

升維層和降維層中間堆疊了5個(gè)殘差塊(residual block)。殘差塊的提出原本是為了解決網(wǎng)絡(luò)的退化問題[13]。這里的目的是為保持圖像在轉(zhuǎn)換過程中前后的相關(guān)性，從而保證生成的圖像不會(huì)和原內(nèi)容圖像有著較大的差異[8]。這樣一來，輸出的圖片就不會(huì)偏離原始輸入，原始圖片的特征結(jié)構(gòu)也在輸出圖片中得到保留。由于在圖片風(fēng)格轉(zhuǎn)化的過程中，生成圖片的大部分結(jié)構(gòu)信息都是從先前圖片那里獲得的，因此殘差網(wǎng)絡(luò)非常適用于這種轉(zhuǎn)換。

2 染色歸一化模型的訓(xùn)練

實(shí)驗(yàn)環(huán)境配置見表2。

表2 實(shí)驗(yàn)環(huán)境配置

在訓(xùn)練圖片轉(zhuǎn)換網(wǎng)絡(luò)時(shí)，需要不斷調(diào)整風(fēng)格權(quán)重與內(nèi)容權(quán)重，二者的比值直接影響了最終生成圖片的染色程度[11]。在進(jìn)行染色風(fēng)格遷移時(shí)，若風(fēng)格權(quán)重和內(nèi)容權(quán)重之比取的太小，就無法較好學(xué)習(xí)到風(fēng)格圖片的染色紋理，圖片的染色風(fēng)格改變較少，整個(gè)數(shù)據(jù)集就無法達(dá)到理想的染色歸一化效果；若風(fēng)格權(quán)重和內(nèi)容權(quán)重之比取的太大，組織病理學(xué)圖片就會(huì)逐漸趨于模糊，失去其原有的結(jié)構(gòu)和紋理(即病理樣式)，這樣的圖片已經(jīng)丟失了病理信息，失去了其醫(yī)學(xué)價(jià)值。

圖5(a)為風(fēng)格權(quán)重和內(nèi)容權(quán)重的比值設(shè)置過大時(shí)，生成的病理樣式模糊的圖片。其中，左邊為目標(biāo)染色圖片，即理想情況下的染色狀態(tài)；右邊第一行是染色狀態(tài)不一致的原始數(shù)據(jù)集，為輸入；右邊第二行是根據(jù)目標(biāo)圖片進(jìn)行染色歸一化后的圖片，為輸出。我們可以看到，輸出的圖片十分模糊，已經(jīng)失去了原有的內(nèi)容結(jié)構(gòu)信息。經(jīng)過不斷測(cè)試，最終將風(fēng)格權(quán)重style_weight設(shè)置為104，content_weight設(shè)置為102時(shí)，能在不改變病理學(xué)樣式的情況下，得到較為染色效果較為理想的病理圖片，如圖5(b)所示：輸出的圖片染色分布狀態(tài)相似且清晰地保持了其原有的組織病理學(xué)樣式。通過該方法，我們將整個(gè)數(shù)據(jù)集中的圖片都輸入到染色遷移模型中，批量進(jìn)行染色風(fēng)格歸一化操作。

圖5 不同風(fēng)格內(nèi)容權(quán)重比時(shí)輸出的染色圖片

訓(xùn)練階段和運(yùn)行階段的染色遷移時(shí)間對(duì)比見表3。由于訓(xùn)練是預(yù)先完成的，對(duì)時(shí)間的容忍程度較大，不需要具備實(shí)時(shí)性；運(yùn)行階段的速度達(dá)到了192 FPS，具有較高的實(shí)時(shí)性，可以應(yīng)用于實(shí)際醫(yī)學(xué)工作中大規(guī)模數(shù)據(jù)集的批量歸一化預(yù)處理操作。

表3 訓(xùn)練時(shí)間和運(yùn)行時(shí)間對(duì)比

3 染色歸一化效果的驗(yàn)證

3.1 實(shí)驗(yàn)思路

圖6展示了實(shí)驗(yàn)部分的主要工作：首先，使用本文提出的SSN算法對(duì)原有的14 000余張組織病理學(xué)數(shù)據(jù)集進(jìn)行預(yù)處理，處理后的數(shù)據(jù)集記為數(shù)據(jù)集2，未處理的數(shù)據(jù)集記為數(shù)據(jù)集1。實(shí)驗(yàn)主要分為兩個(gè)部分。

圖6 實(shí)驗(yàn)思路

實(shí)驗(yàn)1：色彩空間的對(duì)比。將數(shù)據(jù)集1和數(shù)據(jù)集2中的圖片映射到不同的色彩空間，對(duì)比兩個(gè)數(shù)據(jù)集中圖片顏色的分布情況。

實(shí)驗(yàn)2：模型分類指標(biāo)的對(duì)比。為了驗(yàn)證染色風(fēng)格歸一化后的數(shù)據(jù)集是否能提高模型的分類精度，分別使用數(shù)據(jù)集1和數(shù)據(jù)集2對(duì)同一網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到兩個(gè)不同的模型，分別記為模型1和模型2，對(duì)比這兩個(gè)模型在測(cè)試集上輸出的各種分類指標(biāo)的優(yōu)劣。根據(jù)控制變量法的思想，兩個(gè)模型除了輸入的數(shù)據(jù)集有差異外，其它因素均保持一致。在這里，圖片分類網(wǎng)絡(luò)由5層卷積層和一個(gè)全連接層構(gòu)成。

3.2 數(shù)據(jù)預(yù)處理

首先，對(duì)數(shù)據(jù)集進(jìn)行歸一化和標(biāo)準(zhǔn)化處理。圖像標(biāo)準(zhǔn)化可以把原始數(shù)據(jù)的不同特征映射到同一尺度，計(jì)算時(shí)對(duì)每一列數(shù)據(jù)，分別減去其均值，并除以其方差。經(jīng)過標(biāo)準(zhǔn)化處理后的數(shù)據(jù)均值為0，方差為1，符合正態(tài)分布。對(duì)于歸一化來說，這里采用的是最大最小值歸一化，其目的是在保持原數(shù)據(jù)結(jié)構(gòu)不變的情況下，將其縮放到0～1之間。

然后，將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，三者的比例為9:1:4。經(jīng)過不斷測(cè)試，最終模型的超參數(shù)設(shè)置如下：學(xué)習(xí)率1.5×10-4，batch size設(shè)置為64，采用Adam優(yōu)化器，激活函數(shù)選取ReLu，Epoch為100。

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)1的評(píng)價(jià)指標(biāo)主要是圖像中點(diǎn)的集中/分散程度，以此來判定數(shù)據(jù)集在不同顏色通道上的分布情況。

實(shí)驗(yàn)2的評(píng)價(jià)指標(biāo)主要為ROC(receiver operating characteristic)曲線、AUC(area under the curve)面積，以及Accuracy、Precision、Recall和F1Score等。ROC曲線，又稱為受試者工作特性曲線，是通過將輸出樣本的概率分別作為分類的門限閾值，得到一系列False Positive和True Positive的值，將這些值連起來得到的曲線，點(diǎn)取的越密集，曲線越平滑。AUC，即ROC曲線下的面積，是一個(gè)小于1的值，它表明了分類器預(yù)測(cè)的正樣本高于負(fù)樣本的概率。Accuracy、Precision、Recall和F1Score的定義如下

(3)

(4)

(5)

(6)

其中，True Positive(TP)為真正例，將正樣本預(yù)測(cè)為正類的數(shù)量；True Negative(TN)為真負(fù)例，將負(fù)樣本預(yù)測(cè)為負(fù)類的數(shù)量，F(xiàn)alse Positive(FP)為假正例，將負(fù)樣本預(yù)測(cè)為正類的數(shù)量，F(xiàn)alse Negative(FN)假負(fù)例，將正樣本預(yù)測(cè)為負(fù)類的數(shù)量。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 實(shí)驗(yàn)1

圖7為數(shù)據(jù)集1和數(shù)據(jù)集2在RGB通道上顏色分布的對(duì)比。我們計(jì)算每張圖片RGB這3個(gè)通道的數(shù)值(取值0～255)，每組數(shù)值對(duì)應(yīng)著三維坐標(biāo)系中的一個(gè)點(diǎn)。遍歷整個(gè)數(shù)據(jù)集，即可得到如圖7所示的顏色分布。我們可以發(fā)現(xiàn)，右圖中點(diǎn)的分布比左圖更加密集，R、G、B這3個(gè)坐標(biāo)的取值范圍都更小，這表明歸一化后的數(shù)據(jù)集在RGB通道上有著更加集中的色彩分布。類似的，我們將圖片轉(zhuǎn)化到HSL(Hue、Saturation、Lightness)通道，即可得到圖8所示的HS通道顏色分布對(duì)比圖。圖像的HSL，即色相、飽和度、亮度，是一種將RGB色彩模型在圓柱坐標(biāo)系中表示的方法。這里我們?nèi)∩郒和飽和度S兩個(gè)維度來繪制圖像，繪制極坐標(biāo)是為了更好展示圖像的色相和飽和度分布情況。極坐標(biāo)系的角度代表色相H，半徑代表飽和度S，H和S的取值范圍分別為0～360和0～1。從圖中我們可以看出，就飽和度的分布情況來說，數(shù)據(jù)集2和數(shù)據(jù)集1并無太大差別；但是對(duì)于色相，數(shù)據(jù)集2比數(shù)據(jù)集1更加集中，這表明歸一化后的數(shù)據(jù)集在HS通道上的色彩分布更加集中。

圖7 RGB通道顏色分布對(duì)比

圖8 HS通道顏色分布對(duì)比

圖7和圖8的結(jié)果從不同的色彩空間驗(yàn)證了，本文提出的SSN數(shù)據(jù)集預(yù)處理框架，縮小了數(shù)據(jù)集單個(gè)圖片之間的色彩差異，使數(shù)據(jù)集在不同色彩空間上的顏色分布更加集中。

3.4.2 實(shí)驗(yàn)2

圖9為訓(xùn)練過程中損失函數(shù)和分類精度隨訓(xùn)練次數(shù)的變化曲線。其中，圖9(a)對(duì)應(yīng)模型1，圖9(b)對(duì)應(yīng)模型2。我們可以看到，在整個(gè)訓(xùn)練過程中，雖然訓(xùn)練損失、驗(yàn)證損失有小幅震蕩，但最終收斂到一個(gè)較小值，衡量分類能力的各個(gè)參數(shù)隨訓(xùn)練次數(shù)的增加而穩(wěn)步提高。模型1和模型2在訓(xùn)練時(shí)并未表現(xiàn)出明顯的差異。

圖9 訓(xùn)練過程中參數(shù)隨訓(xùn)練次數(shù)變化曲線

圖10為測(cè)試階段ROC曲線的對(duì)比。其中，圖10(a)對(duì)應(yīng)模型1，圖10(b)對(duì)應(yīng)模型2。ROC曲線越接近左上角，表明分類器的分類能力越好。我們可以看到，模型2得到的ROC曲線比模型1更接近左上角，有著更大的曲線下面積，二者的AUC分別為0.9835和0.9943。這表明模型2所得模型有著更高的TP和更低的FP，分類能力更優(yōu)。

圖10 模型1和模型2測(cè)試階段的ROC曲線

圖11和圖12分別為模型1和模型2在測(cè)試集上輸出的混淆矩陣。通過混淆矩陣可以判定模型的分類能力，聚集在對(duì)角線上的元素越多，說明模型正確分類的圖片越多?？梢钥闯?，模型1在4518張測(cè)試圖片中，得到True Positive 2301張，True Negative 1926張，分類的準(zhǔn)確率為93.56%；模型2在4518張圖片中，得到True Positive 2389張，True Negative 1970張，分類的準(zhǔn)確率為96.48%，相較于模型1提高了約3%。

圖11 模型1在測(cè)試集上輸出的混淆矩陣

圖12 模型2在測(cè)試集上輸出的混淆矩陣

表4為訓(xùn)練階段模型1和模型2模型的指標(biāo)對(duì)比?？梢钥闯?，模型2的訓(xùn)練損失和驗(yàn)證損失均低于模型1，說明模型2的收斂情況更優(yōu)。對(duì)于AUC、Accuracy、Precision、Recall和F1Score等參數(shù)，模型2均比模型1高出約0.5%～1%，說明訓(xùn)練階段模型2的學(xué)習(xí)情況要優(yōu)于模型1。

表4 訓(xùn)練階段模型指標(biāo)對(duì)比

表5為測(cè)試階段模型1和模型2的指標(biāo)對(duì)比。我們可以看出，相較于模型1，雖然模型2的AUC指標(biāo)提升只有1.08%，但在識(shí)別圖片的Accuracy上高出了2.93%，Precision高出4.24%，Recall高出2.10%，F(xiàn)1Score高出3.15%，即模型2在圖片分類評(píng)價(jià)指標(biāo)的各種參數(shù)上均比模型1高出約3%以上。這也驗(yàn)證了本文提出的組織病理學(xué)數(shù)據(jù)集預(yù)處理框架的有效性，它的確能提高數(shù)據(jù)集的質(zhì)量，為圖片分類網(wǎng)絡(luò)帶來更好的分類效果。

表5 測(cè)試階段模型指標(biāo)對(duì)比/%

表6和表7分別為模型1和模型2的分類報(bào)告。從這兩張表中我們可以更詳細(xì)看到兩個(gè)模型分類能力的差別。不論是對(duì)于類別0還是類別1中的圖片，模型1的Precision、Recall和F1Score均低于模型2；在宏平均(macro average)和加權(quán)平均(weighted average)參數(shù)上，模型2仍比模型1高出約3%。

表6 模型1模型的分類報(bào)告

表7 模型2模型的分類報(bào)告

綜上，模型2有著更低的訓(xùn)練損失，更理想的混淆矩陣，能夠輸出更多正確分類的圖片，在AUC、Accuracy、Precision、Recall和F1Score等參數(shù)上，均高于模型1。這是因?yàn)楸疚奶岢龅腟SN預(yù)處理框架，能夠縮小圖片之間的染色差異，使整個(gè)數(shù)據(jù)集的染色分布趨于統(tǒng)一，該框架提高了數(shù)據(jù)集的質(zhì)量，帶來了更好的分類結(jié)果。

4 結(jié)束語

為了解決組織病理學(xué)數(shù)據(jù)集染色差異導(dǎo)致模型分類精度下降的問題，本文提出了基于SSN算法的組織病理學(xué)數(shù)據(jù)集預(yù)處理框架。該框架構(gòu)建了一個(gè)風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，對(duì)醫(yī)學(xué)數(shù)據(jù)集進(jìn)行染色歸一化處理，縮小了圖片之間的染色差異。在實(shí)驗(yàn)部分，在不同的色彩空間觀察處理前后數(shù)據(jù)集的色彩分布情況，并設(shè)置對(duì)比實(shí)驗(yàn)，分別采用處理前后的數(shù)據(jù)集對(duì)同一網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到兩個(gè)不同的模型，從訓(xùn)練損失、驗(yàn)證損失、測(cè)試精度、AUC面積等參數(shù)定量分析染色歸一化帶來的影響。實(shí)驗(yàn)結(jié)果表明，經(jīng)過該框架處理后的數(shù)據(jù)集，色彩分布更加集中，使用處理后的數(shù)據(jù)集訓(xùn)練得到的模型，在醫(yī)學(xué)圖片的良性、惡性檢測(cè)工作中有著更高的識(shí)別精度。未來可以考慮擴(kuò)大該框架的應(yīng)用范圍，將其應(yīng)用到不同領(lǐng)域的數(shù)據(jù)集預(yù)處理操作中。