基于自監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)在CT 圖像中的肝臟自動(dòng)分割研究

劉祥強(qiáng) 李 強(qiáng) 何多魁* 王文瑞 黃建民

（ 蘭州財(cái)經(jīng)大學(xué) 信息工程學(xué)院，甘肅 蘭州730020）

1 概述

肝癌目前是世界第四大致死癌癥，在肝臟的臨床診斷治療中常常需要有經(jīng)驗(yàn)的醫(yī)生勾畫出肝臟及肝臟腫瘤的輪廓等等信息，及其耗時(shí)耗力，因此此類工作亟需一種全自動(dòng)的方法能幫助醫(yī)生減少工作量?，F(xiàn)有肝臟腫瘤分割方法中，都將肝臟分割作為腫瘤分割的前提工作，因此精準(zhǔn)的肝臟分割可以有效的提高肝臟腫瘤的精確性。

由于肝臟在CT 圖像中與鄰近組織灰度值接近且形狀相似，精準(zhǔn)的分割肝臟成為了十分具有挑戰(zhàn)性的任務(wù)[5]。傳統(tǒng)的基于機(jī)器學(xué)習(xí)的方法例如閾值法、區(qū)域生長(zhǎng)法[6]及其他一些方法，并沒有完全擺脫人工參與，例如在區(qū)域生長(zhǎng)法中的種子點(diǎn)選擇對(duì)最終分割結(jié)果影響往往很大[3]。與自然圖像相比，醫(yī)學(xué)圖像往往數(shù)據(jù)更難獲取尤其是金標(biāo)準(zhǔn)的獲取，解決醫(yī)學(xué)影像任務(wù)的深度學(xué)習(xí)模型缺少類似于Imagenet 那樣可供預(yù)訓(xùn)練的數(shù)據(jù)集，自監(jiān)督學(xué)習(xí)這種利用數(shù)據(jù)本身的結(jié)構(gòu)或者特性解決一些前置任務(wù)的學(xué)習(xí)辦法可以讓模型得到一個(gè)較好的預(yù)訓(xùn)練參數(shù)[9]。

2 相關(guān)介紹

2.1 基于深度學(xué)習(xí)的方法

2006 年深度學(xué)習(xí)理論被提出后以及計(jì)算機(jī)硬件條件的提升，由于其強(qiáng)大的特征學(xué)習(xí)能力，卷積神經(jīng)網(wǎng)絡(luò)迅速發(fā)展。2015年提出的U-net[7]網(wǎng)絡(luò)結(jié)構(gòu)將圖像分割領(lǐng)域的精度推到的一個(gè)新的高度，Ben-Cohen[2]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于肝臟與肝臟腫瘤的中，取得了不錯(cuò)的效果。H-densenet[8]將三維特征與二維特征融合。以上網(wǎng)絡(luò)都有一個(gè)共同的特點(diǎn)就是都沒有權(quán)重的初始化或者采用預(yù)訓(xùn)練模型，無(wú)法讓網(wǎng)絡(luò)從一個(gè)更優(yōu)的起點(diǎn)開始訓(xùn)練。

2.2 自監(jiān)督學(xué)習(xí)

自監(jiān)督學(xué)習(xí)屬于無(wú)監(jiān)督學(xué)習(xí)方法中的一個(gè)分支，利用數(shù)據(jù)本身特有信息和結(jié)構(gòu)，設(shè)置不同的輔助任務(wù)，讓模型盡可能擁有更多的知識(shí)儲(chǔ)備。計(jì)算機(jī)視覺當(dāng)中主流的自監(jiān)督學(xué)習(xí)任務(wù)主要分為兩類，生成式任務(wù)和對(duì)比式任務(wù)。

3 方法

3.1 訓(xùn)練自監(jiān)督模型

如圖1 所示，同時(shí)輸入三張相鄰切片，每一次輸入模型的圖像大小以及通道數(shù)為256×256×3，隨機(jī)打亂相鄰切片排列順序，模型通過預(yù)測(cè)被打亂的切片的順序，學(xué)習(xí)到每張切片的特征，。連續(xù)三張圖片順序打亂的方式有六種，隨機(jī)生成一種順序打亂方式并將該打亂方式對(duì)應(yīng)的編號(hào)變成one-hot 編碼形式作為金標(biāo)準(zhǔn)，將被打亂順序的三張切片圖像放入分類器，這個(gè)分類器由U-net 網(wǎng)絡(luò)的下采樣部分以及一個(gè)MLP 層組成，MLP層的作用是將CNN 網(wǎng)絡(luò)學(xué)到的圖像特征映射到一維空間，代表著對(duì)于改組數(shù)據(jù)順序排列的預(yù)測(cè)結(jié)果，得到的結(jié)果與對(duì)應(yīng)打亂方式的編號(hào)的one-hot 編碼求交叉熵?fù)p失之后反向傳播同時(shí)優(yōu)化這個(gè)分類器，交叉熵?fù)p失函數(shù)公式如下：

其中pi表示第i 個(gè)樣本屬于正例的概率，yi表示第i 個(gè)樣本的金標(biāo)準(zhǔn)，由此可以看出當(dāng)金標(biāo)準(zhǔn)為正例時(shí)，pi值越大，總體損失L 的值越小，以此達(dá)到優(yōu)化網(wǎng)絡(luò)的目的。本文實(shí)驗(yàn)中的順序預(yù)測(cè)屬于多分類問題，一共有六類，每一種連續(xù)三張圖片順序排列方式算一類。

圖1 自監(jiān)督訓(xùn)練流程

3.2 參數(shù)遷移

在分類器訓(xùn)練完畢后，將該分類器的權(quán)重遷移到分割模型當(dāng)中。在分割肝臟的時(shí)候，為了利用到CT 圖像數(shù)據(jù)中z 軸上的部分信息，依然采用連續(xù)輸入三張相鄰切片，金標(biāo)準(zhǔn)以中間一張切片對(duì)應(yīng)的金標(biāo)準(zhǔn)為準(zhǔn)。在將分類器參數(shù)遷移到分割模型中的時(shí)候，由于分割模型無(wú)全連接層，分類器中的MLP 層被丟棄。

4 實(shí)驗(yàn)與結(jié)果

4.1 數(shù)據(jù)預(yù)處理

本文實(shí)驗(yàn)所使用的數(shù)據(jù)來(lái)自于2017 MICCAI LiTS 肝臟腫瘤分割挑戰(zhàn)賽公開數(shù)據(jù)集。該數(shù)據(jù)集CT 圖像數(shù)據(jù)由多部機(jī)器產(chǎn)生，所以CT 圖像之間的差異變化較大，層內(nèi)分辨率的變化從0.55mm 到1.0mm，序列層間距離從0.45mm 到6.0mm。該數(shù)據(jù)中共有131 例數(shù)據(jù)擁有標(biāo)簽，每例數(shù)據(jù)從擁有三百多張到一千多張切片不等，在數(shù)據(jù)集劃分中，我們將前106 例數(shù)據(jù)作為訓(xùn)練集，將后25 例數(shù)據(jù)作為測(cè)試集。

4.2 評(píng)價(jià)指標(biāo)

Dice 系數(shù)是一種集合相似度度量函數(shù)，通常用于計(jì)算兩個(gè)樣本的相似度，取值范圍在[0，1]。

在本實(shí)驗(yàn)中，A 代表醫(yī)生手動(dòng)標(biāo)注的屬于肝臟區(qū)域的像素點(diǎn)集合，B 屬于模型預(yù)測(cè)的屬于肝臟區(qū)域的像素點(diǎn)的集合。由公式可以看出，當(dāng)A 與B 集合之間的誤差越小時(shí)公式中的分子越大且分母越小，從而Dice 值越大。

4.3 實(shí)驗(yàn)參數(shù)設(shè)置

在本實(shí)驗(yàn)中，分類器訓(xùn)練使用交叉熵?fù)p失函數(shù)，優(yōu)化器選擇Adam 優(yōu)化器，學(xué)習(xí)率為10e-5。在分割模型訓(xùn)練中損失函數(shù)選擇Dice 損失函數(shù)，優(yōu)化器選擇SGD 優(yōu)化器，學(xué)習(xí)率為10e-3，將驗(yàn)證集上表現(xiàn)效果最好的權(quán)重保存用于測(cè)試。

4.4 實(shí)驗(yàn)結(jié)果展示與分析

由于加入了自監(jiān)督學(xué)校過程中學(xué)到的額外語(yǔ)義信息，讓肝臟分割網(wǎng)絡(luò)從一個(gè)擁有一定知識(shí)儲(chǔ)備的起點(diǎn)開始訓(xùn)練，從模型的預(yù)測(cè)結(jié)果來(lái)看如圖2，經(jīng)過自監(jiān)督的模型在預(yù)測(cè)結(jié)果上在一些細(xì)節(jié)的地方相對(duì)于沒有經(jīng)過自監(jiān)督學(xué)習(xí)的模型表現(xiàn)要更加優(yōu)秀，模型的精度得到了一定程度的提高。其中SSU-Net 代表我們本文中所提出的模型。

圖2 a 代表輸入模型CT 圖像，GT 為該CT 的金標(biāo)準(zhǔn)

為了驗(yàn)證本文提出方法的有效性，我們將不同模型分別在同一測(cè)試集上進(jìn)行驗(yàn)證，結(jié)果如表1,。結(jié)果表明，利用預(yù)測(cè)切片順序這種自監(jiān)督方法可以有效的提升模型的性能。

表1

5 結(jié)論

本文所提出的利用預(yù)測(cè)切片順序來(lái)進(jìn)行自監(jiān)督的方法為模型預(yù)訓(xùn)練提供一種通用的思路，雖然在肝臟分割中與世界最好的實(shí)驗(yàn)結(jié)果相差一段距離，但通過使用更好的網(wǎng)絡(luò)結(jié)構(gòu)和一些數(shù)據(jù)增強(qiáng)操作還是可以繼續(xù)提升指標(biāo)的。