基于U-Net的乳腺癌病理切片中癌細胞檢測方法

(1 北京航空航天大學計算機學院，北京 100083; 2 青島大學附屬醫(yī)院，山東省數(shù)字醫(yī)學與計算機輔助手術(shù)重點實驗室，山東省高等學校數(shù)字醫(yī)學臨床診療與營養(yǎng)健康協(xié)同創(chuàng)新中心； 3 北京建筑大學電氣與信息工程學院)

隨著計算機視覺技術(shù)與存儲技術(shù)的快速發(fā)展，研究人員已經(jīng)在醫(yī)學影像領(lǐng)域提出了很多基于圖像的分析、輔助診斷工具，例如自動并且高效地完成一些常規(guī)的病理圖像分析任務(wù)，或精確地對一腫瘤組織給出定位或病理等級等等。近年來，隨著深度學習技術(shù)特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型在目標檢測以及分割方面的發(fā)展，基于CNN的方法連續(xù)在MICCIA的病理全切片腫瘤細胞識別挑戰(zhàn)賽中取得了很好的成績[1]，CIREGAN等[1]基于CNN的概率圖加后處理技術(shù)實現(xiàn)了對乳腺癌病理圖像有絲分裂細胞的檢測，借助非極大值抑制(NMS)提升最終的檢測效果。DONG等[2]提出了一個9層的CNN結(jié)構(gòu)，基于圖像的YUV色彩空間信息對斑馬魚細胞進行探測。MAO等[3]提出了一個基于7層CNN的探測方法，并實現(xiàn)針對圓形腫瘤細胞的不同模態(tài)顯微圖像的探測。有學者將細胞檢測問題轉(zhuǎn)化為逐級優(yōu)化問題，并實現(xiàn)了對神經(jīng)細胞和肺癌細胞核的探測[4]。全切片技術(shù)可以對細胞進行多尺度成像，SONG等[5]針對此類細胞圖像提出了一個多尺度CNN框架，從而實現(xiàn)了對細胞的多尺度交叉探測。本研究提出了一種基于U-Net的乳腺癌淋巴結(jié)病理切片中的細胞檢測方法，用以輔助醫(yī)生進行乳腺癌細胞的篩查?，F(xiàn)將結(jié)果報告如下。

1 材料與方法

1.1 材料來源

樣本來源于凱斯西儲大學49例淋巴結(jié)陰性和雌激素受體陽性的乳腺癌病人[6]。每幅圖像的尺寸為2 200×2 200像素,每張圖片大約有1 500個核。HE染色乳腺組織病理學玻片，采用高分辨率全玻片掃描儀Aperio ScanScope digitizer在40倍光學放大率下掃描并輸入至計算機。將圖像隨機分為兩組進行訓(xùn)練。

1.2 數(shù)據(jù)預(yù)處理

將數(shù)據(jù)集中標注癌細胞的區(qū)域裁剪出來(圖1A)，并在標注為癌細胞的位置作出癌細胞的mask(圖1B)，作為訓(xùn)練過程的原始圖像與目標圖像(像素值均縮放到0～1范圍內(nèi))。

1.3 研究方法

采用深度學習中的U-Net[7]網(wǎng)絡(luò)架構(gòu)對乳腺癌細胞的病理切片進行分割，并對乳腺癌細胞進行自動檢測。

1.4 深度學習網(wǎng)絡(luò)結(jié)構(gòu)

在自然圖像和醫(yī)學圖像領(lǐng)域，圖像分割都是一個重要的步驟。CNNs將每個像素點用其周圍的像素所表示來對每個像素進行單獨的分類。原始的滑動窗口方法因為其每次計算相鄰像素時都會有重疊部分，這使得相同的計算會重復(fù)多次。因為卷積和內(nèi)積操作都是線性算子，所以將全連接層重寫為卷積層，將大大提高卷積網(wǎng)絡(luò)的效率。CNNs可以接受比其訓(xùn)練時尺寸更大的圖像的輸入，并且產(chǎn)生一個概率譜圖。

然而，因為池化層的存在，將會導(dǎo)致輸出的結(jié)果比輸入圖片的分辨率低?！稗D(zhuǎn)移和合并”是LONG等[8]在2015年提出的一種防止圖片分辨率下降的方法。FCN通過將輸出結(jié)果合并在一起，得到了高分辨率的輸出結(jié)果，減少了由于有效卷積操作而帶來的像素損失。

RONNEBERGER等[7]在同年吸取了FCN的優(yōu)點，進一步地提出了U-Net結(jié)構(gòu)。U-Net在基礎(chǔ)的FCN結(jié)構(gòu)之后又加入了上采樣操作，將整個結(jié)構(gòu)分為圖像的收縮和擴張兩個部分。雖然這不是首次提出在網(wǎng)絡(luò)結(jié)構(gòu)中加入上采樣操作，但是U-Net在收縮和擴張兩個過程之間加入了聯(lián)結(jié)操作，使得輸出的結(jié)果能夠更加地逼近預(yù)期。FROMER等[9]在2016年將此方法運用在三維數(shù)據(jù)中并取得良好效果。MILLETARI等[10]同年基于U-Net延伸出了加入殘差模塊和Dice損失函數(shù)的V-Net,由于不再采用交叉熵損失函數(shù)，得到的分割結(jié)果更加接近于預(yù)期結(jié)果。

采用U-Net的端到端網(wǎng)絡(luò)結(jié)構(gòu)對數(shù)據(jù)集進行訓(xùn)練，U-Net結(jié)構(gòu)圖如圖2。深度學習中主要通過卷積操作來獲取圖片中的信息，并通過這些信息來對結(jié)果進行預(yù)測。本文所用到的U-Net結(jié)構(gòu)首先通過卷積操作來對乳腺癌病理圖像進行信息提取(癌細胞的紋理、大小、形狀、色澤等)，再通過上采樣操作使富集的信息“翻譯”到整張圖片上，得到每一個像素點處屬于癌細胞的概率。

1.5 實驗過程

通過數(shù)據(jù)增強來增加訓(xùn)練數(shù)據(jù)，本研究采用旋轉(zhuǎn)和數(shù)據(jù)正則化兩個操作來構(gòu)建網(wǎng)絡(luò)輸入的生成器，使得訓(xùn)練及測試數(shù)據(jù)擴大了4倍。為了使得預(yù)測結(jié)果更加接近真實結(jié)果，本研究采用U-Net網(wǎng)絡(luò)中常用的損失函數(shù)Dice：

其中，P為網(wǎng)絡(luò)預(yù)測的結(jié)果，T為真實的癌細胞圖像的mask。

通過損失函數(shù)Dice，網(wǎng)絡(luò)的預(yù)測結(jié)果將逐漸逼近真實結(jié)果，在經(jīng)過500次訓(xùn)練之后，將最后20次迭代的模型融合，得到較為準確的預(yù)測模型。見圖3。

A:原始癌細胞圖像；B:癌細胞的mask。

圖2 U-Net結(jié)構(gòu)圖

A:原圖像,B:預(yù)測結(jié)果,C:真實結(jié)果。

本實驗采用十等分交叉驗證對模型進行評估，即將訓(xùn)練集圖片十等分，每次取其中9份作為訓(xùn)練集，剩下的1份作為驗證集，最終將模型在測試集上進行評估。

2 結(jié) 果

Dice得到的準確率衡量預(yù)測結(jié)果與真實結(jié)果的重合程度，是對整張圖片的度量，但由于癌細胞形狀不都為規(guī)則的圓形，所以本文采用檢測準確率對模型進行進一步評估，即對圖片中每個細胞進行進一步的評估。

對每個癌細胞預(yù)測的準確率(p)作為評估標準。p=c_s-c_p，其中c_s為真實結(jié)果中癌細胞圓心所在位置的像素值(0～1)，c_p為預(yù)測結(jié)果中癌細胞圓心所在位置的像素值(0～1)。將所有癌細胞進行統(tǒng)計分析，結(jié)果見表1。通過表1可以看出模型對于癌細胞非常敏感，圖片中存在的癌細胞基本可以檢測到。

表1 癌細胞檢測結(jié)果(χ/%)

注：準確率為模型對每張圖片擬合效果的度量結(jié)果；檢測準確率為測試階段針對每個細胞的度量結(jié)果。

3 討 論

深度學習方法目前已經(jīng)在很多實際任務(wù)上有所突破，并且這些任務(wù)可以應(yīng)用到醫(yī)學問題中，進而解決相應(yīng)的醫(yī)學問題[11-16]。同時，一些特定的醫(yī)學領(lǐng)域如放射基因組學、預(yù)后評估等都可以用機器學習及深度學習來解決[17-20]。

本研究模型在不考慮假陽性的情況下達到了100%的準確率，通過實驗結(jié)果可以看出，本模型漏診概率小，但是會檢測出相當一部分假陽性的細胞。有以下幾種原因：①醫(yī)生在進行判斷時會對病人進行綜合考慮，比如病人的病狀、并發(fā)癥等等，但網(wǎng)絡(luò)只能從圖片中獲取信息。②標注的病理圖像中有許多類似但標注不同的細胞，導(dǎo)致模型無法識別。③沒有精確的mask給予網(wǎng)絡(luò)進行學習。

本研究實驗結(jié)果表明，深度學習在病理圖像的細胞檢測及分割方面具有良好的表現(xiàn)；模型泛化效果較好，對于不明顯的細胞也能給出其為癌細胞的概率(通過結(jié)果中的顏色深淺表示)。

本實驗說明深度學習可以比人識別得更快，雖然會有假陽性的出現(xiàn)，但這會大大減少病理醫(yī)生的工作量。在醫(yī)學圖像方面還有很大的空間可以發(fā)揮深度學習的作用，如CT、MRI等圖像都可以通過深度學習來進行疾病預(yù)測、病灶分割等實際應(yīng)用。