基于高倍率細胞內(nèi)鏡系統(tǒng)的細胞核分割

張 偉，余 浩，袁 波，王立強，2*，楊 青，2

（1. 浙江大學光電科學與工程學院，浙江杭州310027；2. 之江實驗室 超級感知研究中心，浙江 杭州 311100）

1 引 言

近些年來，消化道疾病成為了常見病?，F(xiàn)代人由于快節(jié)奏的生活和巨大的生活壓力，消化道常常處于亞健康狀態(tài)，久而久之消化道就會發(fā)生病變，且為惡性疾病的幾率較高。常見的消化道腫瘤有食管癌、胃癌、結(jié)直腸癌等。據(jù)中國國家癌癥中心統(tǒng)計，2015 年新發(fā)食管癌、胃癌、結(jié)直腸癌分別為 47.8 萬例、67.9 萬例、37.6 萬例，死亡病例共達 106 萬例［1］。

對于消化道癌癥來說，早期篩查是癌癥治愈的先決條件，如果能夠及早發(fā)現(xiàn)、及時治療，可以有效減少惡性病變的發(fā)生率，降低死亡率。目前，臨床上篩查診斷消化道癌癥的一個重要途徑就是電子內(nèi)鏡活檢術(shù)，在電子內(nèi)鏡的引導下對病灶取活檢再由病理科診斷。這種診斷方式不僅診斷周期長，而且由于取樣不準容易漏診，同時會對病灶造成一定程度的損傷。細胞內(nèi)鏡［2］是一種具有超高放大倍率的高端電子內(nèi)窺鏡，配合術(shù)中染色可以直接在體內(nèi)觀察到細胞級的組織，是消化道癌早期篩查診療的重要途徑和研究方向，在一定程度上可以取代組織學活檢［3-4］。與激光共聚焦顯微內(nèi)窺鏡［5］不同，細胞內(nèi)鏡僅包含一個光學鏡頭，醫(yī)生操作更為方便。自2003 年奧林巴斯發(fā)布第一代細胞內(nèi)鏡系統(tǒng)［6］以來，伴隨著科學技術(shù)的進步，細胞內(nèi)鏡系統(tǒng)得到了飛速的發(fā)展。目前，最先進的第四代細胞內(nèi)鏡可以實現(xiàn)520 倍的連續(xù)光學變焦放大，顯微觀察的視場范圍可以達到 570 μm×500 μm，在體內(nèi)可以實時地觀察到獨立的細胞核［7］。然而，內(nèi)窺鏡醫(yī)生通常不具備病理診斷經(jīng)驗，難以把握細胞內(nèi)鏡高倍率圖像中的組織病理特征。因此，為了輔助內(nèi)窺鏡醫(yī)生更準確地分析細胞內(nèi)鏡高倍率圖像中的細胞核形態(tài)特征，本文基于已研制的高倍率細胞內(nèi)鏡系統(tǒng)開展了細胞核分割技術(shù)的研究。

2 細胞內(nèi)鏡系統(tǒng)

細胞內(nèi)鏡技術(shù)一直以來都被日本的奧林巴斯公司壟斷。為了突破技術(shù)封鎖，本課題組設計搭建了一套大視場高倍率細胞內(nèi)鏡系統(tǒng)，如圖1所示。該系統(tǒng)主要包括探頭部、插入管、控制手柄、主機以及顯示器等。探頭部包含一個大視場高倍率變焦內(nèi)窺物鏡，外徑尺寸為9.8 mm，與臨床常規(guī)胃鏡相同，變焦旋鈕在控制手柄上，可以實現(xiàn)1~500 倍連續(xù)變焦放大功能。在實際使用過程中，將細胞內(nèi)鏡探頭逐步靠近組織表面并調(diào)節(jié)變焦旋鈕，可實現(xiàn)對組織的連續(xù)放大觀察，直至探頭貼住組織表面時，系統(tǒng)的放大倍率達到最大，能夠觀察到染色的細胞核，且此時顯微觀察的視場范圍可以達到1 mm 以上，具有視場大、分辨率高等優(yōu)點。

圖1 高倍率細胞內(nèi)鏡系統(tǒng)Fig. 1 Endocytoscopy system with high magnification

為了使不同組織之間以及細胞核與細胞質(zhì)之間的差異更加明顯，在使用細胞內(nèi)鏡檢查前需要對組織進行染色［4］。目前，細胞內(nèi)鏡常用的染色劑有甲苯胺藍、亞甲藍和結(jié)晶紫等溶液。對食管黏膜的染色大多選擇甲苯胺藍或亞甲藍，而結(jié)晶紫能夠?qū)毎|(zhì)進行有效染色［3，7］。本文基于搭建的高倍率細胞內(nèi)鏡系統(tǒng)，在豬食管黏膜組織上開展了甲苯胺藍染色細胞核的實驗。從離體的豬食管組織上剝離一小塊食管內(nèi)壁黏膜，沖洗干凈后再用1%濃度的甲苯胺藍水溶液進行染色。這種染色劑著色很快，適用于內(nèi)鏡下快速染色。染色大約一分鐘之后用清水沖洗掉多余的染色劑，便完成了對豬食管黏膜組織細胞核的染色。將染色好的食管黏膜置于背光光源上，利用細胞內(nèi)鏡系統(tǒng)進行觀察，圖2 展示了不同放大倍率下的成像結(jié)果，其中圖 2（a）~2（c）的成像物距由遠及近，最后緊貼黏膜表面，在最高放大倍率下能夠清晰地觀察到均勻分布的細胞核，如圖2（c）所示。

圖2 高倍率細胞內(nèi)鏡系統(tǒng)觀察豬食管黏膜的染色細胞核Fig.2 Observation on stained nuclei of esophageal mucosa tissue of pig by endocytoscopy system with high magnification

3 細胞核分割方法

根 據(jù) Kumagai 等［8］和 Ono 等［9］的 研 究 ，使 用細胞內(nèi)鏡診斷食管病變和宮頸病變的良惡性主要依賴于細胞核的特征，但內(nèi)窺鏡醫(yī)生通常不具備細胞核病理診斷的經(jīng)驗，而且缺乏統(tǒng)一標準，主觀估計誤差較大。Kumagai 等在2019 年采用深度學習方法對細胞內(nèi)鏡在食管拍攝到的圖像進行識別分類以輔助內(nèi)窺鏡醫(yī)生診斷，其中類別包括良性病變和惡性病變兩類，最終模型診斷的總體準確性為90.9%［10］。然而，這種輔助診斷的方法并未充分利用細胞核的特征，為了進一步準確分析細胞核的形態(tài)結(jié)構(gòu)，需要將細胞內(nèi)鏡圖像中的細胞核準確地分割和提取出來。

深度學習在醫(yī)學圖像分割領(lǐng)域的應用日趨成熟，與傳統(tǒng)的分割算法相比，深度學習方法的分割精度有了較大的提升［11-12］。Shelhamer 等［13］提出的全卷積神經(jīng)網(wǎng)絡（Fully Convolutional Net?work，F(xiàn)CN）模型將網(wǎng)絡后端的全連接層替換成卷積層，再使用上采樣技術(shù)將低分辨率的深層特征圖映射到輸入圖像的尺寸上，成功地完成了像素級的語義分割任務。該網(wǎng)絡結(jié)構(gòu)簡單，容易訓練，目前已廣泛地應用于圖像分割任務中。本文采用FCN 網(wǎng)絡作為細胞核分割模型的基本框架，其中FCN 的主體結(jié)構(gòu)采用了常用的VGG16［14］模型。

在細胞內(nèi)鏡所拍攝的豬食管黏膜細胞核圖像中，單個細胞核所占比例較小，直接將原始圖像用于訓練難以取得好的分割效果，所以本文先對原始圖像的右側(cè)和底部按照邊界對稱性進行填充，擴展成512×512 像素，進而再切分成16 個128×128 像素的圖像塊，然后將圖像塊放大至512×512 像素再輸入FCN 模型進行訓練，避免細胞核在不斷卷積池化的過程中丟失語義特征。最后，對每個圖像塊分割的結(jié)果對照位置進行拼接并裁剪掉填充區(qū)域，通過后處理去除面積小于10 像素和大于200 像素的偽細胞核，輸出最終的細胞核分割結(jié)果。細胞核分割的整體框架如圖3所示。

圖3 基于FCN 的細胞核分割模型框架Fig.3 Structure of nuclear segmentation model based on FCN

4 實驗與結(jié)果分析

4.1 數(shù)據(jù)集及評價指標

本文基于已研制的高倍率細胞內(nèi)鏡系統(tǒng)對豬食管黏膜組織的細胞核進行染色觀察并采集圖像數(shù)據(jù)，從8 次染色實驗中共采集了40 張具有代表性的細胞核圖像，并手動對這些圖像進行標注，制作出細胞核分割數(shù)據(jù)集，如圖4 所示，其中10 張圖像作為評估分割算法的測試集。另一方面，本文對用于訓練的30 對圖像和標簽進行切割分塊，共得到1 080 對圖像塊，用于訓練細胞核分割模型。

圖4 細胞核標注Fig.4 Nuclear label

為了定量評估比較算法模型分割細胞核的準確性，本文采用像素準確性（Pixel Accuracy，PA）（Ap），特異性（Sp），敏感性（Se）和 Dice 系數(shù)（D）4 個指標［15-16］，計算公式如下：

其中：TP表示分割正確的細胞核像素個數(shù)，TN表示分割正確的背景像素個數(shù)，F(xiàn)P表示誤分割成細胞核的像素個數(shù)，F(xiàn)N表示遺漏分割的細胞核像素個數(shù)。Dice 系數(shù)是醫(yī)學圖像分割領(lǐng)域衡量真值和預測值之間的重要度量，其值越大表示兩者的相似度越高［16］。

4.2 分割結(jié)果及討論

本文實驗均是在Ubuntu 19.04 系統(tǒng)上進行，CPU 型 號 為 i9-9900K，GPU 型 號 為 RTX 2080Ti，利 用 開 源 庫 PyTorch 1.6.0 和 OpenCV 3.4.2 進行模型的訓練測試以及圖像處理等。由于待分割的目標只有細胞核，所以像素只有細胞核像素和背景像素兩類。因此，本文在訓練細胞核分割模型時采用二進制交叉熵損失函數(shù)，并采用 Adam 算法［17］進行優(yōu)化，經(jīng)過 300 次的迭代訓練之后得到細胞核分割模型。

為了驗證圖像切割分塊訓練的有效性，本文對未切分圖像也進行了同樣的訓練，并將切分圖像訓練的模型記為FCN-crop，未切分圖像訓練的模型記為FCN。除此之外，本文還實現(xiàn)了傳統(tǒng)的OTSU 分割方法，用來和深度學習方法對比。3 種分割方法在測試集上的分割結(jié)果如圖5 所示。在4 項指標中，OTSU 的表現(xiàn)都是最差的，而FCN-crop 的表現(xiàn)是最好的，其像素準確性達到了99.23%，特異性達到了99.54%，敏感性達到了84.37%，Dice 系數(shù)也達到了0.813 8。由于圖像中大部分像素都屬于背景像素，因此3 種方法的像素準確性和特異性都在90%以上。在敏感性和 Dice 系數(shù)上，OTSU 和 FCN 都很低，說明這兩種方法存在較多的細胞核遺漏分割的情況，且細胞核邊緣分割不夠準確。FCN-crop 模型在敏感性和Dice 系數(shù)上都在0.8 以上，充分說明它可以準確地分割出細胞核，在測試集圖像上的分割結(jié)果如圖6 所示（彩圖見期刊電子版）。其中，綠色和黑色代表正確分割的真陽性像素和真陰性像素，藍色和紅色代表錯誤分割的假陽性和假陰性像素。

圖5 三種方法分割結(jié)果的對比Fig.5 Comparison of segmentation results of three methods

圖6 FCN-crop 模型的分割結(jié)果。（a）~（c）是原始圖像，（e）~（g）是分割結(jié)果Fig.6 Segmentation results of FCN-crop model.（a）-（c）are original images，and（e）-（f）are segmentation results

在細胞內(nèi)鏡顯微成像模式下，F(xiàn)CN-crop 模型準確分割出的細胞核可用于定量分析細胞核的大小、形態(tài)分布等特征，這些特征與食管黏膜組織的病變緊密相關(guān)［8，18］。通過聯(lián)合臨床醫(yī)學研究團隊，這些定量化的特征在食管組織病理診斷分析中能夠降低醫(yī)生之間的個體差異和主觀估計所引入的誤差，對細胞內(nèi)鏡病理診斷標準制定以及輔助醫(yī)生診斷具有重要意義。

5 結(jié) 論

本文基于已研制的高倍率細胞內(nèi)鏡系統(tǒng)，在豬食管黏膜組織上使用甲苯胺藍溶液對細胞核進行染色并成功觀察到了染色的細胞核。在采集細胞核圖像并手動標注制作細胞核分割數(shù)據(jù)集之后，以深度學習分割算法FCN 為基本框架實現(xiàn)了對圖像中染色細胞核的有效分割，分割準確性和特異性都在99% 以上，且敏感性和Dice 系數(shù)都在0.8 以上，從而為細胞內(nèi)鏡AI 輔助診斷研究提供了細胞核分析的準確依據(jù)。