基于改進(jìn)SegNet癌變組織圖像語義分割算法

孟凡宏，黃丹飛，鐘艾琦，陳思陽，趙成龍

（長春理工大學(xué) 光電工程學(xué)院，長春 130022）

近年來，全球癌癥的發(fā)病率和死亡率逐年上升，其中肺癌仍位居我國惡性腫瘤發(fā)病首位，高發(fā)癌癥還有肝癌和甲狀腺癌等，嚴(yán)重威脅著人類健康。以往的研究表明，偏振成像技術(shù)能夠根據(jù)組織正常和惡性變化之間的微觀結(jié)構(gòu)差異，表現(xiàn)出不同的偏振特性［1］。背向散射光穆勒矩陣成像技術(shù)是一種有潛力的癌變組織表征手段，提供了反映組織微觀結(jié)構(gòu)信息的穆勒矩陣分解和變換參數(shù)，在檢測組織微觀結(jié)構(gòu)方面有著獨特優(yōu)勢。由于手術(shù)切除癌變組織干凈與否很大程度上決定術(shù)后恢復(fù)的情況，得到準(zhǔn)確完整的癌變組織位置是關(guān)鍵。然而目前作為癌癥診斷“金標(biāo)準(zhǔn)”的病理切片顯微鏡檢查需經(jīng)過染色處理才能定性判斷是否存在癌變，存在耗時長和易破壞組織微觀結(jié)構(gòu)的缺點，不利于大規(guī)模的研究和臨床應(yīng)用。臨床上希望送檢前給醫(yī)生快速準(zhǔn)確的邊緣狀況或癌變的具體位置，可以進(jìn)行補切，避免二次手術(shù)和復(fù)發(fā)。所以研究一種準(zhǔn)確的、快捷的針對穆勒矩陣參數(shù)圖像癌變和正常組織分割算法是尤為重要的。

基于傳統(tǒng)影像學(xué)分割腫瘤的方法有閾值、區(qū)域增長、基于統(tǒng)計學(xué)、基于模糊理論的分割方法［2］。近年來，深度學(xué)習(xí)被廣泛應(yīng)用于醫(yī)學(xué)圖像分割，F(xiàn)ukushim受生物學(xué)的啟發(fā)，提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN）的前身［3］。卷積網(wǎng)絡(luò)通過卷積網(wǎng)絡(luò)的端到端訓(xùn)練、像素到像素的訓(xùn)練等，可以達(dá)到語義分割的目的［4］。呂力兢［5］利用卷積神經(jīng)網(wǎng)絡(luò)及解碼網(wǎng)絡(luò)，實現(xiàn)了腺體的端到端的分割。國內(nèi)外研究多采用染色處理后的病理切片圖像，側(cè)重于組織的光學(xué)強(qiáng)度信息，忽略了反映組織微觀特征的偏振信息。本文對未染色、具有偏振信息的病理切片進(jìn)行學(xué)習(xí)。為了給醫(yī)生提供客觀可靠的結(jié)果，定量分析癌變和正常組織至關(guān)重要。楊東等人［6］提出使用圖像紋理特征參數(shù)定量比較乳腺導(dǎo)管組織不同階段的差異。

為了減少術(shù)中癌殘留，降低手術(shù)二次切緣的比例，同時量化組織信息，本文結(jié)合生物組織偏振特性和深度學(xué)習(xí)，對未染色病理切片的穆勒矩陣參數(shù)圖像利用改進(jìn)的語義分割網(wǎng)絡(luò)疊加高級語義信息和低級語義信息，分割出癌變和正常組織，最后分別提取癌變和正常區(qū)域的圖像紋理特征、中心矩參數(shù)，以期為癌癥的病理診斷提供即時準(zhǔn)確的組織定量分析。

1 基本原理

本文提出改進(jìn)的語義分割網(wǎng)絡(luò)模型，將生物組織偏振特性和深度學(xué)習(xí)結(jié)合，對正常與癌變組織的穆勒矩陣參數(shù)圖像的差異進(jìn)行學(xué)習(xí)，并采用圖像紋理特征定量分析兩區(qū)域的差異。首先使用背向散射光穆勒矩陣自動成像系統(tǒng)分別對肺癌和肝癌病理切片進(jìn)行穆勒矩陣成像，獲得相應(yīng)的穆勒矩陣分解和變換參數(shù)圖像。將選取的穆勒矩陣分解和變換參數(shù)圖像進(jìn)行加權(quán)平均融合后，采用數(shù)據(jù)增強(qiáng)方法以擴(kuò)充數(shù)據(jù)集，將數(shù)據(jù)輸入到語義分割網(wǎng)絡(luò)中，進(jìn)行三類分割，分割出背景、正常和癌變區(qū)域。最后分別提取正常和癌變區(qū)域的紋理特征，分析兩區(qū)域的差異。如圖1所示，為本文網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.1 穆勒矩陣參數(shù)

1.1.1 穆勒矩陣分解

穆勒矩陣極化分解（Mueller matrix polar decomposition，MMPD）是1996年Lu和Chipman提出的一種穆勒矩陣分解方法，將樣本的穆勒矩陣分解為3個基本子矩陣的乘積，提取出二向色性D、散射退偏Δ和線性相位延遲δ三個與微觀結(jié)構(gòu)有關(guān)的參數(shù)。在一些癌變組織中，相位延遲參數(shù)可能會反映出病變區(qū)域原有的纖維結(jié)構(gòu)被破壞引起的局部各向異性程度變化；另一些癌變組織中，未有明顯的各向異性程度改變，散射退偏敏感與早期細(xì)胞代謝旺盛造成的細(xì)胞及細(xì)胞器密度增加和細(xì)胞核腫大等特征。偏振對于細(xì)胞中細(xì)胞核、細(xì)胞骨架、細(xì)胞器的形態(tài)、雙折射特性以及纖維結(jié)構(gòu)差異具有高敏感性［7-8］。

1.1.2 穆勒矩陣變換

基于穆勒矩陣提取反映微觀結(jié)構(gòu)信息的參數(shù)的計算方法，還有穆勒矩陣變換（Mueller matrix transformation，MMT）。它是從強(qiáng)度周期性變化的穆勒矩陣陣元中獲得一組相互獨立的參數(shù)，即A、b、t2、t3和 x。參數(shù) A 反映樣品各向異性程度；參數(shù)b與樣品散射退偏、吸收有關(guān)；參數(shù)x體現(xiàn)各向異性結(jié)構(gòu)在成像面內(nèi)的方向；t2是散射介質(zhì)的各向異性程度敏感；t3是組織雙折射的指示器。b參數(shù)成像對比度主要來自于癌變和正常組織中代謝相關(guān)細(xì)胞器濃度的差異，A參數(shù)成像對比度來自癌變產(chǎn)生的纖維增生或破壞［9］。

1.2 加權(quán)平均融合

由于MMPD參數(shù)對纖維更敏感，MMT參數(shù)更容易快速地計算，因此本文采取加權(quán)平均融合方法來增強(qiáng)圖像的細(xì)節(jié)，設(shè)F1和F2分別表示兩參數(shù)圖像，則加權(quán)平均融合后的圖像可表示為：

其中，m和n分別表示圖像像素行和列號；ω1和ω2分別代表在圖像F1和F2中的加權(quán)系數(shù)。當(dāng)ω1+ω2=1且ω1= ω2=0.5時，表示加權(quán)平均融合，可以使用兩幅圖像的相關(guān)系數(shù)來確定公式中的權(quán)值，即：

通過結(jié)合兩參數(shù)圖像中的像素灰度信息，可以有效減少圖像中的噪聲，提高信噪比［10］。對于肝癌，選擇融合MMPD的D參數(shù)圖像和MMT的t3參數(shù)圖像，選擇融合肺癌的MMPD的D參數(shù)圖像和MMT的t2參數(shù)圖像，通過兩個圖像的融合得到細(xì)節(jié)信息更豐富、更為準(zhǔn)確的參數(shù)圖像。

1.3 穆勒矩陣參數(shù)圖像的語義分割網(wǎng)絡(luò)

語義分割任務(wù)能夠預(yù)測圖像中的每個像素對應(yīng)的類別?；贑NN的語義分割開始于全卷積神經(jīng)網(wǎng)絡(luò)FCN［11］，隨后的所有語義分割方法，都可以說是基于FCN的改進(jìn)以及演化［12］，如典型的編解碼網(wǎng)絡(luò) U-Net、SegNet［13］、U-Net++等 。由于醫(yī)學(xué)圖像相比自然圖像沒有豐富的高級語義特征，而且病變區(qū)域相對于整張醫(yī)學(xué)圖像較小，過多的卷積層會導(dǎo)致小的病變在圖像中消失。同時考慮到臨床上對于獲取癌變具體位置的時間需求，因此提出了一種改進(jìn)的SegNet語義分割網(wǎng)絡(luò)模型，通過學(xué)習(xí)圖像所包含的穆勒矩陣偏振信息，將其轉(zhuǎn)化成能夠區(qū)分正常與癌變區(qū)域的特征，提升分割效果。其結(jié)構(gòu)如圖2所示。為降低癌變特征的丟失，編碼部分將SegNet使用的VGG16的前13層網(wǎng)絡(luò)替換為改進(jìn)的VGG11網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，減少使用的卷積層數(shù)，去掉VGG11網(wǎng)絡(luò)的全連接層和最后的分類層；為了統(tǒng)一訓(xùn)練樣本使得網(wǎng)絡(luò)學(xué)習(xí)速度加快和泛化能力提升，在每個卷積層輸出后加上批量歸一化層。解碼部分為5個最大池化層和5個反卷積層，卷積層和反卷積層的卷積核大小均為3×3，最后得到分割結(jié)果圖。

圖2 語義分割網(wǎng)絡(luò)結(jié)構(gòu)

1.4 紋理特征分析

醫(yī)學(xué)圖像的紋理能呈現(xiàn)人體組織器官的結(jié)構(gòu)等，因此本文采取紋理特征中灰度共生矩陣、Tamura和中心矩參數(shù)對分割出的癌變與正常組織進(jìn)行定量分析。紋理特征定量分析了相鄰像素之間分布的變化。

灰度共生矩陣（Gray level co-occurrence matrix，GLCM）灰度分析是一種考慮圖像像素空間分布的圖像紋理分析方法［14］。GLCM可導(dǎo)出能量（Energy，Er）、相關(guān)性（Correlation，Cr）、對比度（Contrast，Ct）和熵（Entropy）等多個二階統(tǒng)計紋理特征。能量是對區(qū)域的均勻性的度量，相關(guān)性是用來表征與相鄰區(qū)域像素的相關(guān)性程度，對比度計算的是與相鄰區(qū)域像素間的強(qiáng)度對比度。圖像紋理特征Tamura包括與視覺感知相對應(yīng)的六個特征：對比度FCON、粗糙度FCRS、規(guī)則性FREG、粗略度FRGH、方向性FDIR和線性FLIN［15］。其中，對比度反映邊緣的銳度和重復(fù)圖案的周期，粗糙度和粗略度表征的是圖像的粗糙度或平滑度。中心矩參數(shù)期望μ、方差σ2、偏度skewness和峰度kurtosis可由式（4）—式（7）得到：

期望反應(yīng)的是被測參數(shù)的中心趨勢，方差是衡量數(shù)據(jù)分布廣泛程度，即組織結(jié)構(gòu)復(fù)雜程度的參數(shù)，偏度顯示分布關(guān)于均值的不對稱性，峰度是分布平坦或峰值程度的描述符。

將分割出的癌變與正常位置的像素分別映射到參數(shù)圖像上，通過計算分別獲得肝癌對應(yīng)的癌變和正常組織的MMT參數(shù)t3的紋理特征：偏度skewness、對比度FCON和粗糙度FCRS等，肺癌對應(yīng)的癌變與正常組織的MMT參數(shù)t2的紋理特征：對比度Ct和方向性FDIR等，來分析癌變與正常區(qū)域的差異。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

肝癌病理切片采用的是未染色肝細(xì)胞肝癌組織，共60張。肺癌病理切片采用的是未染色肺腺癌組織病理切片，共60張。病理切片經(jīng)穆勒矩陣成像獲得的穆勒矩陣進(jìn)行分解和變換得到參數(shù)b和D圖像，最后得到加權(quán)平均融合圖像。分別選擇50張肝癌、50張肺癌病理切片作為訓(xùn)練集和驗證集的原圖進(jìn)行預(yù)處理，剩余圖片為測試圖片不作處理。訓(xùn)練集中標(biāo)簽的區(qū)域標(biāo)注由人工完成，根據(jù)病理醫(yī)生標(biāo)注結(jié)果，采用Labelme軟件進(jìn)行標(biāo)注，獲得訓(xùn)練集標(biāo)簽。類別癌變組織、正常組織和背景分別對應(yīng)著標(biāo)簽cancer、normal和_background_，將生成的 json格式標(biāo)簽圖轉(zhuǎn)換成png格式標(biāo)簽圖，對應(yīng)的0～2像素值分別對應(yīng)上面三種類別，如表1所示。由于癌癥病理切片數(shù)量有限，經(jīng)過隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)-15°～15°任意角度的預(yù)處理，形成數(shù)據(jù)集。數(shù)據(jù)集中訓(xùn)練集為3 200個樣本，驗證集為800個樣本，包含三類：癌變、正常組織和背景類。如圖3、圖4所示，其中圖3（a）為肝癌的MMT參數(shù)t3圖，上方圓形框內(nèi)為肝癌組織，圖3（b）為肝癌的 MMPD 參數(shù) D圖，圖 3（c）、圖3（d）分別為肝癌的一組數(shù)據(jù)集及對應(yīng)標(biāo)簽圖；圖4（a）為肺癌的MMT參數(shù)t2圖，左側(cè)圓形框內(nèi)為肺癌組織，圖4（b）為肺癌的MMPD參數(shù)D圖，圖4（c）、圖4（d）分別為肺癌的一組數(shù)據(jù)集及對應(yīng)標(biāo)簽圖，癌變、正常組織和背景分別用白色、灰色和黑色表示。

圖3 肝癌數(shù)據(jù)集展示

圖4 肺癌數(shù)據(jù)集展示

表1 各算法評價指標(biāo)比較

2.2 實驗結(jié)果

本文采用Adam優(yōu)化器優(yōu)化損失函數(shù)，批量大小設(shè)置為8，訓(xùn)練迭代100次，圖像大小為224×224。所使用的實驗環(huán)境為Windows10系統(tǒng)下搭建的Pytorch深度學(xué)習(xí)框架，并使用英偉達(dá)3 090，中央處理器為i9十代處理器。本文實驗分別與FCN、U-Net及SegNet算法進(jìn)行比較，如圖5、圖6所示分別為FCN、U-Net、SegNet以及本文算法在肝癌和肺癌上的分割效果對比圖。

圖5 肝癌分割結(jié)果

圖6 肺癌分割結(jié)果

2.3 評價分析

本文主要從主觀評價和客觀評價兩方面來比較和分析實驗結(jié)果。主觀評價是根據(jù)視覺效果比較整體和邊緣的分割效果?？陀^評價使用準(zhǔn)確性（Accuracy）和平均交并比（Intersection over union，IoU）來評價分割結(jié)果，如表2所示為本文對比實驗的評價結(jié)果。

表2 各算法評價指標(biāo)比較

本文提出的算法相較于U-Net和SegNet而言，肝癌和肺癌分割結(jié)果表現(xiàn)的主觀效果更好，F(xiàn)CN分割效果良好，但對邊緣細(xì)節(jié)不夠敏感。本文方法的分割客觀性能指標(biāo)優(yōu)于FCN、U-Net和SegNet，對于圖5肝癌，總體測試準(zhǔn)確性為0.974 3，平均交并比為0.817 1。對比SegNet的分割結(jié)果，準(zhǔn)確性提升了5.89%，平均交并比提升了9.79%。對于圖6肺癌，總體測試準(zhǔn)確性為0.971 8，平均交并比為0.861 3，對比SegNet的分割結(jié)果，準(zhǔn)確性提升了1.17%，平均交并比提升了5.56%，本文算法運行時間短，整體性能較優(yōu)，在癌變和正常組織分割性能方面有很大的提升。

基于前述分割結(jié)果得到的不同區(qū)域進(jìn)行紋理特征參數(shù)計算，肝癌和肺癌的相應(yīng)的圖像紋理特征如圖7、圖8所示，對于肝癌，圖5（f）灰色區(qū)域MMT參數(shù)t3的偏度skewness、粗糙度FCRS和對比度FCON較大，白色區(qū)域參數(shù)t3的偏度skewness、粗糙度FCRS和對比度FCON較小。對于肺癌，圖6（f）灰色區(qū)域MMT參數(shù)t2的標(biāo)準(zhǔn)差和對比度Ct較大，方向性FDIR較小，白色區(qū)域參數(shù)t2的標(biāo)準(zhǔn)差和對比度Ct較小，方向性FDIR較大。肝癌和肺癌的白色相對灰色區(qū)域更符合癌變特征。

圖7 肝癌參數(shù)t3圖中正常、癌變組織的紋理特征分布

圖8 肺癌參數(shù)t2圖中正常、癌變組織的紋理特征分布

3 結(jié)論

提出了一種改進(jìn)的SegNet語義分割算法，對癌變與正常組織的穆勒矩陣參數(shù)圖像進(jìn)行分割。首先，采用加權(quán)平均融合處理穆勒矩陣分解和變換參數(shù)圖像，增強(qiáng)圖像細(xì)節(jié)信息；然后在特征提取部分使用改進(jìn)的VGG11網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，保留癌變組織的更多特征。實驗結(jié)果表明，本文算法對肝、肺癌癌變組織穆勒矩陣圖像具有較高的分割精度，與傳統(tǒng)的SegNet算法相比較整體性能較優(yōu)，在臨床中可降低手術(shù)二次切緣的比例。