基于加權損失函數的粘連白細胞分割算法

趙曉晴, 李慧盈,2, 蘇安煬, 張海濤, 劉景鑫, 顧桂穎

(1. 吉林大學 計算機科學與技術學院, 長春 130012；2. 吉林大學 符號計算與知識工程教育部重點實驗室, 長春 130012； 3. 吉林大學 軟件學院, 長春 130012；4. 吉林大學中日聯合醫(yī)院 放射科, 長春 130033； 5. 吉林大學中日聯合醫(yī)院 血液與腫瘤科, 長春 130033)

精準分割白細胞具有醫(yī)學檢驗意義[1], 傳統(tǒng)檢測中各類白細胞的數目通過人工方法進行計數[2-3], 由于不同病理學家的專業(yè)技能和經驗存在差異, 因此人工計數的準確率較低[4]. 計算機輔助分割醫(yī)學圖像不僅可排除人工計數過程中的干擾因素, 而且可提升病理檢測結果的可靠性. 基于深度學習的圖像分割算法可對醫(yī)學影像進行處理分析, 自動分割感興趣區(qū)域(ROI), 更便于提取高維數據中的特征信息[5-6]. Long等[7]提出了一種全卷積神經網絡(FCN), 將卷積神經網絡(CNN)中的圖像級分類改為像素級分類, 同時, 該網絡允許任何尺寸的輸入圖像； Guerrero-Pena等[8]基于細胞的圖形結構及分割過程中的類別不平衡問題, 提出了兩種權重圖應用于交叉熵損失函數, 分割粘連細胞； Chen等[9]提出了一種關注邊界特征的全卷積網絡(DCAN), 用于從組織學圖像中分割腺體, 改善腺癌的自動診斷, 并用該方法證明了加強模型學習邊界特征的優(yōu)越性[10].

目前, 急性淋巴細胞白血病(ALL)顯微圖像的白細胞分割技術的難點是紅細胞的干擾和粘連白細胞的精準分割. 為排除圖像中紅細胞等噪聲像素點的干擾, 本文采用一種基于色彩空間變換的白細胞檢測方法, 提取目標白細胞； 為分割粘連白細胞, 除細胞內部區(qū)域和背景區(qū)域外, 將細胞邊界區(qū)域的像素點作為分割過程中的第三類, 并通過基于類別權重的加權交叉熵損失函數, 強化深度學習模型對細胞邊界特征的學習. 本文方法使白細胞分割準確率達95.19%.

1 算法設計

1.1 基于色彩空間變換的白細胞提取算法

在ALL患者的血液細胞顯微圖像中檢測并提取白細胞, 是通過消除其他區(qū)域和顆粒(如紅細胞、 血小板和噪聲像素點)實現的. 圖像中的血小板和染色過程中產生的噪聲像素點構成了脈沖噪聲, 相比于均值濾波器、 高斯濾波器等其他濾波器, 中值濾波器對脈沖噪聲有良好的濾除作用, 且能保留邊界的細節(jié)特征. 所以, 在提取前需對圖像進行中值濾波[11-12], 即用統(tǒng)計學的中值方法, 選定像素點的灰度值為其周圍像素點灰度值的中值, 通過該非線性濾波器, 濾除圖像中的噪聲點, 從而提高信噪比.

在計算機視覺領域, 色彩空間是描述顏色的特定方式, 包括顏色模型和映射函數, 顏色模型表示像素點的值, 而映射函數可將特定顏色映射到包括所有顏色的集合中. RGB是應用最廣的顏色空間, HSV是基于人類對顏色感知而提出的色彩空間. 彩色圖像一般用R(紅色)、 G(綠色)和B(藍色)3個色帶表示, 這3個色帶的值均會隨亮度的變化而改變. 因此, 對于白細胞顯微圖像, RGB顏色空間更適合于圖像展示, 但其并不適合圖像處理與分析. 而HSV色彩空間中的飽和度(S)與人眼的感知密切相關, 亮度(V)與顏色自身無關, 色調(H)可顯著區(qū)分血涂片中的紅細胞和白細胞(在染色后的ALL顯微圖像中, 白細胞呈紫色, 紅細胞呈紅色). 圖1顯示了RGB和HSV色彩空間中的單色帶分量, 其中： (A)為中值濾波后的ALL顯微圖像； (B)～(D)分別為R,G和B的提取結果; (E)～(G)分別為H,S和V的提取結果. 由圖1可見, RGB色彩空間對紅細胞等干擾因素和白細胞的區(qū)分無顯著作用, 而HSV色彩空間更適合于血液細胞顯微圖像的邊緣檢測和分割.

圖1 RGB和HSV色彩空間單色帶分量提取結果Fig.1 Extraction results of monochromatic band components in RGB and HSV color space

算法1基于顏色空間變換的白細胞提取算法.

輸入: 原始ALL患者的血液細胞顯微圖像;

輸出: 前景為白細胞區(qū)域的二值圖像.

步驟1) 用cv2.medianBlur( )函數和(25,25)的中值濾波器模板, 濾除ALL患者原始血液細胞顯微圖像中的噪聲點；

步驟2) 用cv2.cvtColor( )函數將濾波后圖像的顏色空間由RGB轉換為HSV, 轉換結果命名為HSV_image；

步驟3) 根據染色后白細胞的紫色特性設定顏色閾值范圍, 下限(lower)為(125,43,46), 上限(upper)為(155,255,255);

步驟4) 用cv2.inRange (HSV_image,lower,upper)函數提取ROI, 在提取結果中, 顏色閾值范圍內的像素點為白色, 紅細胞等其他像素點為黑色;

步驟5) 用cv2.threshold( )函數將提取結果二值化;

步驟6) 用cv2.findContours( )函數獲得二值圖像中ROI的輪廓;

步驟7) 遍歷所有ROI的輪廓, 用cv2.boundingRect( )函數在每個輪廓外部標記外切矩形, 返回值為矩形的高度和寬度； 雖然血涂片中的血小板和白細胞均呈紫色, 但血小板的尺寸遠小于白細胞, 因此矩形面積大于6 000個像素點的ROI被視為白細胞, 否則作為血小板被濾除.

用算法1檢測并提取白細胞, 提取結果將作為深度學習分割模型的訓練樣本, 其中cv2表示OpenCV.

1.2 基于加權損失函數的多類分割算法

1.2.1 多類分割

多類分割即把細胞邊界區(qū)域設為除白細胞區(qū)域和背景外的第三類, 從而精準分割粘連白細胞. 為獲得細胞邊界類的像素點, 本文對地面實況進行形態(tài)學膨脹運算, 計算公式為

gt⊕k={g|(kV)g∩gt≠?},

(1)

其中gt表示二值化后的地面實況，k表示膨脹模板，g表示集合平移的位移量，對k做關于其原點的反射得到反射集合kV.

將二值圖像中的白細胞區(qū)域向四周擴展, 將與細胞接觸的所有背景點合并到細胞中, 使邊界向外擴張. 如果兩個白細胞間的距離較近, 則膨脹運算可能會把兩個細胞連通到一起. 膨脹后的地面實況與原地面實況的差值即為細胞邊界, 如圖2所示, 其中： (A)為地面實況； (B)為使用5×5的模板對地面實況膨脹的結果; (C)為得到的細胞邊界.

圖2 創(chuàng)建細胞邊界類Fig.2 Creation of class corresponding to cell border

1.2.2 加權交叉熵損失函數

深度學習算法用損失函數監(jiān)測和評估模型[13-14], 算法的優(yōu)化是盡可能地最小化損失函數值, 使模型達到最穩(wěn)定的狀態(tài), 而交叉熵損失函數可用于監(jiān)測及評估訓練過程中的深度學習模型. 本文提出一種像素級的加權交叉熵損失函數L, 表示為

(2)

其中，wCWM:Ω→是為提高細胞邊界類權重而引入的權重圖(CWM)，l:Ω→{1,2,…,K}表示每個像素點的實際所屬類別，log為對數函數. Softmax定義為

其中:ak(x)表示像素點x在特征通道k被激活的情況,x∈Ω且Ω?2；K表示類別數目, 本文設K=3.

血涂片中的背景像素點最多, 細胞邊界類的像素點最少, 為緩解類別不平衡問題, 并提高細胞邊界類的權重, 本文提出了類別權重圖, 表示為

wCWM(x,α)=1/w0(x),

(3)

其中,w0:Ω→是每個類別在血涂片中像素點的總數, 且w0(邊界)

1.2.3 深度學習分割模型

在血液細胞顯微圖像中, 細胞邊界處梯度復雜, 難以區(qū)分細胞像素點和背景像素點, 因此, 需較多的高分辨率信息用于精準分割. 人類機體的結構較穩(wěn)定, 白細胞在血涂片中的分布遵循一定規(guī)律, 語義較簡單明確, 所以, 低分辨率信息可用于白細胞的識別. U-Net結合了低分辨率特征信息和高分辨率特征信息, 較適合ALL患者的血液細胞顯微圖像分割. 該網絡經過多次下采樣得到的低分辨率信息有助于白細胞的識別, 而合并操作將特征圖從編碼器端直接傳遞到同高度的解碼器端, 能為白細胞分割提供更完整的特征, 如梯度等. 實驗所用的最佳網絡結構如圖3所示.

圖3 U-Net模型結構Fig.3 U-Net architecture

該網絡包括一個編碼器和一個解碼器： 編碼器遵循VGG16典型架構, 包括重復的3×3卷積層和2×2的最大池化層用于下采樣, 特征通道的數量在經過池化層后加倍(64,128,256,512序列)； 在解碼器中, 特征通道的數量在經過Conv2DTranspose層后減半, 合并層用于結合編碼器的低分辨率特征與解碼器的高分辨率特征, 防止特征丟失, 解碼器端的卷積層用于提升分割結果的準確率.

2 實驗結果與分析

下面采用意大利米蘭大學提供的血細胞顯微圖像數據集(ALL_IDB1)[15]對本文方法的性能進行評估. 該數據集主要用于評估白細胞的分割和分類, 其由108張JPG格式的圖像組成, 分辨率為2 592×1 944, 使用實驗室光學顯微鏡和佳能PowerShot G5相機捕獲.

2.1 白細胞檢測和提取結果

由于原始血液涂片的分辨率較高, 因此使用(21,21),(25,25)和(29,29)的濾波器模板對原始ALL顯微圖像進行中值濾波. (25,25)的過濾效果較理想, 消除了血液涂片制作過程中產生的噪聲, 同時保留了邊緣信息. 將經過中值濾波血涂片的顏色空間由RGB轉換至HSV, 濾除紅細胞并提取白細胞, 結果如圖4所示, 其中： (A)為中值濾波的結果； (B)為HSV色彩空間中血涂片； (C)為白細胞檢測結果； (D)為白細胞提取結果. 由于細胞質區(qū)域的像素點呈淡紫色, 因此在提取結果中粘連白細胞被視為單個ROI(圖4(D)中標記處).

圖4 白細胞提取過程Fig.4 Extraction process of leukocyte

2.2 粘連白細胞分割評價指標

實驗采用準確率(Acc)、 交并比(IOU)、F1值和F均值4個評價指標驗證算法的有效性, 這些評價指標計算公式分別為

其中，FG和BG分別表示地面實況中的前景(白細胞像素點)和背景(非白細胞像素點)，FP和BP分別表示模型預測結果中的前景(白細胞像素點)和背景(非白細胞像素點)，|·|表示集合，θ2=0.3用以提升精確率的影響.

2.2.1 深度學習分割模型對比

將原始分辨率為2 592×1 944的圖像裁剪為分辨率為512×512的子圖像, 以提高分割目標在單張樣本圖像中的比例, 剪裁后的數據集為105張包含粘連白細胞的子圖像, 并且每張子圖像都有與其對應的地面實況. 為增強魯棒性, 實驗中隨機分配訓練集、 驗證集和測試集的樣本. 本文將63張圖像作為訓練集, 并且在每次訓練迭代中都使用幾何形變(旋轉、 鏡像等)擴充訓練樣本的數量. 驗證集和測試集均包含21張圖像.

將用Keras框架封裝二分類交叉熵損失函數的U-Net模型標記為ORG, U-Net,Linknet和FPN均表示使用本文提出的加權交叉熵損失函數進行分割的深度學習模型. 為考察不同損失函數和分割模型對ALL顯微圖像的分割效果, 用準確率、 交并比和F1值分別對訓練、 驗證和測試結果進行評估, 結果列于表1. 由表1可見, 用加權損失函數的3個模型分割結果始終優(yōu)于未改進交叉熵損失函數的分割結果, 并且在3種分割模型中U-Net表現較好, 所以在后續(xù)的對比實驗中, 將該模型的分割結果與其他分割方法進行對比. 圖5為本文提出的加權交叉熵損失函數在測試集上的分割結果, 其中： (A)為原始ALL顯微圖像, 白細胞呈紫色； (B)為由算法1得到的測試樣本(為更好地展示, 圖像進行了黑白反轉); (C)為用加權交叉熵損失函數的U-Net分割結果. 圖5和表1的結果表明, 將細胞邊界設定為第三類, 并且在訓練過程中加強模型對該類特征的學習, 有利于提高ALL顯微圖像中白細胞的分割結果.

表1 不同損失函數和分割模型的對比結果Table 1 Comparison results of different loss functions and segmentation models

圖5 ALL顯微圖像的白細胞分割結果Fig.5 Segmentation results of leukocyte of ALL microscopic images

2.2.2 不同分割方法的對比

將本文提出的方法與其他3種白細胞分割算法進行對比分析. 根據形態(tài)學距離變換的結果, 基于標記的分水嶺算法將白細胞圖像劃分為前景區(qū)域、 背景區(qū)域和不確定區(qū)域, 根據這3類標記進行分水嶺操作以獲取細胞邊界. 基于極限學習機的算法[16]根據血涂片的染色原理設計了圖像自動采樣算法, 在線訓練極限學習機分類器以提取白細胞; 基于多諧波極限學習機的算法[17]在線訓練多諧波極限學習機分類器, 并迭代執(zhí)行“像素采樣-特征學習-分類”的過程, 直到感知飽和為止. 表2列出了4種白細胞分割方法在測試集上的F均值.

表2 不同分割方法F均值的對比結果Table 2 Comparison results for Fmean of different segmentation methods

由表2可見, 用基于類別權重的加權損失函數的U-Net模型提高了粘連白細胞的分割精度.

綜上所述, 本文將ALL患者血液細胞顯微圖像的色彩空間由RGB轉換至HSV, 根據白細胞的顏色特性精確地檢測并提取了白細胞. 針對由于部分白細胞的細胞質所占比例較小, 且在染色后呈淡紫色, 難以分割粘連白細胞的問題, 本文提出了一種基于類別權重的加權交叉熵損失函數方法, 強化了模型對細胞邊界特征的學習. 實驗結果表明, 與其他類似方法相比, 該方法有一定的優(yōu)勢.