兩階段分析的異常簇團宮頸細(xì)胞檢測方法

梁義欽　趙司琦　王海濤　何勇軍

摘要：異常細(xì)胞檢測是宮頸癌智能輔助診斷的關(guān)鍵技術(shù)，直接影響著檢測系統(tǒng)的性能。但宮頸異常細(xì)胞大多以簇團的形式存在，細(xì)胞相互粘連、復(fù)雜多樣，給異常細(xì)胞檢測帶來了挑戰(zhàn)。為解決這一問題，本文提出了一種兩階段簇團宮頸異常細(xì)胞檢測方法。該方法在第一階段采用YOLO-v5目標(biāo)檢測網(wǎng)絡(luò)，利用可變形卷積替換網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積，使卷積核的大小和位置可以根據(jù)當(dāng)前病理圖像內(nèi)容進行動態(tài)調(diào)整，以適應(yīng)不同簇團宮頸細(xì)胞的形狀、大小等幾何形變。在第二階段利用監(jiān)督對比學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)正、異常簇團宮頸細(xì)胞之間的特征差異，實現(xiàn)高準(zhǔn)確率的正、異常簇團宮頸細(xì)胞分類。實驗表明，簇團宮頸細(xì)胞召回率達(dá)到89.69%，相比基線網(wǎng)絡(luò)YOLO-v5提升了1.43%，正、異常簇團宮頸細(xì)胞分類準(zhǔn)確率達(dá)到87.81%，相比基線網(wǎng)絡(luò)ResNet提升了10.31%。

關(guān)鍵詞：簇團宮頸細(xì)胞分類;目標(biāo)檢測;對比學(xué)習(xí)

DOI：10.15938/j.jhust.2022.02.010

中圖分類號： TP315.69

文獻標(biāo)志碼： A

文章編號： 1007-2683（2022）02-0076-09

Two-stage Detection Method for Abnormal Cluster Cervical Cells

LIANG Yi-qin ZHAO Si-qi WANG Hai-tao HE Yong-jun

（1.School of Computer and Technology， Harbin University of Science and Technology， Harbin 150080， China;

2.The First Affiliated Hospital of Harbin Medical University， Harbin， 150001， China）

Abstract：Abnormal cell detection is a key technique for intelligent assisted diagnosis of cervical cancer， which directly affects the performance of the detection system. However， most cervical abnormal cells exist in the form of clusters. Cells adhere to each other， complex and diverse， which brings challenges to abnormal cell detection. To solve this problem， we proposed a two-stage detection method for cluster cervical abnormal cells. In the first stage， we use YOLO-v5 target detection network. The standard convolution in the network is replaced by deformable convolution. The size and location of convolution kernel can be dynamically adjusted according to the current pathological image content， so as to adapt to the shape， size and other geometric changes of cervical cells in different clusters. In the second stage， the supervised contrastive learning network is used to learn the feature differences between positive and abnormal clusters of cervical cells， so as to achieve high accuracy classification of positive and abnormal clusters of cervical cells. The experimental results show that the recall rate of cluster cervical cells reaches 89.69 %， which is 1.43 % higher than that of baseline network YOLO-v5. The classification accuracy of positive and abnormal cluster cervical cells reaches 87.81 %， which is 10.31 % higher than that of baseline network ResNet.

Keywords：cluster cervical cell classification; target detection; contrastive learning

0引言

宮頸癌是最常見的婦科惡性腫瘤之一。近年來其發(fā)病趨于年輕化，已成為威脅女性健康的嚴(yán)重問題。根據(jù)GLOBOCAN 2018年全球癌癥觀測數(shù)據(jù)庫顯示[1]，在2018 年全球大約有570000例宮頸癌病例與311000例死亡病例，死亡率達(dá)到 54.56%，早診斷早治療是應(yīng)對這一問題的有效手段。目前宮頸癌診斷依賴于人工閱片，工作量大、效率低、診斷準(zhǔn)確率高度依賴專業(yè)人員的技術(shù)水平，導(dǎo)致宮頸癌發(fā)病率、死亡率居高不下。因此，采用人工智能技術(shù)輔助醫(yī)生做病灶位置初篩、宮頸癌前輔助診斷具有重要意義。

在實際宮頸癌前篩查中，異常的宮頸細(xì)胞大多擁擠成團，簇團宮頸細(xì)胞中包含了豐富的診斷信息。而現(xiàn)有研究大多針對單個宮頸細(xì)胞的定位與識別，缺乏針對簇團宮頸細(xì)胞的相關(guān)研究，充分利用簇團宮頸細(xì)胞中包含的豐富的診斷信息是提升智能診斷準(zhǔn)確率的關(guān)鍵。針對宮頸細(xì)胞病理圖像的分析，目前常用的方法[2-4]是結(jié)合醫(yī)生的經(jīng)驗設(shè)計大量的手工特征來描述細(xì)胞的形狀、紋理和外觀，然后將生成的特征通過特征選擇做進一步處理，最后輸入到各種分類器（例如隨機森林、SVM、softmax回歸、神經(jīng)網(wǎng)絡(luò)等）中執(zhí)行分類。由于細(xì)胞病理圖像內(nèi)容復(fù)雜、細(xì)胞之間形狀和外觀的差異大、細(xì)胞質(zhì)邊界的對比度差以及細(xì)胞之間的重疊，簇團宮頸細(xì)胞中的細(xì)胞或細(xì)胞核的分割仍然是一個未解決的問題。為避免手工特征難提取、細(xì)胞和細(xì)胞核難分割問題，目標(biāo)檢測方法可較好實現(xiàn)簇團宮頸細(xì)胞的定位與分類。R-CNN[5]是第一個將深度學(xué)習(xí)廣泛用于目標(biāo)檢測的方法。R-CNN 遵循傳統(tǒng)的目標(biāo)檢測思路。首先生成區(qū)域提議框，再對每個區(qū)域提議框提取特征向量，然后使用線性SVM分類，最后對每個區(qū)域提議框使用邊界框回歸進行目標(biāo)檢測。為了提高R-CNN的效率，F(xiàn)ast R-CNN[6]使用RoI池化，統(tǒng)一了圖像分類和邊界框回歸。并且使用softmax 代替了SVM，以及提出了多任務(wù)損失函數(shù)。但是Fast R-CNN中的提取框與R-CNN中的提取框相同，都采用了不能在GPU上運行的選擇性搜索算法。相反地Faster R-CNN[7]提供了一個區(qū)域提議網(wǎng)絡(luò)（region proposal network，RPN）來查找目標(biāo)區(qū)域，并且可以在 GPU 上運行整個目標(biāo)檢測網(wǎng)絡(luò)以提高效率。Faster R-CNN已成功應(yīng)用于細(xì)胞檢測任務(wù)。Liu Y等[8]使用自建的循環(huán)腫瘤細(xì)胞（circulating tumor cell，CTC）數(shù)據(jù)集訓(xùn)練了Faster R-CNN模型來檢測腫瘤細(xì)胞，為了提高檢測效率，文中減小了檢測圖像的面積，并增加了錨框的數(shù)量。Qiu W等[9]使用Faster R-CNN檢測紅細(xì)胞。此方法首先使用Faster R-CNN查找細(xì)胞位置，然后使用ResNet進行分類。Kaushik S等[10]采用Faster R-CNN和Yolo檢測乳腺癌細(xì)胞，并驗證了目標(biāo)檢測的有效性。Liang Y等[11]引入了Faster R-CNN來檢測宮頸癌，并使用對比檢測訓(xùn)練策略來提高準(zhǔn)確性。由于分類多，訓(xùn)練數(shù)據(jù)少，其準(zhǔn)確率低至 26.3%，召回率達(dá) 35.7%，無法滿足實際應(yīng)用的需要。

相比兩階段目標(biāo)檢測算法， 單階段目標(biāo)檢測算法的結(jié)構(gòu)簡單、計算高效， 同時具備不錯的檢測精度， 在實時目標(biāo)檢測領(lǐng)域中具有較高的研究和應(yīng)用價值。例如YOLO-v1[12]直接在輸出層回歸邊界框的位置和邊界框所屬類別，使其檢測速度能滿足實時應(yīng)用。針對YOLO-v1漏檢率高的問題，單次多邊框檢測網(wǎng)絡(luò)[13]（single shot multiBox detector，SSD）在多尺度的特征圖上進行目標(biāo)檢測，提出了與兩階段網(wǎng)絡(luò)相似的有錨框方法，不但確保了較高的檢測速率，而且降低了漏檢率。YOLO-v2[14]結(jié)合SSD的特點，骨干網(wǎng)絡(luò)采用Darknet19進行特征提取，并且去掉了全連接層，同樣引入了錨框方法，實現(xiàn)以不同尺寸的圖像訓(xùn)練網(wǎng)絡(luò)，解決了YOLO-v1準(zhǔn)確率低的問題。YOLO-v3[15]通過融合多標(biāo)簽分類預(yù)測、跨尺度預(yù)測、Darknet53等多種先進方法改進了YOLO系列。YOLO-v4[16]和YOLO-v5融合了更多的技巧，實現(xiàn)了速率和精度比較均衡的目標(biāo)檢測網(wǎng)絡(luò)。鄭欣等[17]提出利用ResNet50模型作為YOLO-v2網(wǎng)絡(luò)的基礎(chǔ)特征提取模塊，實現(xiàn)簇團宮頸細(xì)胞的識別與分類，識別準(zhǔn)確率為75.9%。周佳琳[18]在原有SSD網(wǎng)絡(luò)模型的基礎(chǔ)上，結(jié)合正反向特征融合對低層級高分辨率的特征圖進行改進，加入中心損失改善類內(nèi)差別大于類間差別的現(xiàn)象，在其自建數(shù)據(jù)集上mAP達(dá)到81.53%。

由于單階段目標(biāo)檢測網(wǎng)絡(luò)沒有專門生成候選框的子網(wǎng)絡(luò)，無法將候選框的數(shù)量減小到一個比較小的數(shù)量級，導(dǎo)致了絕大多數(shù)候選框都是背景類，即負(fù)樣本。大量的負(fù)樣本會覆蓋少量的正樣本的損失，從而導(dǎo)致模型退化，分類準(zhǔn)確率低。因此，本文提出一種兩階段分析的異常簇團宮頸細(xì)胞檢測方法，首先利用改進的YOLO-v5網(wǎng)絡(luò)檢出盡可能多的簇團宮頸細(xì)胞，然后利用有監(jiān)督對比學(xué)習(xí)網(wǎng)絡(luò)[19]（supervised contrastive learning，SupContrast）實現(xiàn)更精確的正、異常簇團宮頸細(xì)胞分類。因為在檢測出來的目標(biāo)上進一步分類，大大減少了簇團宮頸細(xì)胞的分析數(shù)目，所以本方法相比現(xiàn)有的目標(biāo)檢測方法，在相對較少的數(shù)據(jù)量上既加快了檢測速度，又提升了檢測精度。

1異常簇團宮頸細(xì)胞檢測方法

1.1異常簇團宮頸細(xì)胞檢測方法主體流程

子宮頸細(xì)胞病理學(xué)診斷系統(tǒng)（the bethesda system，TBS）定義了單個宮頸細(xì)胞的診斷標(biāo)準(zhǔn)，然而實際獲得的細(xì)胞病理圖像中宮頸細(xì)胞大多粘連成團，簇團宮頸細(xì)胞包含了大量的診斷信息。但是宮頸細(xì)胞圖像內(nèi)容豐富，情況復(fù)雜，通過傳統(tǒng)機器學(xué)習(xí)方法難以精確提取正、異常簇團宮頸細(xì)胞之間的特征差異，現(xiàn)有的深度學(xué)習(xí)方法也難以精確分割出單個宮頸細(xì)胞進行分析診斷。利用目標(biāo)檢測網(wǎng)絡(luò)進行簇團宮頸細(xì)胞的定位與分類時，難以平衡其召回率和準(zhǔn)確性。

因此，我們提出了一種兩階段分析的異常簇團宮頸細(xì)胞檢測方法，整體流程如圖1所示。第一階段利用改進的YOLO-v5算法快速發(fā)現(xiàn)并定位單張全景病理切片掃描圖像（whole slide images，WSI）中的粘連簇團宮頸細(xì)胞;第二階段利用分類器對第一階段檢測出的簇團宮頸細(xì)胞進行正、異常簇團宮頸細(xì)胞分類，該分類器是利用對比學(xué)習(xí)方法訓(xùn)練所得。

1.2第一階段網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)網(wǎng)絡(luò)中利用卷積核提取圖像特征，圖像特征的提取能力直接影響了模型的性能。標(biāo)準(zhǔn)的卷積核通常是固定尺寸、固定大?。ㄈ?x3，5x5，7x7），利用標(biāo)準(zhǔn)卷積核提取特征后感受野尺寸都相同，對于未知的變化適應(yīng)性差，泛化能力不強。然而，在細(xì)胞病理圖像中，粘連簇團的宮頸細(xì)胞種類繁多，形態(tài)各異（簇團宮頸細(xì)胞典型類別示例如圖2所示）。

不同的位置可能對應(yīng)有不同尺度或者不同形變的簇團宮頸細(xì)胞。特征提取層需要自動調(diào)整尺度或者感受野，從而讓卷積核適應(yīng)不同簇團宮頸細(xì)胞的形狀、大小等幾何形變。可變形卷積[20]對卷積核中每個采樣點的位置都增加了一個偏移的變量，通過這些變量，卷積核就可以在當(dāng)前位置附近隨意的采樣，而不再局限于之前的規(guī)則格點。

因此，本文在YOLO-v5算法的基礎(chǔ)上提出了基于可變形卷積的目標(biāo)檢測（deformable convolution network YOLO，DCN-YOLO）方法。該方法在下采樣過程中將傳統(tǒng)卷積替換為可變形卷積，使卷積核的大小和位置可以根據(jù)當(dāng)前病理圖像內(nèi)容進行動態(tài)調(diào)整，從而可以更好的提取簇團宮頸細(xì)胞特征，提高了目標(biāo)檢測網(wǎng)絡(luò)的泛化能力。

DCN-YOLO主要由骨干網(wǎng)絡(luò)（backbone）、特征融合網(wǎng)絡(luò)（neck）和檢測網(wǎng)絡(luò)（detect）組成。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。首先，將動態(tài)裁剪后的WSI圖像大小調(diào)整為相同尺度輸入網(wǎng)絡(luò)，經(jīng)過Focus結(jié)構(gòu)對輸入圖像的寬高信息整合到圖像通道空間中，即將圖像切分為4份，然后在通道維度進行拼接，最后經(jīng)過由二維卷積、批歸一化和激活函數(shù)組成的標(biāo)準(zhǔn)卷積層（Conv）得到無信息丟失的下采樣特征圖。然后，通過可變形卷積層（deformable convolution layer，DCL）與跨階段局部融合網(wǎng)絡(luò)[21]（cross stage partial network，CSPNet）構(gòu)成的殘差塊連接組成骨干網(wǎng)絡(luò)。DCL由可變形卷積、批量歸一化和激活函數(shù)依次連接構(gòu)成。CSP由局部卷積塊和局部過渡塊構(gòu)成。局部卷積塊通過對梯度流進行分裂，使梯度流通過不同的網(wǎng)絡(luò)路徑傳播，具體體現(xiàn)為將淺層特征映射為兩部分。一部分經(jīng)過卷積塊，一部分直接連接到卷積塊末端。局部過渡塊是一種層次化的特征融合機制，利用梯度流的聚合策略來防止不同層學(xué)習(xí)重復(fù)的梯度信息，具體體現(xiàn)為將兩部分的特征圖拼接后進行梯度更新。CSP結(jié)構(gòu)能夠在減少計算量的同時實現(xiàn)更豐富的梯度組合。

接著，特征融合網(wǎng)絡(luò)利用空間金字塔池化[22]（spatial pyramid pooling，SPP）增加感受野，可使任意大小的特征圖轉(zhuǎn)換成固定大小的特征向量，消除了卷積神經(jīng)網(wǎng)絡(luò)對于固定大小輸入的要求。具體體現(xiàn)為可變形卷積層后經(jīng)過不同窗口大小和移動步長的最大池化層，提取不同尺度的圖像特征，然后將最大池化層的輸出結(jié)果拼接起來，獲得固定大小的特征向量，進而利用路徑聚合網(wǎng)絡(luò)[23]（path aggregation network，PANet）收集不同階段的特征圖并進行特征融合。網(wǎng)絡(luò)的低層特征中含有更多的位置信息，高層特征中含有更多的語義信息。特征金字塔網(wǎng)絡(luò)[24]（feature pyramid networks，F(xiàn)PN）在網(wǎng)絡(luò)在下采樣結(jié)束后，再返回來進行上采樣，并通過橫向連接獲取同級下采樣的信息，其目的就是將高層的語義信息回向傳遞，利用高層語義信息來提高低層的效果。PANet在FPN的基礎(chǔ)上又增加了一個低層到高層的通道，將低層信息直接向上進行傳遞，縮短了信息傳播路徑，提高了底層信息的利用率，同時每個提議框利用了金字塔所有層的特征，避免了提議框的隨意分配，有利于分類與定位。最后使用CIoU損失函數(shù)進行精細(xì)化分類和回歸，測試時使用DIoU去掉重復(fù)的預(yù)測框。DIoU和CIoU損失函數(shù)如下：

式中：A、B分別為預(yù)測框和真實框面積;IoU用于評價預(yù)測框和真實框的距離;b，b分別為預(yù)測框和真實框的中心點;ρ為計算兩個中心點間的歐氏距離;c為能夠同時包含預(yù)測框和真實框的最小閉包區(qū)域的對角線距離;υ為度量預(yù)測框和真實框長寬比的相似性;α為權(quán)重函數(shù);L的優(yōu)化目標(biāo)為減小預(yù)測框和真實框之間中心點距離。L在L的基礎(chǔ)上引入了預(yù)測框和真實框之間長寬比的相似性。

1.3SupContrast網(wǎng)絡(luò)結(jié)構(gòu)

由宮頸細(xì)胞病理TBS診斷標(biāo)準(zhǔn)可知，正、異常宮頸細(xì)胞存在一定的特征差異，病理專家通過對比正常的宮頸細(xì)胞形態(tài)，發(fā)現(xiàn)異常的宮頸細(xì)胞。我們借鑒病理醫(yī)生對比分析和診斷的思想，利用深度學(xué)習(xí)技術(shù)讓網(wǎng)絡(luò)模型最大程度的區(qū)分正、異常簇團宮頸細(xì)胞之間的特征差異，實現(xiàn)高準(zhǔn)確率的正、異常簇團宮頸細(xì)胞的分類。正、異常宮頸細(xì)胞示例如圖4所示。

在ImageNet數(shù)據(jù)集上，利用對比學(xué)習(xí)思想的自監(jiān)督模型SimCLR[25]訓(xùn)練的分類器與有監(jiān)督ResNet50性能相匹配，達(dá)到了76.5%的top-1準(zhǔn)確率。但是，自監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)在綜合性能方面依然存在差距，同時SimCLR沒有考慮到屬于同一個類別的不同圖像之間特征的相關(guān)性。為解決上述問題，我們利用SupContrast實現(xiàn)正、異常簇團宮頸細(xì)胞分類。SupContrast將圖像的類別信息加入模型中，在有監(jiān)督對比學(xué)習(xí)中讓同類圖像的特征距離更近，不同類圖像的特征距離更遠(yuǎn)，提高了正、異常簇團細(xì)胞的分類準(zhǔn)確率。

SupContrast網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。SupContrast組成結(jié)構(gòu)分為數(shù)據(jù)增強模塊、編碼器網(wǎng)絡(luò)、映射網(wǎng)絡(luò)三部分。首先，從數(shù)據(jù)中隨機選擇個樣本，然后進行數(shù)據(jù)增強獲得個數(shù)據(jù)樣本。數(shù)據(jù)增強是將輸入圖像生成兩張隨機增強的子圖像，這兩張子圖像代表原始數(shù)據(jù)的不同視圖。數(shù)據(jù)增強分為兩個階段：第一階段是對數(shù)據(jù)進行隨機裁剪，然后將其調(diào)整為原分辨率大小;第二階段使用了3種不同的增強方法，具體包括自動增強、隨機增強和Sim增強，依次進行隨機顏色失真和高斯模糊。然后，編碼器對數(shù)據(jù)增強后的每對子圖像進行特征提取，再使用池化層得到一個2048維的表征向量h。編碼器網(wǎng)絡(luò)主要由一些骨干網(wǎng)絡(luò)組成，用于圖像的特征提取和表示，并將增強后的圖像映射到表征空間。接著，映射網(wǎng)絡(luò)將表征向量h經(jīng)過兩層非線性多層感知器（multi-layer perceptron，MLP）映射成128維表征向量z，使得編碼器網(wǎng)絡(luò)可以學(xué)習(xí)到更好的表征特征。然后，利用有監(jiān)督對比損失進行相似度計算，讓同類圖像的表征向量彼此接近，讓不同類圖像的表征向量彼此遠(yuǎn)離，從而實現(xiàn)類別的劃分。最后，利用交叉熵?fù)p失函數(shù)訓(xùn)練一個線性分類器。

SupContrast損失函數(shù)是對自監(jiān)督對比損失函數(shù)的推廣，SupContrast損失函數(shù)拓展了正樣本的數(shù)量，將所有標(biāo)簽信息相同的子圖像都視為正樣本。其損失函數(shù)的表達(dá)式為

式中：·為內(nèi)積操作;z為i樣本對應(yīng)的表征向量，z是A（i）樣本集合中某個樣本對應(yīng)的表征向量，z是P（i）樣本集合中某個樣本對應(yīng)的表征向量，表征向量由編碼映射后得到;A（i）為下標(biāo)為i之外的其他所有樣本組成的集合;τ為溫度參數(shù);P（i）為正樣本集合，包含下標(biāo)為i的樣本和與i樣本相同類別的所有樣本;|P（i）|為正樣本集合的大小。相比自監(jiān)督對比損失函數(shù)，SupContrast損失函數(shù)具有以下特性：①使用了大量的正樣本，包含數(shù)據(jù)增強得到的正樣本和類別標(biāo)簽一致的正樣本;②保留了對于負(fù)樣本的求和，噪聲樣本越多，對比效果越明顯;③自監(jiān)督對比損失函數(shù)的梯度激勵從難以區(qū)分的正、負(fù)樣本之間學(xué)習(xí)特征差異。

2實驗與分析

2.1簇團宮頸細(xì)胞數(shù)據(jù)集構(gòu)建方法

本文采用的典型宮頸細(xì)胞病理篩查病例來源有：①阿里天池大賽之宮頸癌風(fēng)險智能檢測比賽數(shù)據(jù);②第三方檢驗中心;③哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院。阿里天池大賽數(shù)據(jù)是經(jīng)過專業(yè)醫(yī)師標(biāo)注的宮頸細(xì)胞病理圖像，其中陽性病例500例，陰性病例300例，第三方檢驗中心和哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院提供由LCT（liquid-based cytology test，液基薄層細(xì)胞學(xué)檢查）制片技術(shù)制作宮頸細(xì)胞病理涂片，我們利用WISLEAP-10掃描儀獲得宮頸細(xì)胞病理圖像，并從中篩選出200例標(biāo)本質(zhì)量合格、掃描圖像清晰的宮頸細(xì)胞病理圖像，其中陽性病例100例，陰性病例100例。最后邀請專業(yè)病理醫(yī)生對病理圖像進行正、異常宮頸細(xì)胞的標(biāo)注。經(jīng)過統(tǒng)計可知，我們一共獲得的標(biāo)注數(shù)據(jù)有600例陽性病例圖像，100例陰性病例圖像。

病理篩選規(guī)則及數(shù)據(jù)標(biāo)注說明如下：①正常簇團宮頸細(xì)胞標(biāo)注圖像來源于陰性病例，疑似病變的簇團宮頸細(xì)胞標(biāo)注圖像來源于陽性病例;②篩選病理圖像時，主要排除了樣本質(zhì)量不合格、掃描圖像不清晰、細(xì)胞顏色層次不鮮明、細(xì)胞重疊率高、出血區(qū)域大、干封和干燥宮頸細(xì)胞病理圖像;③由于本文主要探索粘連簇團宮頸細(xì)胞的相關(guān)內(nèi)容，因此著重挑選宮頸細(xì)胞相對密集，簇團細(xì)胞數(shù)量相對較多的病理圖像;④標(biāo)注類別為：正常和異常。

2.2數(shù)據(jù)準(zhǔn)備

2.2.1第一階段實驗數(shù)據(jù)

在深度學(xué)習(xí)中，網(wǎng)絡(luò)模型對樣本數(shù)據(jù)量要求較高，訓(xùn)練數(shù)據(jù)集的規(guī)模在一定程度上決定了模型的性能。但是在實際中，病理醫(yī)生標(biāo)注的高質(zhì)量的粘連團簇宮頸細(xì)胞數(shù)據(jù)十分有限。利用數(shù)據(jù)增強方法擴大數(shù)據(jù)量是提高模型效果和泛化能力的重要手段。

目標(biāo)檢測樣本數(shù)據(jù)需要固定尺寸，而大小不一的簇團宮頸細(xì)胞在固定圖像尺寸內(nèi)會導(dǎo)致目標(biāo)尺度變化較大，目標(biāo)相對于圖像面積的比值波動范圍較大，不利于模型學(xué)習(xí)簇團宮頸細(xì)胞特征。因此，本文利用動態(tài)裁剪方法進行WSI圖像裁剪。根據(jù)目標(biāo)大小以不同的概率選擇裁剪大?。簩τ谛∧繕?biāo)，大概率使用較小的裁剪;對于大目標(biāo)，大概率使用較大的裁剪;對于同一個簇團宮頸細(xì)胞可進行多次裁剪，使得同一個簇團宮頸細(xì)胞可以處于不同的背景中。動態(tài)裁剪方法不僅擴大了樣本數(shù)據(jù)集數(shù)量，還緩解了目標(biāo)尺度變化劇烈的問題，極大的輔助了模型的訓(xùn)練。

本文將隨機將數(shù)據(jù)增強后的所有數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)集、測試數(shù)據(jù)。各個數(shù)據(jù)集的數(shù)據(jù)量比例為8：2。目標(biāo)檢測數(shù)據(jù)集具體分布情況如表1所示。

2.2.2第二階段實驗數(shù)據(jù)

分類實驗數(shù)據(jù)來源于2.1節(jié)構(gòu)建的宮頸細(xì)胞病理圖像數(shù)據(jù)集。由于該數(shù)據(jù)集是按照TBS診斷標(biāo)準(zhǔn)進行標(biāo)注，因此我們首先需要裁剪出所有標(biāo)注為ASC-US、ASC-H、LSIL、HSIL的圖像，作為異常簇團宮頸細(xì)胞數(shù)據(jù)，裁剪出所有標(biāo)注為NILM的圖像，作為正常簇團宮頸細(xì)胞數(shù)據(jù)。然后利用標(biāo)注矩形框的面積閾值粗篩出簇團宮頸細(xì)胞圖像，最后再仔細(xì)從中篩選出非簇團宮頸細(xì)胞。數(shù)據(jù)清洗完之后將所有數(shù)據(jù)按照類別隨機劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，其比例為8∶2。分類模型的樣本數(shù)據(jù)統(tǒng)計結(jié)果如表2所示。

2.3模型訓(xùn)練

2.3.1第一階段基礎(chǔ)模型選擇

YOLO-v5按照網(wǎng)絡(luò)模型的深度和寬度分為YOLO-v5s、YOLO-v5m、YOLO-v5l、YOLO-v5x。為了從中選擇最優(yōu)的網(wǎng)絡(luò)模型進行改進，我們驗證了4個網(wǎng)絡(luò)模型在本數(shù)據(jù)集上的性能，并從評價指標(biāo)mAP@0.5、模型訓(xùn)練時間、模型大小和檢測速度4方面進行分析和驗證，如圖6、7所示。

從圖6分析可得，經(jīng)過150輪的訓(xùn)練，YOLO-v5s、YOLO-v5m、YOLO-v5l、YOLO-v5x模型都收斂成功，并且4個網(wǎng)絡(luò)模型的mAP@0.5趨于一致，表明更深和更寬的模型在本數(shù)據(jù)集上并沒有體現(xiàn)出顯著的優(yōu)勢。

從圖7分析可得，YOLO-v5s的訓(xùn)練時間、模型大小和檢測速度都優(yōu)于其余3個網(wǎng)絡(luò)模型。因此，本文選擇在YOLO-v5s的網(wǎng)絡(luò)模型基礎(chǔ)上進行改進和實驗。

2.3.2第一階段模型訓(xùn)練

第一階段的目標(biāo)檢測模型采用的深度學(xué)習(xí)框架為Pytorch，模型訓(xùn)練參數(shù)設(shè)置如下：epochs為100輪，batch-size為16，圖像縮放尺寸為1024×1024。各個模型訓(xùn)練過程中mAP@0.5指標(biāo)的變化情況如圖8所示。

從圖8可以看出，各個模型在50輪以后都逐漸收斂?；赮OLO-v5s改進的DCN-YOLO模型相比其余模型的mAP@0.5存在顯著提升。

2.3.3第二階段模型訓(xùn)練

模型訓(xùn)練參數(shù)設(shè)置如下：epochs為100輪，batch-size為20，學(xué)習(xí)率為0.05，圖像縮放尺寸為200×200，momentum為0.9，SupContrast中的溫度參數(shù)為0.7，SupContrast中的編碼器采用了不同深度的編碼器，分別為ResNet-18、ResNet-34和ResNet-50?；€分類網(wǎng)絡(luò)ResNet使用了官方預(yù)訓(xùn)練模型。第二階段各個分類模型訓(xùn)練過程中分類準(zhǔn)確率如圖9所示。經(jīng)過有監(jiān)督對比學(xué)習(xí)預(yù)訓(xùn)練后的SupContrast在線性分類器最初訓(xùn)練則開始收斂，并且，不同編碼器得到的SupContrast模型在訓(xùn)練階段的分類準(zhǔn)確率都高于基線ResNet分類模型。由此表明，對比學(xué)習(xí)不同類別間特征的差異性可提高分類的準(zhǔn)確率。

2.4實驗結(jié)果分析

2.4.1第一階段網(wǎng)絡(luò)實驗結(jié)果分析

為驗證第一階段中不同目標(biāo)檢測模型的性能，我們利用測試數(shù)據(jù)集對已訓(xùn)練的YOLO-v5s、SSD-300、 Faster RCNN、Deformable DETR[26]、DCN-YOLO模型進行測試，各個目標(biāo)檢測網(wǎng)絡(luò)的測試結(jié)果如表3所示。

目標(biāo)檢測中使用平均精度均值（mean average precision，mAP）來評估檢測準(zhǔn)確度，mAP@0.5為交并比閾值為0.5時的平均精度均值，其值越大證明目標(biāo)檢測模型檢測準(zhǔn)確度越高。召回率為預(yù)測正確的正實例占所有實例的比例。DCN-YOLO的mAP@0.5和召回率相比SSD-512、Faster R-CNN、Deformable DETR、YOLO-v5s均存在顯著提升。表3不同目標(biāo)檢測模型的性能對比分析表明DCN-YOLO利用可變形卷積可以提取到不規(guī)則信息，增強了簇團宮頸細(xì)胞的特征表示，提高了第一階段模型的檢測準(zhǔn)確率。同時，較高的簇團宮頸細(xì)胞的檢出率可降低宮頸癌前篩查病理片的漏診率，這對自動閱片系統(tǒng)具有重要意義。

2.4.2第二階段網(wǎng)絡(luò)實驗結(jié)果分析

為驗證第二階段的分類網(wǎng)絡(luò)相比基線分類網(wǎng)絡(luò)ResNet的性能差異，我們利用分類測試數(shù)據(jù)集對已訓(xùn)練好的SupContrast-ResNet18、SupContrast- ResNet34、SupContrast-ResNet50、ResNet-18、ResNet-34、ResNet-50模型進行測試。不同分類模型的F1值和精確率如圖10所示。

精確率為預(yù)測正確的正實例占所有正實例的比例。F1值為分類模型的精確率和召回率的調(diào)和平均值，F(xiàn)1值越高表明分類模型的精確率和召回率差異較小。由圖10分析可得，相同深度的SupContrast模型相比ResNet模型的F1值和精確度存在顯著提升。由此表明SupContrast通過對比正異常簇團宮頸細(xì)胞之間的特征差異可有效提高其分類準(zhǔn)確率。

2.4.3多類別與單類別目標(biāo)檢測模型實驗結(jié)果分析

為驗證多類別與單類別的目標(biāo)檢測模型的性能差異，我們將目標(biāo)檢測數(shù)據(jù)集中標(biāo)注為ASC-US、ASC-H、LSIL、HSIL的圖像作為異常簇團宮頸細(xì)胞，將標(biāo)注為NILM的圖像作為正常簇團宮頸細(xì)胞數(shù)據(jù)。然后，利用此數(shù)據(jù)集訓(xùn)練一個2類別的YOLO-v5s和DCN-YOLO模型，利用測試數(shù)據(jù)分別測試2類別（即正、異常簇團宮頸細(xì)胞類別）YOLO-v5s、DCN-YOLO模型和1類別（即簇團宮頸細(xì)胞類別）YOLO-v5s、DCN-YOLO模型，獲得各個模型的精確度和召回率曲線，如圖11所示。

精確率和召回率越高，模型性能越好，從圖11分析可得，精確率和召回率曲線越靠近右上部分，模型分類能力越好。在我們構(gòu)建的簇團宮頸細(xì)胞目標(biāo)檢測數(shù)據(jù)集中，1類別的目標(biāo)檢測模型性能顯著優(yōu)于2類別。

2.4.4兩階段與一階段方法實驗結(jié)果分析

為驗證兩階段分析的異常簇團宮頸細(xì)胞檢測方法相比一階段目標(biāo)檢測模型進行定位和分類方法的性能差異。我們利用第一階段測試數(shù)據(jù)集對已訓(xùn)練好的2分類和1分類DCN-YOLO模型進行簇團宮頸細(xì)胞檢測。為了平衡2分類DCN-YOLO模型的精確度和召回率，其置信度閾值設(shè)為0.5。為了在第一階段盡可能多的檢出簇團宮頸細(xì)胞，1分類DCN-YOLO模型的置信度閾值設(shè)為0.1。第二階段利用SupContrast-ResNet模型對1分類DCN-YOLO模型檢測出的簇團宮頸細(xì)胞圖像進行分類，計算出兩種方法的混淆矩陣、準(zhǔn)確率、召回率、精確率、F1值和檢測速度。對比結(jié)果如圖12所示。

由圖12分析可得，兩階段分析方法相比一階段分析方法的準(zhǔn)確率、召回率、精確率和F1值都有顯著提升。由于兩階段分析方法需要先定位簇團宮頸細(xì)胞團再分類，使其檢測速度相比一階段分析方法慢10FPS（frames per second， 每秒傳輸幀數(shù)），但是兩階段分析方法的檢測速度可滿足實際應(yīng)用需求。綜合分析可得，兩階段分析方法能夠在盡可能多的檢出簇團宮頸細(xì)胞的情況下，實現(xiàn)快速的、高準(zhǔn)確率的簇團宮頸細(xì)胞的正、異常分類任務(wù)。

3結(jié)論

宮頸癌輔助診斷要求全面的、精準(zhǔn)的定位和識別異常簇團宮頸細(xì)胞，但是現(xiàn)有目標(biāo)檢測方法中精確度和召回率呈負(fù)相關(guān)，難以在較高檢出率的情況下實現(xiàn)精準(zhǔn)分類。因此，我們提出了一種兩階段分析的異常簇團宮頸細(xì)胞檢測方法。在第一階段盡可能多的檢出簇團宮頸細(xì)胞，利用可變形卷積提升了簇團宮頸細(xì)胞的召回率，降低了簇團宮頸細(xì)胞病變篩查的漏檢率;在第二階段實現(xiàn)高精確率的正、異常簇團宮頸細(xì)胞分類，借鑒病理醫(yī)生對比正常細(xì)胞進而發(fā)現(xiàn)異常細(xì)胞的思想，利用有監(jiān)督對比學(xué)習(xí)網(wǎng)絡(luò)提升了分類的準(zhǔn)確率。經(jīng)實驗驗證，本文方法具有較高的檢測速度和正、異常細(xì)胞識別準(zhǔn)確度，有力的支撐自動閱片系統(tǒng)。

參 考 文 獻：

[1]BRAY F， FERLAY J， SOERJOMATARAM I， et al. Global Cancer Statistics 2018： GLOBOCAN Estimates of Incidence and Mortality Wordwide for 36 Cancers in 185 Countries[J]. CA： A Cancer Journal for Clinicians， 2018， 68（6）：394.

[2]WILLIAM， WASSWA， et al. Cervical Cancer Classification from Pap-smears Using an Enhanced Fuzzy C-Means Algorithm[J]. Informatics in Medicine Unlocked， 2019，14：23.

[3]BORA， KANGKANA， et al. Automated Classification of Pap Smear Images to Detect Cervical Dysplasia[J]. Computer Methods & Programs in Biomedicine， 2017， 138：31.

[4]LIN Dongyun， et al. Biomedical Image Classification Based on a Cascade of an SVM with a Reject Option and Subspace Analysis[J]. Computers in Biology & Medicine， 2018，96：128.

[5]GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2014： 580.

[6]GIRSHICK， ROSS. Fast r-cnn[C]//Proceedings of the IEEE International Conference on Computer Vision， 2015：1440.

[7]REN S， HE K， GIRSHICK R， et al. Faster r-cnn： Towards Real-time Object Detection with Region Proposal Networks[J]. Advances in Neural Information Processing Systems， 2015：91.

[8]LIU Y， SI H， CHEN Y， et al. Faster R-CNN based Robust Circulating Tumor Cells Detection with Improved Sensitivity[C]// Proceedings of the 2nd International Conference on Big Data Technologies. ACM， 2019：252.

[9]QIU W， GUO J， LI X， et al. Multi-label Detection and Classification of Red BloodCells in Microscopic Images [J]. arXiv preprint arXiv， 2019， 1910.02672.

[10]KAUSHIK S， RAGHAVAN S V， SIVASELVAN B. A Study of Deep Learning Methods for Mitotic Cell Detection Towards Breast Cancer Diagnosis[C]// International Conference on Advances in Computing and Data Sciences. Springer， Singapore， 2019：254.

[11]LIANG Y， TANG Z， YAN M， et al. Comparison-Based Convolutional Neural Networks for Cervical Cell/Clumps Detection in the Limited Data Scenario[J]. arXiv preprint arXiv， 2018， 1810.05952.

[12]REDMON J， DIWALA S， GIRSHICK R， et al. You Only Look Once： Unified， Real-time Object Detection[C]//Proceedings of the Conference on Computer Vision and Pattern Recognition （CVPR），2016：779.

[13]LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single Shot Multibox Detector[C]//Proceedings of the European Conference on Computer Vision （ECCV）， 2016：21.

[14]REDMON J， FARHADI A. YOLO9000： Better， Faster， Stronger[C]// Proceedings of the Conference on Computer Vision and Pattern Recognition （CVPR），2017：7263.

[15]REDMON J， FARHADI A. Yolov3： An Incremental Improvement[J]. arXiv preprint arXiv：1804.02767， 2018.

[16]BOCHKOVSKIY A， WANG C Y， LIAO H.YOLOv4： Optimal Speed and Accuracy of Object Detection[J].arXiv preprint arXiv：2004.10934， 2020.

[17]鄭欣，田博，李晶晶.基于YOLO模型的宮頸細(xì)胞簇團智能識別方法[J].液晶與顯示，2018，33（11）：965.

ZHENG Xin， TIAN Bo， LI Jingjing. Intelligent Recognition Method of Cervical Cell Cluster Based on YOLO Model[J]. Chinese Journal of Liquid Crystals and Displays， 2018， 33（11）：965.

[18]周佳琳. 基于改進SSD網(wǎng)絡(luò)的宮頸細(xì)胞分類檢測系統(tǒng)[D].北京：北京交通大學(xué)，2019.

[19]KHOSLA P， TETERWAK P， WANG C， et al. Supervised Contrastive Learning[J]. Advances in Neural Information Processing Systems， 2020， 33： 18661.

[20]LEI Tao， WANG Risheng， ZHANG Yuxiao， et al. DefEnCe-Net： Deformable Encoding Context Networkfor Liver and Liver-Tumor Segmentation[J]. IEEE Transactions on Radiation and Plasma Medical Sciences， 2021，6（1）：68.

[21]WANG C Y， LIAO H， YEH I H， et al. CSPNet： A New Backbone that Can Enhance Learning Capability of CNN[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020： 390.

[22]HE K， ZHANG X， REN S， et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2014， 37（9）：1904.

[23]LIU Shu， QI Lu， QIN Haifang， et al. Path Aggregation Network for Instance Segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2018：8759.

[24]LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature Pyramid Networks for Object Detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017：2117.

[25]CHEN T， KORNBLITH S， NOROUZI M， et al. A Simple Framework for Contrastive Learning of Visual Representations[C]//International Conference on Machine Learning. PMLR， 2020： 1597.

[26]ZHU X， SU W， LU L， et al. Deformable DETR： Deformable Transformers for End-to-End Object Detection[J]. arXiv Preprint arXiv：2010.04159， 2020.

（編輯：溫澤宇）