基于Cascade Rcnn的超聲甲狀腺結(jié)節(jié)檢測研究

章浩偉 李占齊 劉 穎 李 淼

1(上海理工大學(xué)健康科學(xué)與工程學(xué)院，上海 200082)

2(河南省鄭州頤和醫(yī)院，鄭州 450000)

引言

甲狀腺結(jié)節(jié)是臨床上常見的一種病，近些年來甲狀腺惡性結(jié)節(jié)的發(fā)病率逐年上升。統(tǒng)計表明在過去的30年里，全球范圍內(nèi)甲狀腺惡性結(jié)節(jié)男性的發(fā)病率增加了30%，女性增加67%，甲狀腺癌已成為增長速度最快的惡性腫瘤之一[1]。超聲成像相比于計算機斷層掃描及核磁共振成像具有無創(chuàng)傷、檢查費用低、可實時性與可重復(fù)性高的優(yōu)點，所以醫(yī)學(xué)上常用超聲成像來進行甲狀腺相關(guān)疾病的檢查。

近幾年來，一些學(xué)者進行了甲狀腺結(jié)節(jié)的檢測與良惡性判別上的相關(guān)研究。周姝君等[2]提出基于深度學(xué)習(xí)的形狀和紋理特征的提取方法，對融合后的特征進行特征選擇，最后采用邏輯回歸和支持向量機對結(jié)節(jié)進行良惡性分類，最高平均準(zhǔn)確率達到77.2%，準(zhǔn)確率還有待進一步提高；肖婷等[3]通過遷移3 個不同深度的網(wǎng)絡(luò)模型Resnet50，Xception，InceptionV3進行特征提取，以簡單級聯(lián)的方式將3 種網(wǎng)絡(luò)提取的特征進行特征融合，輸入到人工神經(jīng)網(wǎng)絡(luò)分類器中，判別乳腺超聲圖像的良惡性分類，最終實現(xiàn)85.13%的準(zhǔn)確率，91%的AUC 值；吳迪等[4]利用集成學(xué)習(xí)(boosting)算法將多個弱分類器組合為一個強分類器，算法在測試集上的惡性結(jié)節(jié)的預(yù)測準(zhǔn)確率達到86%，召回率達到96%；熊偉等[5]提出一種提取局部紋理特征與多示例學(xué)習(xí)相結(jié)合的方法，將從感興趣區(qū)域提取的局部紋理特征看作示例包，作為K 近鄰算法的輸入，實現(xiàn)了85.59%的甲狀腺結(jié)節(jié)分類準(zhǔn)確率；張振宇等[6]基于k-means 聚類的動態(tài)集成算法為基礎(chǔ)，采用一種選擇加權(quán)動態(tài)集成的方法，將多個分類器進行并聯(lián)集成，實現(xiàn)了90.2% 的分類準(zhǔn)確率；Mohammadi 等[7]通過融合局部二值模式、灰度共生矩陣和Gabor 算法采集圖像特征，利用支持向量機得到88.77%的醫(yī)學(xué)超聲圖像分類準(zhǔn)確率；Li 等[8]基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)Faster Rcnn 算法提出一種CSFaster-Rcnn 算法，通過跨層連接主干網(wǎng)絡(luò)ZFnet 的第三層和第五層，達到將淺層特征與深層特征相融合的目的，實現(xiàn)了真陽性識別率93.5%，真陰性識別率81.5%，真陰性識別率還有待進一步的提高；Singh等[9]提取了13 個灰度共生矩陣特征，然后利用SVM對甲狀腺結(jié)節(jié)進行分類，最大分類精度為84.62%。以上研究多是基于一系列預(yù)處理后從圖像中提取人工特征，有效特征的提取是一項挑戰(zhàn)性任務(wù)，同時特征集成的有效性、分類器選擇的有效性也是一個復(fù)雜困難的過程，整體研究上的分類檢測效果還有待進一步的提升。

基于此，本研究設(shè)計一種級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)Cascade Rcnn 的算法，通過主干網(wǎng)絡(luò)ResNet50、ResNet101，以及融合壓縮激勵注意力模塊的SEResNet50、SE-ReNet101 為主干網(wǎng)絡(luò)，以自動化的形式實現(xiàn)甲狀腺超聲圖像的特征提取，定位甲狀腺結(jié)節(jié)位置，實現(xiàn)甲狀腺結(jié)節(jié)的良惡性分類。

1 方法

1.1 實驗數(shù)據(jù)

1.1.1 臨床病理介紹

圖1所示為所獲取的甲狀腺超聲圖像示例。臨床上，醫(yī)生主要從形態(tài)特征、衰減特性、回聲模式、鈣化特性等幾個方面對甲狀腺結(jié)節(jié)進行診斷[10]，具體來講，良惡性甲狀腺結(jié)節(jié)的超聲表現(xiàn)分別為:

1)良性甲狀腺結(jié)節(jié):形態(tài)規(guī)則、邊界清晰、結(jié)節(jié)后方呈回聲增強或者等回聲，結(jié)節(jié)的縱橫比一般小于1，結(jié)節(jié)周圍聲暈規(guī)則，有完整包膜，內(nèi)部無鈣化或有粗大鈣化[11]。如圖1(a)所示，甲狀腺左側(cè)葉占位，低回聲實質(zhì)結(jié)節(jié)，邊界清晰，內(nèi)示多枚粗大鈣化點。

2)惡性甲狀腺結(jié)節(jié):形態(tài)不規(guī)則，邊界欠清晰，結(jié)節(jié)后方回聲衰減，結(jié)節(jié)縱橫比通常大于1，包膜不明顯或者無完整包膜，出現(xiàn)微小鈣化、血流信號增強，常伴有頸部淋巴結(jié)轉(zhuǎn)移性腫大[12]。如圖1(b)所示，甲狀腺左側(cè)葉多發(fā)低回聲結(jié)節(jié)，實質(zhì)回聲欠均勻，最大結(jié)節(jié)伴鈣化。

圖1 甲狀腺超聲圖像。(a)良性結(jié)節(jié)；(b)惡性結(jié)節(jié)Fig. 1 Thyroid ultrasound image. (a)Benign nodules； (b)Malignant nodules

1.1.2 數(shù)據(jù)預(yù)處理

采集1 513 幅甲狀腺超聲圖像作為實驗數(shù)據(jù)集，采集地點是徐州市某三甲醫(yī)院。數(shù)據(jù)集中良性結(jié)節(jié)圖像有832 張，惡性結(jié)節(jié)圖像有681 張，圖像為二維JPG 格式，分屬于224 個病例個體，每一個體所包含的結(jié)節(jié)圖像數(shù)量不一，每張圖像都是單結(jié)節(jié)圖像。圖像采集所用的超聲診斷儀設(shè)備來源不同，分別來自于Philips-123、SIEMENS、GE Voluson S8、ACCUVIX-gfg、TOSHIBA 幾類超聲儀；由于超聲圖像數(shù)據(jù)來源于不同的設(shè)備，圖像尺寸差異較大，而一般的卷積神經(jīng)網(wǎng)絡(luò)后接全連接層或分類器，要求輸入的圖像具有固定的尺寸[13]。實驗中需要對原始超聲圖像進行預(yù)處理，具體過程如下:

1)對圖像進行裁剪，去除與圖像分析無關(guān)的信息，如醫(yī)院名稱、圖像采集時間、設(shè)備名稱、患者信息、超聲探頭的發(fā)射頻率、探測深度等，得到原始超聲圖像的子圖。

2)由于超聲甲狀腺結(jié)節(jié)的縱橫比也是影響甲狀腺結(jié)節(jié)良惡性判別的一個重要指標(biāo)，所以在圖像處理時需要保留結(jié)節(jié)的形狀特征，通過保持原始圖像的RoI (region of interest)區(qū)域的長寬比例，來調(diào)整圖像大小。對于一個尺寸為h×w的圖像，首先裁剪其周邊無用信息，接著按照尺寸max{h，w}進行零值padding，最后通過resize 成512 像素×512 像素，經(jīng)過這樣一系列的處理能夠在保持圖像原有形狀特征的基礎(chǔ)上更加適用于卷積神經(jīng)網(wǎng)絡(luò)的輸入，節(jié)省算力和時間。

1.1.3 數(shù)據(jù)集制作

實驗所使用的數(shù)據(jù)集是coco 標(biāo)準(zhǔn)格式數(shù)據(jù)集，使用labelme 圖像標(biāo)注軟件。經(jīng)專業(yè)超聲科醫(yī)生的指導(dǎo)，進行圖像病灶的確認(rèn)，選擇labelme 中的polygons進行多邊標(biāo)注，標(biāo)注的類別category＿id={“benign”，“malignant”}，標(biāo)注圖形如圖2所示，綠色邊框所示是標(biāo)準(zhǔn)的結(jié)節(jié)邊界，既包含結(jié)節(jié)的邊界信息，有包含結(jié)節(jié)的行為信息，標(biāo)注保存會產(chǎn)生一個json 文件，json文件包含圖像的寬高、路徑、名稱、結(jié)節(jié)位置坐標(biāo)以及良惡性標(biāo)注等信息，且包含結(jié)節(jié)范圍的外接矩形坐標(biāo)，可視化在圖2中，對應(yīng)為紅色矩形框，也是本次實驗檢測結(jié)果中定位的金標(biāo)準(zhǔn)參考，最后將json 文件轉(zhuǎn)化為coco2017 的標(biāo)準(zhǔn)數(shù)據(jù)集格式，完成數(shù)據(jù)集制作。

圖2 Labelme 標(biāo)注示例圖像(綠框為標(biāo)注結(jié)節(jié)范圍，紅框為對應(yīng)的結(jié)節(jié)外接矩形)。(a)標(biāo)注示例1；(b)標(biāo)注示例2Fig.2 Annotated image by Labelme (The green box is the marked nodule range，and the red box is the bounding rectangle of the corresponding nodule).(a)Annotated image 1； (b)Annotated image 2

1.2 實驗平臺

實驗過程中，按照8 ∶2 的比例隨機劃分訓(xùn)練集和測試集，即訓(xùn)練集∶測試集=1 210 ∶303，采用5 折交叉驗證訓(xùn)練的方法進行訓(xùn)練和測試。由于在不同的訓(xùn)練集上，模型的表現(xiàn)性能略有差異，因此測試結(jié)果也略有浮動。取5 折交叉驗證測試的平均值。實驗?zāi)Ｐ筒渴鹪谥锌剖锕獾某夁\算平臺上，實驗系統(tǒng)為Linux 操作系統(tǒng)，編譯環(huán)境是Python 3.7.9，CUDA版本10.0，顯卡為Tesla V100-SXM2-32 GB，使用Pytorch1.4.0 進行整體模型的搭建。

1.3 Cascade Rcnn 算法

在介紹具體算法之前，首先介紹一個參數(shù):交并比IoU，如圖3所示。IoU 是指交集與并集的比值，即模型產(chǎn)生的候選框與原標(biāo)記框的交疊率[15]。

圖3 IoU 示意Fig.3 Schematic diagram of IoU

在目標(biāo)檢測中，設(shè)定IoU 閾值即IoU＿thr 稱為類別置信度，其值在[0，1] 之間。當(dāng)IoU=0 時，預(yù)測框與真值框的沒有交集，此時結(jié)果最差；當(dāng)IoU=1 時，預(yù)測框與真值框重合，此時結(jié)果最好。當(dāng)預(yù)測候選框與原標(biāo)記框的的交并比IoU＞IoU＿thr 時，視為正樣本；反之，視為負(fù)樣本[16]。

所采用的基于區(qū)域多級目標(biāo)檢測算法Cascade Rcnn，是以Faster Rcnn 算法為基礎(chǔ)進行的多級Rcnn級聯(lián)。Faster Rcnn 是單Rcnn 網(wǎng)絡(luò)[17]，單一IoU 閾值來判斷正負(fù)樣本不能對建議框進行很好的選擇，訓(xùn)練出來的檢測器效果也較為有限。本實驗采用的Cascade Rcnn 是將3 個Rcnn 網(wǎng)絡(luò)基于不同的IoU 閾值進行級聯(lián)，如圖4所示，將前一個Rcnn 網(wǎng)絡(luò)的輸出作為后一個Rcnn 網(wǎng)絡(luò)的輸入，隨著模型的深入，界定正負(fù)樣本的IoU 閾值不斷上升，檢測的結(jié)果也不斷地優(yōu)化[18]。

圖4 Faster Rcnn 與Cascade Rcnn 架構(gòu)圖。(a)Faster Rcnn ；(b)Cascade Rcnn (Conv 為主干網(wǎng)絡(luò)，pool 為池化，“H”為head network，C 為classification，B 為bounding box)Fig.4 Faster Rcnn and Cascade Rcnn architecture diagram.(a)Faster Rcnn；(b)Cascade Rcnn

圖5為Cascade Rcnn 具體網(wǎng)絡(luò)結(jié)構(gòu)圖，三階段級聯(lián)的Rcnn 可以優(yōu)化正負(fù)樣本的篩選過程。第一階段Rcnn 的IoU 閾值為0.5，第二階段Rcnn 的IoU 閾值為0.6，第三階段Rcnn 的IoU 閾值為0.7。三階段的級聯(lián)方式，既可以避免閾值過低導(dǎo)致的正樣本背景噪聲干擾過大，又可以避免閾值過高造成的正樣本數(shù)量過少從而導(dǎo)致的過擬合現(xiàn)象[19]。輸入的圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取出特征圖，特征圖經(jīng)過區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)提出大量建議框，按照建議框產(chǎn)生的分?jǐn)?shù)進行排序，經(jīng)過非極大值抑制(non-maximum suppression，NMS)濾掉一部分建議框，將剩下的建議框輸入到Rcnn 網(wǎng)絡(luò)中進行正負(fù)樣本劃分。之后將建議框輸入到RoI pooling 進行池化，最后經(jīng)過Softmax 進行良惡性結(jié)節(jié)分類與bounding box回歸[20]。

圖5 Cascade Rcnn 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Cascade Rcnn network structure diagram

1.4 主干網(wǎng)絡(luò)

SENet(Squeeze-and-Excitation Networks)利用模型通道之間的相互依懶性，進行特征的壓縮與激發(fā)。將SE 模塊嵌入到ResNet 網(wǎng)絡(luò)中，可以得到如圖6所示的SE-ResNet 結(jié)構(gòu)網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先進行輸入特征維度的降低，變?yōu)檩斎氲?/r，接著通過ReLU 激活函數(shù)增加更多的非線性，有助于更好地擬合通道間復(fù)雜的相關(guān)性；然后通過一個FC 全連接層，恢復(fù)原來的維度；再然后通過一個Sigmoid 進行權(quán)重歸一化；最后通過Scale 將歸一化后的權(quán)重加權(quán)到每個通道特征上[21]。

圖6 SE-ResNet 模塊Fig.6 SE-ResNet module

實驗中選用ResNet50 及ResNet101 為主干網(wǎng)絡(luò)，并融合SENet 構(gòu)建新型主干網(wǎng)絡(luò)SE-ResNet50 及SEResNet101，利用SE 模塊的壓縮與激發(fā)功能，更好的提取甲狀腺超聲圖像的特征。整體實驗流程如圖7所示。

圖7 實驗流程Fig.7 Experimental flowchart

1.5 遷移學(xué)習(xí)

由于實驗數(shù)據(jù)量的限制，實驗過程采用遷移學(xué)習(xí)的方式在大型數(shù)據(jù)庫ImageNet 上進行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練參數(shù)權(quán)重，將獲得預(yù)訓(xùn)練模型權(quán)重遷移到級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)Cascade Rcnn 中，對前層網(wǎng)絡(luò)參數(shù)進行凍結(jié)，通過微調(diào)后層網(wǎng)絡(luò)參數(shù)進行實驗。

1.6 參數(shù)設(shè)置

將惡性結(jié)節(jié)標(biāo)注為malignant，良性結(jié)節(jié)標(biāo)注為benign，設(shè)置實驗epoch=20，在訓(xùn)練過程中采用優(yōu)化策略，等間距調(diào)整學(xué)習(xí)率，由于本次實驗訓(xùn)練過程使用的是單GPU，初始學(xué)習(xí)率設(shè)置為lr=0.002 5 ，學(xué)習(xí)率lr 采用warmup[22]的方式，剛開始訓(xùn)練時學(xué)習(xí)率線性增加，在第9 和11 個epoch 時降低學(xué)習(xí)率。訓(xùn)練過程中學(xué)習(xí)率變化曲線如圖8所示。

圖8 學(xué)習(xí)率變化圖Fig.8 Learning rate change graph

1.7 損失函數(shù)

在檢測過程中的損失函數(shù)包括以下4 個組成部分，如式(1)所示[23]。

總損失函數(shù)包括rpn 分類損失loss＿rpn＿cls，rpn回歸損失loss＿rpn＿bbox，RoI 分類損失loss＿cls，RoI 回歸損失loss＿bbox，4 個分支損失之和構(gòu)成總損失[24]。

1.8 評價指標(biāo)

為了定量的評估檢測性能，結(jié)合臨床應(yīng)用，使用了4 個指標(biāo)。其中，真陽性(true positive，TP)指惡性結(jié)節(jié)被正確判定為惡性；假陽性(false positive，F(xiàn)P)指良性結(jié)節(jié)被錯誤的判定為惡性結(jié)節(jié)；真陰性(true negative，TN)指良性結(jié)節(jié)被正確判定為良性；假陰性(false negative，F(xiàn)N)指惡性結(jié)節(jié)被錯誤判定為良性結(jié)節(jié)。用于圖像分類的幾種評價指標(biāo)定義如式(2)～(5)所示，精確率(Precision)也稱為查準(zhǔn)率，用來衡量分類器檢測出來的陽性樣本確實是陽性樣本的概率；召回率(Recall)也稱為敏感性(Sensitivity)、查全率，值越高，陽性樣本被漏診的概率就越低；特異性(Specificity)也稱為真陰性識別率，值越高，發(fā)生誤診的概率就越低。當(dāng)準(zhǔn)確率、精確率及召回率不足以評價一個模型好壞時，引入一個綜合型評價指標(biāo)F1 值(F1-measure)，是精確率和召回率的調(diào)和平均值，如式(5)所示，F(xiàn)1 值越高，模型效果越好。mAP(mean average precision)是AP 的平均值，即平均精度均值。

2 結(jié)果

以ResNet50 為主干網(wǎng)絡(luò)，進行遷移學(xué)習(xí)實驗。在本實驗數(shù)據(jù)集上從頭開始訓(xùn)練網(wǎng)絡(luò)模型，直接訓(xùn)練得到mAP=58.2%的實驗結(jié)果；使用遷移學(xué)習(xí)，凍結(jié)預(yù)訓(xùn)練參數(shù)，通過微調(diào)的方式進行訓(xùn)練，得到mAP=78.7%的實驗結(jié)果。使用遷移學(xué)習(xí)前后，mAP 值提升了19.5%，可以看出使用遷移學(xué)習(xí)的實驗檢測效果要明顯優(yōu)于從頭訓(xùn)練甲狀腺超聲小數(shù)據(jù)集的實驗效果。因此，預(yù)訓(xùn)練模型學(xué)習(xí)到的圖像特征和獲得的參數(shù)同樣適用于甲狀腺超聲[21]，后續(xù)的實驗皆是在遷移學(xué)習(xí)的基礎(chǔ)上進行的。

實驗測試集303 張，設(shè)定惡性結(jié)節(jié)為正樣本，良性結(jié)節(jié)為負(fù)樣本。圖9為檢測的結(jié)果圖。圖中(a)～(c)的真實標(biāo)簽是benign，即良性，(a)預(yù)測為benign，預(yù)測分?jǐn)?shù)高，為良性的概率高；(b)預(yù)測為benign，預(yù)測分?jǐn)?shù)低，為良性的概率低；(c)預(yù)測為malignant，且預(yù)測分?jǐn)?shù)0.84，預(yù)測錯誤；(d)～(f)的真實標(biāo)簽是malignant，即惡性，(d)預(yù)測為malignant，預(yù)測分?jǐn)?shù)較高，為惡性的概率高；(e)預(yù)測為malignant，預(yù)測分?jǐn)?shù)較低，為惡性的概率低；(f)預(yù)測結(jié)果為benign，預(yù)測錯誤。

圖9 檢測結(jié)果(綠色矩形框是模型預(yù)測的甲狀腺結(jié)節(jié)的位置，矩形框上方標(biāo)識著模型對結(jié)節(jié)的良惡性分類及類別分?jǐn)?shù)概率值，紅色矩形框為標(biāo)注金標(biāo)準(zhǔn))。(a)金標(biāo)準(zhǔn)為良性，預(yù)測為良性；(b)金標(biāo)準(zhǔn)為良性，預(yù)測為良性，但預(yù)測分?jǐn)?shù)低；(c)金標(biāo)準(zhǔn)為良性，預(yù)測錯誤；(d)金標(biāo)準(zhǔn)為惡性，預(yù)測為惡性；(e)金標(biāo)準(zhǔn)為惡性，預(yù)測為惡性，但預(yù)測分?jǐn)?shù)低；(f)金標(biāo)準(zhǔn)為惡性，預(yù)測錯誤Fig.9 The test result graph (The green rectangular box is the location of the thyroid nodule predicted by the model.The upper part of the rectangular box marks the benign and malignant classification of the nodule by the model and the probability value of the category score. The red rectangular box is the gold standard for labeling. GT represents ground truth). (a)GT is benign with high category score； (b)GT is benign with low category score； (c)GT is benign with false classification； (d)GT is malignant with high category score；(e)GT is malignant with low category score； (f)GT is malignant with false classification

SE-ResNet101 為主干網(wǎng)絡(luò)的模型訓(xùn)練及測試過程中的準(zhǔn)確率曲線圖及損失率曲線圖如圖10 所示，從曲線中可以看出，訓(xùn)練與測試的準(zhǔn)確率穩(wěn)定收斂，訓(xùn)練與測試的損失率曲線穩(wěn)定收斂，證明了實驗做采用的Cascade Rcnn 算法在超聲甲狀腺結(jié)節(jié)檢測上的有效性。

圖11 為測試過程中4 個損失函數(shù)對應(yīng)的損失變化曲線，4 個損失函數(shù)曲線之和對應(yīng)圖10 的測試損失總曲線。圖10 和圖11 中，淺色曲線對應(yīng)tensorboard 可視化結(jié)果中平滑度Smooth 為0，深色曲線對應(yīng)平滑度為0.6。

圖10 實驗過程曲線。(a)訓(xùn)練準(zhǔn)確率曲線；(b)訓(xùn)練損失率曲線；(c)測試準(zhǔn)確率曲線；(d)測試損失率曲線Fig.10 Accuracy and loss rate curves of training and testing. (a)Training accuracy rate curve； (b)Training loss rate curve； (c)Test accuracy rate curve； (d)Test loss rate curve

圖11 測試損失函數(shù)各分支曲線；(a)回歸框損失曲線；(b)分類損失曲線；(c)區(qū)域建議回歸框損失曲線；(d)區(qū)域建議分類損失曲線Fig.11 The branch curves of the test loss function.(a)Loss＿bbox curve；(b)Loss＿cls curve；(c)Loss＿rpn＿bbox curve；(d)Loss＿rpn＿cls curve

在測試集上的測試結(jié)果如表1所示，融合SE 模塊到ResNet 主干網(wǎng)絡(luò)的算法，與對應(yīng)的ResNet 主干網(wǎng)絡(luò)相比，在精確率上提升1.10%±0.55%、在召回率上提升6.20%±0.50%、在特異性上提升5.59%±1.45%、在mAP 值上提升2.1%±0.70%，檢測結(jié)果有較為顯著的提升。其中，以SE-ResNet101 為主干網(wǎng)絡(luò)的Cascade Rcnn 算法，在本實驗中的數(shù)據(jù)集上實現(xiàn)了測試精確率92.4%，召回率86.2%，特異性95.1%，F(xiàn)1 值89.2%，mAP 值82.4%的效果。由此可見，所采用的基于融合主干網(wǎng)絡(luò)結(jié)構(gòu)SE-ResNet 的Cascade Rcnn 目標(biāo)檢測算法，在超聲甲狀腺結(jié)節(jié)定位、分類的檢測中具有良好的性能，可更有效地輔助超聲科醫(yī)生進行診斷，減少工作量。

表1 測試結(jié)果Tab.1 Test results

3 討論

甲狀腺癌不斷攀升的發(fā)病率，嚴(yán)重危害人類健康。甲狀腺組織結(jié)構(gòu)復(fù)雜，周圍組織結(jié)構(gòu)具有一定的相似性，病灶點具有隨機性，腫瘤區(qū)域與正常的甲狀腺組織區(qū)域之間存在邊界模糊不清、以及邊界不連續(xù)的情況[25]，這些因素導(dǎo)致了準(zhǔn)確劃分腫瘤區(qū)域與正常組織邊界的困難。對甲狀腺結(jié)節(jié)進行準(zhǔn)確定位，成為了醫(yī)生診斷的首要任務(wù)。

此外，結(jié)節(jié)良惡性在灰度超聲圖像上的表現(xiàn)征象具有一定的重疊性，常表現(xiàn)為同病異影、異病同影，導(dǎo)致甲狀腺結(jié)節(jié)的良惡性鑒別診斷難度升級。

超聲圖像讀片診斷任務(wù)繁重，給醫(yī)生帶來了很大困擾。因此，準(zhǔn)確快速的對甲狀腺超聲結(jié)節(jié)進行定位、良惡性鑒別是一項挑戰(zhàn)性的難題，對于輔助醫(yī)生診斷具有重要意義。

對甲狀腺超聲圖像結(jié)節(jié)的定位、良惡性判別的早期算法研究，主要集中在集成學(xué)習(xí)、人工神經(jīng)網(wǎng)網(wǎng)絡(luò)上。集成學(xué)習(xí)分類器的參數(shù)設(shè)定以及組件學(xué)習(xí)器的權(quán)重設(shè)置，對實驗者本身的經(jīng)驗要求較高，分類結(jié)果中表現(xiàn)出的泛化誤差較大，模型收斂速度較慢，人工成本較高[26]。基于人工神經(jīng)網(wǎng)絡(luò)的分類算法通過計算機進行自主學(xué)習(xí)，加入反饋機制，通過誤差反向傳播算法對網(wǎng)絡(luò)模型參數(shù)權(quán)重進行優(yōu)化，[27]。但是，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在甲狀腺超聲結(jié)節(jié)的分類時，由于超聲圖像斑點噪聲高，甲狀腺結(jié)節(jié)組織結(jié)構(gòu)復(fù)雜，特征提取器在提取特征時，隱藏層的信息傳播不穩(wěn)定，修正誤差需要一直調(diào)整更新[28]。

基于深度學(xué)習(xí)的圖像檢測算法彌補了集成學(xué)習(xí)不能自動調(diào)整參數(shù)權(quán)重的缺陷，改善了人工神經(jīng)網(wǎng)絡(luò)算法不能及時修正誤差的問題缺陷?；诖耍狙芯恳杂嬎銠C輔助醫(yī)療診斷為目的，采用基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)Cascade Rcnn，通過三級級聯(lián)Rcnn 的方式來進行甲狀腺超聲結(jié)節(jié)的檢測。

單檢測器Rcnn 網(wǎng)絡(luò)，IOU 閾值設(shè)置的低，會出現(xiàn)大量的低質(zhì)量檢測建議框；IOU 閾值設(shè)置的高，只有少量的高質(zhì)量檢測建議框，模型訓(xùn)練沒有足夠的輸入，會造成過擬合。比如文獻[29]中，采用Faster Rcnn 網(wǎng)絡(luò)，單一IOU 閾值的情況下，實現(xiàn)了甲狀腺超聲結(jié)節(jié)真陽性識別率75.7%，檢測效果有限。在所采用的Cascade Rcnn 網(wǎng)絡(luò)中，采用三級級聯(lián)Rcnn，不同檢測器遞增IOU 閾值，獲得足夠多數(shù)量的高質(zhì)量檢測建議框，避免了過擬合現(xiàn)象的發(fā)生，使模型得到充分的訓(xùn)練。

本研究通過對超聲甲狀腺圖像數(shù)據(jù)集進行裁剪、填充、labelme 軟件標(biāo)注，制作成標(biāo)準(zhǔn)的COCO 數(shù)據(jù)集。通過驗證遷移學(xué)習(xí)的有效性，將遷移學(xué)習(xí)應(yīng)用在其中，減輕數(shù)據(jù)量較小對實驗結(jié)果的影響。

在網(wǎng)絡(luò)結(jié)構(gòu)方面，三級級聯(lián)的Cascade Rcnn 卷積神經(jīng)網(wǎng)絡(luò)，在提高檢測候選框質(zhì)量的同時，也提升檢測性能；在主干網(wǎng)絡(luò)方面，通過融合壓縮激勵模塊SE 到殘差網(wǎng)絡(luò)結(jié)構(gòu)ResNet 中，構(gòu)建的SE-ResNet50及SE-ResNet101 網(wǎng)絡(luò)作為Cascade Rcnn 的主干網(wǎng)絡(luò)，通過與對應(yīng)的殘差主干網(wǎng)絡(luò)ResNet50、ResNet101對比，在精確率、召回率、特異性、mAP 等常用的檢測分類指標(biāo)上都有明顯的提升，在測試集上實現(xiàn)了92.4%的精確率，86.2%的召回率，95.1%的特異性，89.2%的F1 值，82.4%的mAP 值效果。從實驗結(jié)果可以看出，本研究所設(shè)計的基于Cascade Rcnn 的超聲甲狀腺結(jié)節(jié)檢測算法檢測效果顯著，能夠較為有效的進行超聲甲狀腺結(jié)節(jié)的定位及良惡性分類。

相比于早期對甲狀腺超聲結(jié)節(jié)定位分類較好的研究結(jié)果，比如參考文獻[6]中的K-means 聚類動態(tài)集成實現(xiàn)的90.2%的分類準(zhǔn)確率，參考文獻[8]中跨層連接Zfnet 實現(xiàn)的93.5%真陽性識別率和81.5%的真陰性識別率，本實驗的研究結(jié)果在綜合評價指標(biāo)上具有更高的可靠性及準(zhǔn)確性。

當(dāng)然，本實驗也有一定的局限性。首先，實驗所采集的超聲甲狀腺圖像數(shù)量有限，包含的良惡性結(jié)節(jié)圖像數(shù)量也有一定的不平衡性，在后續(xù)研究中，如果能增加實驗的數(shù)據(jù)量，則會在一定程度上增加實驗結(jié)果的魯棒性，同時也會考慮使用不同權(quán)重懲罰樣本誤差來解決類不平衡的問題[30]；其次，甲狀腺結(jié)節(jié)在臨床上除了良惡性分類，還有明確的結(jié)節(jié)分級標(biāo)準(zhǔn)TIRADS[31]，后續(xù)研究會通過向超聲科醫(yī)生進一步學(xué)習(xí)超聲病理知識，將甲狀腺超聲圖像的病理征象分級標(biāo)準(zhǔn)進行量化，提取相對應(yīng)的病理特征，進一步實現(xiàn)超聲甲狀腺結(jié)節(jié)的分級。

4 結(jié)論

本研究驗證了在小型的甲狀腺超聲數(shù)據(jù)集上，遷移學(xué)習(xí)應(yīng)用在深度學(xué)習(xí)算法上的有效性，以級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)Cascade Rcnn 為基礎(chǔ)網(wǎng)絡(luò)，通過級聯(lián)Rcnn的方式提高了檢測候選框的質(zhì)量；融合壓縮激勵模塊于殘差模塊中得到SE-Resnet 網(wǎng)絡(luò)，將其作為Cascade Rcnn 的主干網(wǎng)絡(luò)，與對照組主干網(wǎng)絡(luò)相比，在精確率、召回率、特異性等方面有明顯的提高，為自動化地檢測超聲甲狀腺結(jié)節(jié)提供了一種較為有效的方法。