基于深度學(xué)習(xí)的甲狀腺結(jié)節(jié)自動(dòng)識別方法在超聲圖像中的應(yīng)用

王洪杰，于霞，高強(qiáng)

威海市婦幼保健院 a.醫(yī)療設(shè)備科；b.超聲二科；c.放射科，山東 威海 264200

引言

中國是世界人口第一大國，龐大的人口基數(shù)以及快速增長的老齡人口帶來了持續(xù)增長的醫(yī)療服務(wù)需求[1]。據(jù)我國衛(wèi)生和計(jì)劃生育事業(yè)發(fā)展統(tǒng)計(jì)公報(bào)，2016年我國個(gè)人衛(wèi)生支出已達(dá)13337.9億元，對比1990年267.01億元，年均增長率達(dá)16.23%[2]。然而，在醫(yī)療服務(wù)市場高速發(fā)展的外表下，持續(xù)的“看病難、看病貴”問題一直是阻礙我國醫(yī)療服務(wù)市場健康發(fā)展的難題。造成這一問題的根本原因是醫(yī)療服務(wù)供給增量無法滿足過快增長的醫(yī)療服務(wù)需求[3-4]。近年來以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)技術(shù)，在輔助醫(yī)生提高診斷準(zhǔn)確性、降低工作強(qiáng)度、提高工作效率方面開始顯示出其優(yōu)勢。其中最突出的就是醫(yī)學(xué)影像領(lǐng)域，深度學(xué)習(xí)技術(shù)已經(jīng)可以在甲狀腺超聲診斷中發(fā)揮作用[5-7]。以甲狀腺超聲為例，超聲醫(yī)生需要反復(fù)看甲狀腺圖像，判斷出結(jié)節(jié)的位置、大小、良惡性，這通常需要十多分鐘，采用深度學(xué)習(xí)技術(shù)則能夠自動(dòng)標(biāo)注出結(jié)節(jié)的位置、大小、性質(zhì)等信息，一方面輔助高年資醫(yī)師進(jìn)行診斷、提高工作效率，另一方面還可以幫助低年資醫(yī)師提高識別甲狀腺結(jié)節(jié)的能力和診斷水平[8-11]。

1 資料與方法

從超聲數(shù)據(jù)庫選取2013年1月至2018年1月期間6321張甲狀腺圖像，其中包括確診多發(fā)結(jié)節(jié)2000張，單個(gè)結(jié)節(jié)1200張，其他未確診甲狀腺圖像3121張。首先對圖像進(jìn)行分割，用于深度學(xué)習(xí)模型的訓(xùn)練。然后將剩余的3121張圖像用于模型的驗(yàn)證，所有納入研究的病變均經(jīng)過活檢或手術(shù)病理確診同時(shí)病灶范圍明確。術(shù)后對甲狀腺結(jié)節(jié)的良惡性進(jìn)行驗(yàn)證，考慮算法及臨床實(shí)際，因此本文所稱甲狀腺結(jié)節(jié)未區(qū)分良惡性。剩余的 3121 張圖像同時(shí)再交給4名超聲醫(yī)師進(jìn)行診斷。最后統(tǒng)計(jì)相關(guān)結(jié)果，圖像來源于飛利浦IU22和GE E9。

2 模型構(gòu)建和驗(yàn)證

2.1 圖像標(biāo)注

超聲醫(yī)師以病理為標(biāo)準(zhǔn)將所有圖像分成甲狀腺良性結(jié)節(jié)和惡性結(jié)節(jié)兩個(gè)大類，同時(shí)對病變圖像中的病灶范圍進(jìn)行精準(zhǔn)標(biāo)注。

2.2 圖像預(yù)處理

將標(biāo)注好的圖像進(jìn)行裁剪、去噪、正則化處理，從而消除人為和環(huán)境干擾，把超聲圖像統(tǒng)一為225×225像素大小。

2.3 構(gòu)建和訓(xùn)練模型

深度學(xué)習(xí)是人工智能領(lǐng)域機(jī)器學(xué)習(xí)技術(shù)的一個(gè)分支[12]。傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)在處理未加工過的原始數(shù)據(jù)時(shí)效果不佳。要構(gòu)建一個(gè)模式識別系統(tǒng)或者機(jī)器學(xué)習(xí)系統(tǒng)，需要一個(gè)精心設(shè)計(jì)的分類器和需要相當(dāng)專業(yè)的知識才能確定出來的特征，這種分類任務(wù)的效果很大程度上依賴于所提取特征的質(zhì)量，而這些高質(zhì)量的特征需要人工確定時(shí)，機(jī)器學(xué)習(xí)的有效性就大打折扣[13-14]。

如果能夠給機(jī)器輸入原始數(shù)據(jù)，然后通過計(jì)算自動(dòng)發(fā)現(xiàn)需要進(jìn)行檢測和分類的特征表達(dá)方法和分類方法，則會大大提高機(jī)器學(xué)習(xí)的有效性。深度學(xué)習(xí)就是這樣一種特征學(xué)習(xí)方法，把原始數(shù)據(jù)通過一些非線性的簡單模型轉(zhuǎn)變成為更高層次的，更加抽象的表達(dá)。通過足夠多的轉(zhuǎn)換的組合，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。深度學(xué)習(xí)的體系結(jié)構(gòu)是簡單模塊的多層棧，大部分模塊的目標(biāo)是學(xué)習(xí)，還有許多計(jì)算非線性輸入輸出的映射。棧中的每個(gè)模塊將其輸入進(jìn)行轉(zhuǎn)換，以增加表達(dá)的可選擇性和不變性。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種典型的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)[15]。本文采用一種CNN方法進(jìn)行甲狀腺結(jié)節(jié)的診斷，該CNN的結(jié)構(gòu)如圖1所示。其輸入為225×225的甲狀腺超聲圖像，第一個(gè)卷基層產(chǎn)生大小為111×111的96個(gè)特征的映射。第二個(gè)卷基層產(chǎn)生55×55大小的256個(gè)特征的映射。第三個(gè)卷基層產(chǎn)生13×13大小的384個(gè)特征的映射。最后經(jīng)過全連接之后進(jìn)行分類，分類結(jié)果是該圖像是否含有結(jié)節(jié)。

圖1 甲狀腺結(jié)節(jié)診斷的CNN結(jié)構(gòu)

為了對該模型進(jìn)行良好的訓(xùn)練，采用了遷移學(xué)習(xí)的方法。首先把該模型在ImageNet數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練。然后在甲狀腺數(shù)據(jù)集上進(jìn)行參數(shù)調(diào)整訓(xùn)練。該甲狀腺診斷訓(xùn)練數(shù)據(jù)集的構(gòu)建方法如下：從采集的甲狀腺數(shù)據(jù)集中隨機(jī)選擇結(jié)節(jié)圖像和無結(jié)節(jié)圖像（圖2），然后針對兩類圖像分別采用旋轉(zhuǎn)和mixup方法，得到響應(yīng)的含結(jié)節(jié)圖像和無結(jié)節(jié)圖像，構(gòu)成甲狀腺診斷訓(xùn)練數(shù)據(jù)集。經(jīng)過預(yù)訓(xùn)練和參數(shù)調(diào)整訓(xùn)練后，得到完成訓(xùn)練的甲狀腺診斷CNN模型。

圖2 甲狀腺圖像

2.4 驗(yàn)證模型

把采集的甲狀腺數(shù)據(jù)集中，未用來進(jìn)行模型訓(xùn)練的圖像作為模型驗(yàn)證的數(shù)據(jù)集。把該數(shù)據(jù)集輸入到完成訓(xùn)練的甲狀腺診斷CNN模型中，可以得到對應(yīng)每張圖像是否是結(jié)節(jié)的診斷結(jié)果。

2.5 模型和超聲醫(yī)師的比較

選擇4名本院超聲醫(yī)師，分高年資和低年資兩組，其中高年資超聲醫(yī)師的選擇標(biāo)準(zhǔn)為取得中級資格證，超聲檢查超過10000例，低年資超聲醫(yī)師標(biāo)準(zhǔn)為從事超聲工作小于3年，超聲檢查不到3000例。4名醫(yī)師分別獨(dú)立地對電腦屏幕所展示的測試集圖像進(jìn)行識別和判斷，同時(shí)記錄其診斷每張圖像所需的時(shí)間。同時(shí)模型對相同的測試集進(jìn)行識別，記錄結(jié)果。

3 結(jié)果

測試集共有3121張圖像，其中甲狀腺結(jié)節(jié)2900張，其他良性病變及正常圖像221張。2900張甲狀腺結(jié)節(jié)圖像中，深度學(xué)習(xí)模型正確識別2860張，高年資超聲醫(yī)師平均正確識別2570張，低年資超聲醫(yī)師平均正確識別2215張。221張正常圖像中，三者分別正確識別了212、201和183張。

另外，從時(shí)間上對比，深度學(xué)習(xí)每張圖像的診斷時(shí)間為（0.10±0.02）s。而低年資超聲醫(yī)師和高年資超聲醫(yī)師的診斷時(shí)間分別為15 min和10 min。

根據(jù)測試對比結(jié)果，分別計(jì)算陽性預(yù)期率、陰性預(yù)期率、診斷敏感性、診斷效率和診斷特異性指標(biāo)，這些指標(biāo)詳見表1。

表1 深度學(xué)習(xí)與高、低年資的醫(yī)生診斷結(jié)果對比（%）

從表1中可見，深度學(xué)習(xí)方法在所有指標(biāo)比較中都超過了超聲醫(yī)師。其中陽性預(yù)期率比高年資超聲醫(yī)師高出10.00%，陰性預(yù)期率高出5.02%，診斷效率高出10.24%。本研究構(gòu)建的深度學(xué)習(xí)模型用于甲狀腺結(jié)節(jié)的診斷全面超過超聲醫(yī)師，可在超聲診斷甲狀腺檢查中輔助醫(yī)師進(jìn)行實(shí)時(shí)診斷。

本研究對深度學(xué)習(xí)技術(shù)在超聲甲狀腺結(jié)節(jié)領(lǐng)域內(nèi)的應(yīng)用進(jìn)行了初步探索。結(jié)果表明深度學(xué)習(xí)方法應(yīng)用于超聲影像的甲狀腺結(jié)節(jié)的臨床輔助診斷是可行的。

4 討論和結(jié)論

隨著近年來甲狀腺超聲篩查的普及，越來越多的甲狀腺疾病被發(fā)現(xiàn)[16-17]。尤其是甲狀腺惡性病變，因?yàn)樵绨l(fā)現(xiàn)、早治療，降低了癌癥死亡率、提高了生存率及生活質(zhì)量[18]。但限于目前醫(yī)療資源不均衡、診斷不規(guī)范、診斷水平參差不齊等因素，導(dǎo)致還有很多甲狀腺結(jié)節(jié)，尤其是小的惡性結(jié)節(jié)被漏診和誤診[19-20]。如何能充分利用有限的醫(yī)療資源，快速、有效地提高我國的甲狀腺結(jié)節(jié)診斷能力，成為我們亟待解決的問題。

深度學(xué)習(xí)在醫(yī)學(xué)研究及臨床實(shí)踐中越來越受到重視，是機(jī)器學(xué)習(xí)的一個(gè)分支，更適合解決大數(shù)據(jù)問題[21-24]。本研究對人工智能圖像識別技術(shù)在超聲甲狀腺結(jié)節(jié)領(lǐng)域內(nèi)的應(yīng)用進(jìn)行了初步探索。通過回顧性收集的6321張超聲圖像，整理后投入深度學(xué)習(xí)模型進(jìn)行訓(xùn)練和驗(yàn)證，測試結(jié)果顯示其診斷甲狀腺結(jié)節(jié)的陽性預(yù)期率98.62%，陰性預(yù)期率95.93%，診斷敏感性99.68%，診斷效率98.43%，診斷特異性84.13%，每張圖像的診斷時(shí)間為（0.10±0.02）s。模型組的準(zhǔn)確率均高于醫(yī)師組，總體表現(xiàn)令人滿意。

本研究構(gòu)建的深度學(xué)習(xí)模型用于超聲甲狀腺結(jié)節(jié)的診斷具有較高的準(zhǔn)確率，將來可在超聲檢查中輔助超聲醫(yī)師進(jìn)行實(shí)時(shí)診斷。AI讓基層超聲醫(yī)師獲得跟資深專家同質(zhì)化的診斷效果成為可能。應(yīng)用深度學(xué)習(xí)方法開展超聲甲狀腺結(jié)節(jié)影像診斷，可以提高醫(yī)生和醫(yī)院的診療效率，輔助醫(yī)生提供更精準(zhǔn)和優(yōu)質(zhì)的服務(wù)，對于我國醫(yī)療衛(wèi)生領(lǐng)域的發(fā)展有著重要的現(xiàn)實(shí)意義。在國內(nèi)，四川大學(xué)華西醫(yī)院、浙江省人民醫(yī)院、浙江大學(xué)醫(yī)學(xué)院附屬兒童醫(yī)院、上海交通大學(xué)、上海華山醫(yī)院都開展了此方面單疾病的研究?？傊?，我們認(rèn)為AI技術(shù)在超聲圖像識別領(lǐng)域市場前景一片光明并大有可為。