基于超聲影像的甲狀腺結(jié)節(jié)智能分割算法

曹玉珍，鄭?潔，余?輝, 2，王?飛，張?杰

基于超聲影像的甲狀腺結(jié)節(jié)智能分割算法

曹玉珍1，鄭?潔1，余?輝1, 2，王?飛3，張?杰3

(1. 天津大學精密儀器與光電子工程學院，天津 300072；2. 天津大學醫(yī)學工程與轉(zhuǎn)化醫(yī)學研究院，天津 300000；3. 天津醫(yī)科大學總醫(yī)院超聲影像科，天津 300052)

基于超聲影像對甲狀腺結(jié)節(jié)進行精準分割，可以得到病變區(qū)域的生理參數(shù)信息，從而對甲狀腺結(jié)節(jié)的早期篩查和診斷定性．為實現(xiàn)甲狀腺結(jié)節(jié)的精準分割，提出了一種基于Transformer編碼的多層次特征融合網(wǎng)絡．針對不同患者的甲狀腺結(jié)節(jié)大小和其在甲狀腺超聲圖像中所處的位置均存在較大差異的特點，該模型以Transformer結(jié)構(gòu)作為特征提取器，使各層次特征的計算都在更大、更靈活的感受野上進行；以CNN作為特征解碼器，對編碼器所獲得的特征進行重構(gòu)，并降低算法復雜度．編碼器與解碼器之間采用長距離跳躍連接的方式相連．利用局部-全局策略學習甲狀腺超聲圖像中淺層的全局特征和深層的局部特征．此外，通過將模型中的多頭注意力機制改進為殘差軸向注意力機制，學習到了甲狀腺結(jié)節(jié)中更多的方向紋理特征．實驗數(shù)據(jù)來源于天津醫(yī)科大學總醫(yī)院超聲影像科，通過對3828例樣本采用旋轉(zhuǎn)變換、翻轉(zhuǎn)變換和隨機裁剪3種數(shù)據(jù)增強方法，得到15312 例甲狀腺超聲圖像．經(jīng)過多輪迭代訓練，得到測試集樣本上的 Dice系數(shù)為92.2%，交并比為85.5%．相同數(shù)據(jù)集上的對比實驗表明：相對于全卷積神經(jīng)網(wǎng)絡，該算法在Dice系數(shù)上提升了5%～8%，在交并比上提升了7%～13%，模型參數(shù)量平均降低了?5.67×106，精準地實現(xiàn)了甲狀腺結(jié)節(jié)的全自動分割，降低了模型復雜度，具有一定的臨床價值．

甲狀腺結(jié)節(jié)；超聲影像；Transformer；殘差軸向注意力

甲狀腺結(jié)節(jié)是甲狀腺細胞局部異常生長而引起的散在病變，是目前在成人群體中最常見的內(nèi)分泌疾病之一[1]，其發(fā)病率呈現(xiàn)逐年升高的趨勢[2]．超聲檢查技術(shù)具有實時動態(tài)多切面觀察、無輻射和無創(chuàng)的檢查優(yōu)勢，在甲狀腺結(jié)節(jié)的日常診斷和隨訪中得到了廣泛的應用[3]．基于超聲影像對甲狀腺結(jié)節(jié)進行精準分割，可以幫助醫(yī)生進一步研究病變區(qū)域的病理信息，快速制定有效的治療方案．但在甲狀腺超聲圖像中，各組織之間灰度值分布和空間紋理均有較大差異，并且存在散斑噪聲、結(jié)節(jié)邊界模糊不清和鈣化點陰影等特點，使得分割任務復雜化[4]．目前，甲狀腺結(jié)節(jié)的分割通常由專業(yè)醫(yī)生對超聲圖像中的結(jié)節(jié)區(qū)域手動勾畫完成，這不僅對醫(yī)生的專業(yè)知識和臨床經(jīng)驗有很高要求，而且費時費力，容易耽誤患者寶貴的治療時間．

近年來，國內(nèi)外學者提出了一些算法以實現(xiàn)甲狀腺結(jié)節(jié)的自動分割，包括傳統(tǒng)算法和深度學習算法.傳統(tǒng)的甲狀腺結(jié)節(jié)分割方法以活動輪廓模型為主，如Li等[5]提出的距離正則化水平集演化模型，無需重新初始化．邵蒙恩等[6]提出的基于改進的CV-RSF模型，結(jié)合CV模型的全局信息和RSF模型的局部信息對結(jié)節(jié)實現(xiàn)最終分割．盡管這些基于活動輪廓模型的方法只需要少量樣本便可以實現(xiàn)對模型參數(shù)的快速辨識，但其每一次分割都需要從初始邊緣開始演化，無法從不同樣本間積累式學習臨床先驗知識．

隨著人工智能技術(shù)的不斷發(fā)展，深度學習算法在許多圖像分割任務中展現(xiàn)出優(yōu)異的性能[7-8]．Long?等[9]提出的全卷積網(wǎng)絡(fully convolutional networks，F(xiàn)CN)結(jié)構(gòu)實現(xiàn)了圖像像素級的分類，具有良好的泛化能力．Ronneberger等[10]受到FCN的編碼器-解碼器體系結(jié)構(gòu)啟發(fā)，提出U-Net網(wǎng)絡針對醫(yī)學圖像做語義分割．該網(wǎng)絡共進行4次上采樣和4次下采樣，提取和重構(gòu)圖像不同尺度的特征．編碼層與解碼層之間通過長距離跳躍連接，有效地彌補了因下采樣操作引起的細節(jié)信息缺失，幫助恢復圖像的精細邊緣．Yang等[11]在U-Net基礎(chǔ)上結(jié)合殘差結(jié)構(gòu)，提出一種基于多尺度輸入和特征融合的甲狀腺結(jié)節(jié)分割網(wǎng)絡Res-U-Net，在邊緣模糊和形態(tài)各異的結(jié)節(jié)分割上取得了良好的效果．

盡管上述的經(jīng)典網(wǎng)絡推動了醫(yī)學圖像分割的發(fā)展，但它們多以卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)模型作為骨干網(wǎng)絡．由于CNN模型的感受野不夠靈活，在像素級別的分割任務中，判別能力受到限制．因此Sinha等[12]引入自注意力機制捕捉全局信息來獲得更大的感受野，在腹部器官、心血管結(jié)構(gòu)和腦腫瘤分割任務中都得到了較好的分割效果．隨著深度學習在醫(yī)學圖像分割任務的快速發(fā)展，甲狀腺結(jié)節(jié)的分割也向更準確、自動的趨勢發(fā)展．

為了實現(xiàn)甲狀腺結(jié)節(jié)的精準分割，本文提出一種基于Transformer結(jié)構(gòu)編碼的結(jié)節(jié)分割模型，通過注意力機制來實現(xiàn)網(wǎng)絡結(jié)構(gòu)中編碼層的功能，為醫(yī)學圖像分割提供一個全新的視角．針對甲狀腺超聲圖像質(zhì)量差，邊界梯度特征提取困難等現(xiàn)狀，提出一種局部-全局策略，同時學習圖像淺層的全局特征和深層的局部特征．通過這種策略，高效地學習甲狀腺超聲圖像中聯(lián)合跨尺度的分布特征，有效地提升模型的泛化能力．由于甲狀腺超聲圖像局部信息具有高度的各向異性，使用殘差軸向注意力機制來提取圖像中的方向紋理特征．此外，Transformer編碼層和CNN解碼層之間采用長距離跳躍連接，更精準高效地獲取多尺度信息，進而提升算法的性能．

1?甲狀腺結(jié)節(jié)分割相關(guān)技術(shù)

1.1?CNN模型特點

CNN是具有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡，其核心操作是權(quán)值共享、池化層和局部感受野．其中，權(quán)值共享即使用相同的卷積核進行卷積操作，一方面可以極大地降低模型參數(shù)量來避免計算的冗余，從而提高計算效率；另一方面又使得卷積網(wǎng)絡具備一定的平移不變性和平移等變性．池化層通常在卷積層之后使用，作用是對卷積層獲得的特征映射進行整合與分類，從而減少特征維數(shù)，加強模型的泛化能力．

感受野是特征圖上的某一個特征點在輸入空間中受到影響的區(qū)域．對于醫(yī)學圖像分割任務來說，不同結(jié)節(jié)大小之間具有較大差異，因此，感受野的大小對分割結(jié)果至關(guān)重要．模型特征圖中像素點的感受野由其所處位置、卷積核尺寸以及前一卷積層的感受野共同決定．計算公式為

CNN很擅長提取圖像的局部特征信息，再通過不斷地加深卷積層來實現(xiàn)圖像局部信息到全局信息的特征提取．根據(jù)式(1)，模型的感受野應該能覆蓋整幅圖像，但眾多研究表明模型的實際感受野遠遠小于其所計算出的理論感受野．因此，為了更好地提取圖像的全局特征，需要使用更大、更深的卷積核來盡可能地擴大模型的感受野．但是過深的網(wǎng)絡層數(shù)無疑會大幅增加模型的復雜度，甚至造成訓練無法收斂、模型退化等問題．

1.2?Transformer模型

為解決CNN模型感受野不夠靈活、無法有效提取甲狀腺超聲圖像中不同尺度結(jié)節(jié)特征的問題，引入Transformer來實現(xiàn)甲狀腺結(jié)節(jié)的分割．與CNN 通過不斷堆積卷積層來獲得全局特征不同，Transformer很容易就可以獲得圖像的全局信息，并且不受甲狀腺結(jié)節(jié)所處位置和其形態(tài)大小的影響．

Transformer模型由Google首次提出[13]，利用自注意力機制取代了以往自然語言處理任務中的循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu)，最初應用于自然語言處理領(lǐng)域．它是一個完全基于注意力機制的編碼-解碼結(jié)構(gòu)的模型，具有很強的并行計算能力，能夠捕捉到長距離特征．受自然語言處理中Transformer挖掘文本中上、下文信息強大能力的啟發(fā)，計算機視覺領(lǐng)域的任務開始提出使用自注意力機制來捕捉圖像的遠距離特征，從而獲得圖像的全局信息．這些使用自注意力機制生成的特征圖能夠根據(jù)其所在的層數(shù)和具體的任務目標來有效地克服卷積計算所帶來的局限性．

Transformer基本模型包括編碼器和解碼器，編碼器由6個完全相同的編碼單元首端和尾端基于堆棧式結(jié)構(gòu)連接而成，解碼器也是由6個完全相同的解碼單元通過棧式排列的方式構(gòu)成．編碼單元由自注意力計算模塊以及前饋神經(jīng)網(wǎng)絡層堆疊而成，解碼單元與編碼單元不同之處在于：自注意力計算模塊和前饋神經(jīng)網(wǎng)絡層之間增加了一個自注意力層．編碼單元和解碼單元結(jié)構(gòu)具體如圖1所示．

圖1?編碼單元和解碼單元結(jié)構(gòu)

1.3?多頭自注意力機制

Transformer的核心算子是多頭注意力(multi-head self-attention，MHSA)，MHSA中的每一個“頭”都是一個獨立的注意力機制，使得模型可以學習到不同子空間中的特征信息．每次計算的操作方式如下.

雖然目前很多工作都顯示Transformer網(wǎng)絡在計算機視覺任務中取得了更好的效果，但Transformer目前還存在一定的缺陷：①巨大的參數(shù)量將成倍地增加服務器成本以及運算難度；②在小數(shù)據(jù)集上模型難以訓練，極易過擬合．因此本文將Transformer作為特征提取器，再結(jié)合CNN的天然優(yōu)勢來實現(xiàn)甲狀腺結(jié)節(jié)分割任務．

2?基于Transformer編碼的多層次甲狀腺結(jié)節(jié)特征融合網(wǎng)絡

2.1?網(wǎng)絡整體結(jié)構(gòu)

圖2?網(wǎng)絡整體結(jié)構(gòu)

2.2?模型改進

甲狀腺結(jié)節(jié)的形狀、大小相差較大，且結(jié)節(jié)內(nèi)灰度紋理特征與相鄰器官(如氣管、動脈)和超聲圖像背景較為相似．這使得甲狀腺結(jié)節(jié)分割任務復雜化．但在甲狀腺結(jié)節(jié)的邊界處，這一灰度紋理特征會發(fā)生較大的變化．因此，可以通過提取甲狀腺結(jié)節(jié)邊界紋理特征的變化，來有效地將其與其他組織和圖像背景區(qū)分．為了提取甲狀腺結(jié)節(jié)的邊界信息，將傳統(tǒng)的自注意力機制分解為兩個模塊：第1模塊在特征映射的高度軸上操作；第2模塊在特征映射的寬度軸上操作，這兩個自注意力模塊被稱為軸向注意力機制．通過軸向注意力機制對甲狀腺超聲圖像中每一行、每一列的像素點做相關(guān)性建模，可以有效地提取甲狀腺結(jié)節(jié)的方向紋理特征．

圖3?殘差軸向注意力機制

2.3?損失函數(shù)

交叉熵主要用于度量給定隨機變量或事件集的兩個概率分布之間的差異，它被廣泛用于分類任務.文中采用的損失函數(shù)是二進制交叉熵損失(binary cross-entropy loss，BCE loss)函數(shù)，這種損失函數(shù)逐個檢查每個像素，對每個像素類別的預測結(jié)果和標簽向量進行比較．二進制交叉熵計算公式為

3?實驗結(jié)果與分析

3.1?數(shù)據(jù)集標注與構(gòu)建

實驗所使用的甲狀腺超聲圖像數(shù)據(jù)集由天津醫(yī)科大學總醫(yī)院超聲影像科的專業(yè)醫(yī)生收集與標記，這項回顧性研究經(jīng)天津大學和天津醫(yī)科大學總醫(yī)院倫理委員會批準．使用Esaote MyLab Class C超聲診斷儀采集甲狀腺超聲圖像并存檔，探頭為高頻線陣探頭LA523，探測頻率為4～13MHz．最終收集到2018年10月至2021年2月于天津醫(yī)科大學總醫(yī)院行甲狀腺超聲檢查的3644例患者的資料．所有敏感信息均已匿名化處理．

3.2?數(shù)據(jù)增強

深度學習一般對樣本的數(shù)量具有較高的要求，樣本數(shù)量越多，模型的訓練效果就會越好．為了豐富實驗數(shù)據(jù)的多樣性、提升模型的泛化能力，需要對樣本做數(shù)據(jù)增強，來拓展數(shù)據(jù)集．實驗對輸入數(shù)據(jù)采用旋轉(zhuǎn)變換、翻轉(zhuǎn)變換和隨機裁剪3種數(shù)據(jù)增強方法來擴展數(shù)據(jù)集．將3828例甲狀腺超聲圖像擴增到15312例，數(shù)據(jù)增強示例如圖4所示．

圖4?數(shù)據(jù)增強示例

3.3?實驗環(huán)境及設置

硬件環(huán)境為Intel Core i7-9700 CPU @ 3.60GHz處理器，DDR4 32G內(nèi)存，NVIDIA GeForce RTX 2080Ti 11G顯卡．深度學習框架采用基于Python的Pytorch開源框架，Python版本為3.7.3，Pytorch版本為1.4.0．系統(tǒng)版本為Ubuntu 18.04.4LTS．

3.4?評價指標

采用的主要模型評價指標包括Dice系數(shù)、敏感度、精確率、交并比．

交并比為結(jié)節(jié)分割結(jié)果區(qū)域與結(jié)節(jié)區(qū)域的交集和并集的比，交并比越高，即代表圖像分割的效果越好．交并比的計算公式為

3.5?實驗結(jié)果與分析

表1?不同算法在分割測試集中得到的各個評價指標值

Tab.1?Evaluation index values obtained by different algorithms in the segmentation test set

從分割性能的縱向?qū)Ρ葋砜矗琑es-A-Transformer相比FCN、U-Net和Res-U-Net等全卷積網(wǎng)絡，Dice系數(shù)提升5%～8%，敏感度提升2%～7%，精確率提升3%～12%，交并比提升7%～13%．此結(jié)果可能是源于卷積神經(jīng)網(wǎng)絡的感受野不夠靈活，限制了特征提取能力，導致分割結(jié)果不夠準確，而以Transformer為特征提取單元的網(wǎng)絡可以在更大、更靈活的感受野上有效地學習各層特征．利用殘差軸向注意力機制提取甲狀腺結(jié)節(jié)中的邊界信息，則使得Res-A-Transformer算法在所有評估指標中均高于其他方法．其在測試集的Dice系數(shù)為92.2%，敏感度和精確率分別為91.8%和92.7%，交并比達到85.5%．相比未進行改進的Transformer網(wǎng)絡，在Dice系數(shù)、敏感度、精確率和交并比分別提升了3.13%、1.77%、1.53%和5.81%．

實驗結(jié)果表明：通過殘差軸向注意力機制，可以獲得圖像中更多的空間紋理信息，同時恒等映射單元可以避免淺層特征信息丟失過多的問題．相比較于其他網(wǎng)絡，Res-A-Transformer的各指標分割結(jié)果的標準偏差也有所降低，說明本實驗提出的算法在甲狀腺超聲數(shù)據(jù)集上具有較好的魯棒性．不同算法在測試集上的分割效果如圖5所示．

圖5中，第1行展現(xiàn)的是一個囊實混合性結(jié)節(jié)，成分以囊性為主；第2行包含一個邊緣規(guī)則的囊性結(jié)節(jié)，但其內(nèi)部灰度值與圖像背景和周圍動脈較為相似；第3行包含一個實性結(jié)節(jié)，其灰度值與甲狀腺腺體組織相近，邊緣較為模糊．結(jié)果顯示：Res-A-Transformer甲狀腺結(jié)節(jié)分割算法在處理囊實性結(jié)節(jié)、灰度值與周圍組織相近結(jié)節(jié)以及邊緣模糊結(jié)節(jié)的圖像時，可以獲得更好的分割效果．

使用遷移學習策略進行訓練，將所有權(quán)重初始化．得到以上5種網(wǎng)絡的訓練時間及模型參數(shù)量如表2所示．表2顯示，Res-A-Transformer的訓練時間為23415.6s，參數(shù)量為1.41×106，相對于FCN、U-Net、Res-U-Net 3種全卷積網(wǎng)絡，訓練時間平均縮短了100512.5s，模型參數(shù)量平均降低了5.67×106；相比于未進行改進的Transformer模型，訓練時間縮短了5428.1s，模型參數(shù)量降低了0.37×106，說明軸向注意力機制不僅可以進行有效的計算，學習到更多的位置信息，獲得更好的全局視野，而且降低了計算成本．結(jié)果表明，本文算法可以很好地降低參數(shù)量，對比全卷積網(wǎng)絡、未進行改進的Transformer模型都具有一定的優(yōu)勢．

圖5?不同算法在測試集上的分割效果

表2?不同模型訓練時間及參數(shù)量對比

Tab.2?Training time and parameters of different models

4?結(jié)?語

精準的甲狀腺結(jié)節(jié)分割可以得到病變區(qū)域的大小、形狀等生理參數(shù)信息，對臨床診斷具有重要的意義．本文提出了一種基于Transformer編碼的多層次特征融合網(wǎng)絡．全局分支與局部分支分別在整張圖像和分塊圖像上進行特征提取，以得到圖像中多個層次的特征信息；Transformer編碼層中使用了殘差軸向注意力機制，這一結(jié)構(gòu)不僅能夠獲得圖像中更多的位置信息，而且可以避免淺層信息的丟失；通過長距離跳躍連接的方式，把編碼過程中對應尺度上的特征信息引入到CNN解碼過程中，將特征聚合后得到最終的分割結(jié)果．該算法在數(shù)據(jù)集上的實驗結(jié)果表明：相對于其他方法，本文提出的算法在Dice系數(shù)、敏感度、精確率和交并比等方面都達到更佳的效果，顯著提高了分割的精度，且訓練時間更短．由此可見，基于Transformer結(jié)構(gòu)編碼的智能分割算法能夠幫助醫(yī)生實現(xiàn)對甲狀腺結(jié)節(jié)的全自動分割，為進一步分析結(jié)節(jié)區(qū)域的生理參數(shù)提供輔助信息．

［1］ 董?芬，張?彪，單廣良. 中國甲狀腺癌的流行現(xiàn)狀和影響因素[J]. 中國癌癥雜志，2016，26(1)：47-52.

Dong Fen，Zhang Biao，Shan Guangliang. The prevalence and influencing factors of thyroid cancer in china[J]. Chinese Journal of Cancer，2016，26(1)：47-52(in Chinese).

［2］ Quadir S，Uddin M M，Salam K S，et al. Ultrasonographic evaluation of solitary thyroid nodule with histopathological comparison[J]. Bangladesh Journal of Otorhinolaryngology，2020，25(2)：76-84.

［3］ Guth S，Theune U，Aberle J，et al. Very high prevalence of thyroid nodules detected by high frequency(13MHz)ultrasound examination[J]. European Journal of Clinical Investigation，2009，39(8)：699-706.

［4］ 徐細潔，李泉水，熊華花，等. 超聲成像結(jié)合超聲造影鑒別甲狀腺良惡性病變[J]. 中國超聲醫(yī)學雜志，2015，31(10)：887-890.

Xu Xijie，Li Quanshui，Xiong Huahua，et al. Identification of benign and malignant thyroid lesions by ultrasound imaging combined with contrast-enhanced ultrasound[J]. Chinese Journal of Ultrasound in Medicine，2015，31(10)：887-890(in Chinese).

［5］ Li C，Xu C，Gui C，et al. Distance regularized level set evolution and its application to image segmentation [J]. IEEE Transactions on Image Processing，2010，19(12)：32-43.

［6］ 邵蒙恩，嚴加勇，崔崤峣，等. 基于CV-RSF模型的甲狀腺結(jié)節(jié)超聲圖像分割算法[J]. 生物醫(yī)學工程研究，2019，38(3)：336-340.

Shao Meng’en，Yan Jiayong，Cui Xiaoyao，et al. Ultrasound image segmentation algorithm of thyroid nodules based on CV-RSF model[J]. Journal of Biomedical Engineering Research，2019，38(3)：336-340(in Chinese).

［7］ Chang C Y，Lei Y F，Tseng C H，et al. Thyroid segmentation and volume estimation in ultrasound images [J]. IEEE Transactions on Biomedical Engineering，2010，57(6)：1348-1357.

［8］ 張?晶. 基于活動輪廓模型的甲狀腺結(jié)節(jié)分割方法研究[D]. 保定：河北大學，2016.

Zhang Jing. Research on Segmentation Method of Thyroid Nodules Based on Active Contour Model[D]. Baoding：Hebei University，2016(in Chinese).

［9］ Long J，Shelhamer E，Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，39(4)：640-651.

［10］ Ronneberger O，F(xiàn)ischer P，Brox T. U-Net：Convolu-tional networks for biomedical image segmentation [C]//18th International Conference on Medical Image Computing and Computer-Assisted Intervention(MIC-CAI). Munich，Germany，2015，9351：234-241.

［11］ Yang B L，Yan M Y，Zhu C R，et al. Segmentation and classification of thyroid follicular neoplasm using cascaded convolutional neural network[J]. Physics in Medicine and Biology，2020，65(24)：245040.

［12］ Sinha A，Dolz J. Multi-scale self-guided attention for medical image segmentation[J]. IEEE Journal of Biomedical and Health Informatics，2020，25(1)：121-130.

［13］ Vaswani A，Shazeer N，Parmar N，et al. Attention is all your need[EB/OL]. www.arXiv:1706.03762v5.org，2017-12-06.

［14］ Jie H，Li S，Gang S，et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42(8)：2011-2023.

［15］ Haugen B R，Alexander E K，Bible K C，et al. American thyroid association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer：The American thyroid association guidelines task force on thyroid nodules and differentiated thyroid cancer[J]. Thyroid，2016，26(1)：1-133.

［16］ Shin J H，Baek J H，Chung J，et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules：Revised Korean society of thyroid radiology consensus statement and recommendations[J]. Korean Journal of radiology，2016，17(3)：370-395.

Intelligent Segmentation of Thyroid Nodules Based on Ultrasound Images

Cao Yuzhen1，Zheng Jie1，Yu Hui1, 2，Wang Fei3，Zhang Jie3

(1. School of Precision Instruments and Optoelectronics Engineering，Tianjin University，Tianjin 300072，China；2. Academy of Medical Engineering and Translational Medicine，Tianjin University，Tianjin 300000，China；3. Department of Ultrasound Imaging，Tianjin Medical University General Hospital，Tianjin 300052，China)

The accurate segmentation of thyroid nodules based on ultrasound images can obtain physiological parameter information of the lesion area to screen and diagnose thyroid nodules in the early stage. To achieve an accurate segmentation of thyroid nodules，a multilevel feature fusion network based on Transformer coding was proposed. Given the large differences in the sizes of the thyroid nodules and their positions in the thyroid ultrasound images of different patients，the Transformer structure was used as the feature extractor to perform the calculation of features at each level on a larger and more flexible receptive field. The convolutional neural network was used as the feature decoder to reconstruct the features obtained by the encoder and reduce the complexity of the algorithm. The encoder and the decoder were connected by a skip connection. A local-global strategy was used to learn the local and global features in the thyroid ultrasound images. Additionally，more directional texture features in thyroid nodules were learned by improving the multi-head attention mechanism in the model to the residual axial-attention mechanism. The experimental data came from the Department of Ultrasound Imaging of the General Hospital of Tianjin Medical University. Using three data augmentation methods，including the rotation transformation，flip transformation，and random cropping，on 3828 samples，15312 thyroid ultrasound images were obtained. After multiple rounds of iterative training，the Dice coefficient on the test set was 92.2%，and the intersection ratio was 85.5%. Comparative experiments on the same data set showed that compared with the full convolution neural network，the algorithm improved the Dice coefficient by 5% to 8%，increased the intersection ratio by 7% to 13%，and reduced the average algorithm complexity by 5.67×106，realizing the automatic segmentation of the thyroid nodules accurately and reducing the model complexity. Results show that it has a certain clinical value.

thyroid nodule；ultrasound images；Transformer；residual axial-attention

10.11784/tdxbz202106048

TK448.21

A

0493-2137(2022)07-0674-08

2021-06-30；

2021-11-24.

曹玉珍（1963—??），女，博士，教授，yzcao@tju.edu.cn.Email：m_bigm@tju.edu.cn

余?輝，yuhui@tju.edu.cn.

國家重點研發(fā)計劃資助項目(2019YFC0119402)；天津科技重大專項與工程資助項目(18ZXZNSY00240).

the National Key Research and Development Program(No. 2019YFC0119402)，Tianjin Science and Technology Major Special Project (No. 18ZXZNSY00240).

(責任編輯：孫立華)