基于Transformer的脊柱CT圖像分割

毛孝鑫，宋燁，郝泳濤

摘要：脊柱側(cè)彎是青少年群體常見(jiàn)的一種脊柱疾病，老年群體中因脊柱骨質(zhì)疏松引起的脊柱骨折也尤為普遍。CT成像技術(shù)作為脊柱外科的主要檢查手段之一，廣泛用于臨床以及研究目的的篩查，診斷和圖像引導(dǎo)治療。研究以脊柱CT圖像為研究對(duì)象，將目前在NLP領(lǐng)域表現(xiàn)優(yōu)異的Transformer模型與經(jīng)典的U-Net圖像分割網(wǎng)絡(luò)相結(jié)合，運(yùn)用到CT圖像的分割處理工作當(dāng)中;同時(shí)在模型訓(xùn)練過(guò)程中基于脊柱自身的結(jié)構(gòu)特點(diǎn)，采用由粗到精的訓(xùn)練方法，首先對(duì)脊柱的各個(gè)椎骨進(jìn)行定位模型訓(xùn)練，然后在定位結(jié)果的基礎(chǔ)上再訓(xùn)練分割模型。最終模型的分割結(jié)果與真實(shí)值之間的Dice相似系數(shù)達(dá)到了94.37%以上，實(shí)驗(yàn)結(jié)果表明了該方法的有效性以及臨床應(yīng)用的可行性。

關(guān)鍵詞：CT圖像;U-Net;圖像分割;Transformer;自注意力

中圖分類號(hào)：TP399? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）20-0124-03

Spine CT Image Segmentation Based on Transformer

MAO Xiao-xin1， SONG Ye2， HAO Yong-tao1

（1.CAD Research Center of Tongji University， Shanghai 201804， China; 2.Xiaoyi Technology co.， LTD.， Shanghai 201203， China）

Abstract：Scoliosis is a common spinal disease in adolescents， and spinal fractures caused by osteoporosis of the spine are particularly common in the elderly. As one of the main detection methods of spinal surgery， CT imaging technology is widely used in clinical and research purposes for screening， diagnosis， and image-guided treatment. This research takes CT images of the spine as the research object and combines the Transformer model， which is currently excellent in the field of NLP， with the classic U-Net image segmentation network， and applies it to the segmentation of CT images. And based on the structural characteristics of the spine itself， the training method from coarse to fine is adopted in the model training process. First， a model is trained for performing vertebra localization， and then the segmentation model is trained based on the vertebra localization results. Finally， the Dice similarity coefficient between the segmentation result and the true value reached more than 94.37%. The experimental results show the effectiveness of the method and the feasibility of a clinical application.

Key words： CT image; U-net; image segmentation; transformer; self-attention

脊柱作為人體中最為重要的中軸骨骼，是肌肉骨骼系統(tǒng)的重要組成部分。然而脊柱疼痛在全世界有著很高的發(fā)病率，同時(shí)由于脊柱結(jié)構(gòu)及其功能的復(fù)雜性，臨床上對(duì)于脊柱疼痛的診斷與評(píng)估仍然是一個(gè)挑戰(zhàn)[1]。脊柱疾病的種類以及病因有很多，比如由于外傷導(dǎo)致的脊柱骨折，脫位，因感染引起的脊柱炎，脊柱腫瘤，還有因先天因素引起的脊柱側(cè)彎以及因代謝和免疫因素導(dǎo)致的骨質(zhì)疏松癥等。

為了獲得準(zhǔn)確的病灶信息，醫(yī)生往往會(huì)在患者的CT圖像上做一些關(guān)鍵區(qū)域標(biāo)注或者分割的工作，這些標(biāo)注與分割的結(jié)果無(wú)論是在后續(xù)的三維建模還是術(shù)前規(guī)劃中都發(fā)揮著重要作用。隨著人工智能以及深度學(xué)習(xí)的發(fā)展，許多成果與技術(shù)也開(kāi)始逐漸滲透到醫(yī)學(xué)圖像處理領(lǐng)域當(dāng)中。2014年，Long等人提出了全卷積神經(jīng)網(wǎng)絡(luò)FCN[2]，將以往卷積神經(jīng)網(wǎng)絡(luò)中全連接層替換成卷積層，這一重大改進(jìn)使得網(wǎng)絡(luò)可以從完整尺寸的圖像進(jìn)行逐像素預(yù)測(cè)，而不是逐塊預(yù)測(cè)，并且還可以僅在一個(gè)前向傳播中對(duì)整個(gè)圖像進(jìn)行預(yù)測(cè)，處理效率更加高效。FCN的提出在圖像分割領(lǐng)域具有里程碑意義，后來(lái)越來(lái)越多的網(wǎng)絡(luò)都是基于FCN進(jìn)行改進(jìn)的。Christ等人提出了一種使用級(jí)聯(lián)的全卷積神經(jīng)網(wǎng)絡(luò)（CFCN）和密集3D條件隨機(jī)場(chǎng)（CRF）自動(dòng)分割腹部CT圖像中的肝臟病變的方法[3]。Korez等人提出了3D FCN模型[4]，從MRI圖像中對(duì)脊柱進(jìn)行分割，同時(shí)使用形變模型算法對(duì)結(jié)果進(jìn)行了優(yōu)化。

U-Net是目前最著名的醫(yī)學(xué)圖像分割模型之一，由Ronneberger等人提出[5]，模型建立在FCN的結(jié)構(gòu)基礎(chǔ)上，通過(guò)跳躍連接的方式擴(kuò)大了網(wǎng)絡(luò)解碼器的容量，使得圖像分割精度更高。2018年Oktay等人通過(guò)引入注意力機(jī)制，提出了Attention U-Net模型[6]，該模型隱式地學(xué)習(xí)抑制輸入圖像中不相關(guān)的區(qū)域，同時(shí)突出顯示對(duì)特定任務(wù)有用的顯著特征，實(shí)驗(yàn)結(jié)果表明該模型在保證計(jì)算效率的同時(shí)，也提高了U-Net在不同數(shù)據(jù)集和訓(xùn)練規(guī)模上的預(yù)測(cè)性能。