【作 者】傅玉川,余行
四川大學華西醫(yī)院 放療科,成都市,610041
在精確放療過程中,對腫瘤靶區(qū)(gross tumor volume,GTV)、臨床靶區(qū)(clinical target volume,CTV)和緊要器官(organs at risk,OARs)的準確勾畫是保證療效、降低正常組織傷害的一個重要環(huán)節(jié)[1]。對于每位接受放射治療的患者,放射腫瘤科醫(yī)生會在計劃圖像(CT或MR掃描)上逐層劃定目標體積和OARs,該任務(wù)在臨床常規(guī)操作中主要是由手動操作完成。這一過程不僅耗費放療醫(yī)師大量精力和時間[2],同時還依賴醫(yī)生們的專業(yè)水平和經(jīng)驗。如何在保障勾畫速度、準確性和適應(yīng)性的前提下建立腫瘤靶區(qū)和危及器官勾畫自動化智能化工具,一直是業(yè)界研究的重要課題之一[3]。隨著醫(yī)學影像自動分割技術(shù)的不斷發(fā)展成熟,未來自動醫(yī)學圖像分割工具將在幫助醫(yī)生描繪解剖結(jié)構(gòu)或腫瘤區(qū)域方面起到越來越重要的作用。
圖像分割是自然圖像分析中的常見任務(wù)之一。在許多應(yīng)用中,例如醫(yī)學圖像處理、生物度量、對象跟蹤和識別、視頻和計算機視覺應(yīng)用,圖像分割都是一個基本的問題,也是計算機視覺研究中的一個經(jīng)典難題[4]。它是將數(shù)字圖像劃分為多個區(qū)域或像素集的過程,目的是用清晰而有意義的方式從一副圖像中把具有獨特性質(zhì)的區(qū)域目標從背景中分離出來[5]。圖像分割的結(jié)果是一組區(qū)域,這些區(qū)域共同覆蓋了整個圖像,或者是從圖像中提取的輪廓線[6]。圖像分割已被廣泛應(yīng)用于計算機視覺的許多領(lǐng)域,如對象識別、運動或立體系統(tǒng)中的邊界估計、圖像壓縮、圖像編輯和圖像數(shù)據(jù)庫查找等。
目前圖像分割方法最重要的一個實際應(yīng)用領(lǐng)域是針對醫(yī)學影像中器官和其他解剖結(jié)構(gòu)的分割,可用于定量分析與體積和形狀有關(guān)的臨床參數(shù),分割任務(wù)通常定義為識別構(gòu)成目標對象的輪廓或內(nèi)部的體素集[7]。醫(yī)學圖像包括CT、MR、PET及其它醫(yī)學影像設(shè)備所獲得的圖像。醫(yī)學圖像分割方法的研究有兩個顯著的特點:一是通常要用到醫(yī)學領(lǐng)域中的專業(yè)知識,如心室的大致形狀,顱內(nèi)白質(zhì)和灰質(zhì)的含量和相對位置關(guān)系等;二是經(jīng)常采用三維分割的方式,因為一般的圖像中僅僅具有二維數(shù)據(jù),即三維景物通過攝像機或其它成像設(shè)備得到的二維投影,而醫(yī)學圖像中則直接給出了以二維切片形式組織的三維數(shù)據(jù)[8],這就為三維分割提供了可能。
隨著計算機技術(shù)和各種新理論、新方法的應(yīng)用與改進,圖像分割技術(shù)也在不斷改進與發(fā)展之中,各種思想和方法層出不窮。不同的方法,因為其自身的性能限制,有不同的適用范疇,尚未出現(xiàn)一種圖像分割的方法具有普適性。圖1顯示了5種廣泛用于醫(yī)學圖像分割的技術(shù)類型及相應(yīng)的具體路徑[9-12],其中CNN為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks),F(xiàn)CN為全卷積網(wǎng)絡(luò)(fully convolutional network),DNN為深度神經(jīng)網(wǎng)絡(luò)(deep neural networks),DDNN為深度反卷積網(wǎng)絡(luò)(deep deconvolutional neural networks)。
圖1 醫(yī)學影像自動分割的技術(shù)路徑Fig.1 Technical approaches for automatic segmentation of medical images
從機器學習和多層神經(jīng)網(wǎng)絡(luò)演化而來的深度學習是當前大數(shù)據(jù)處理和分析方法的研究前沿,其優(yōu)點在于模型的表達能力強,能夠處理具有高維稀疏特征的數(shù)據(jù),在不需要人工提取特征的情況下,實現(xiàn)端到端的學習[13-14]?,F(xiàn)階段,深度學習在醫(yī)學領(lǐng)域的探索方興未艾,最終目標是在復(fù)雜的臨床應(yīng)用中準確搜集和獲取到高質(zhì)量可應(yīng)用的數(shù)據(jù),解決臨床中的實際問題。在醫(yī)學影像分析中,分類、檢測、分割、配準、檢索、圖像生成和增強都是常規(guī)任務(wù)。利用深度學習方法來實現(xiàn)這些任務(wù)的智能化也是目前醫(yī)學影像分析研究的前沿熱點[15-16]。
將深度學習技術(shù)應(yīng)用于醫(yī)學圖像分割的基本思想是建立神經(jīng)網(wǎng)絡(luò),通過對大量數(shù)據(jù)樣本進行訓(xùn)練來實現(xiàn)普通分割、語義分割和實例分割等實際分割應(yīng)用任務(wù),最終以完成任務(wù)的精確度和效率提升來評估具體的深度學習模型。
醫(yī)學影像自動分割技術(shù)在放射治療中的具體應(yīng)用形式是在醫(yī)學影像上自動勾畫出感興趣的解剖結(jié)構(gòu)或區(qū)域輪廓,即需要給予高劑量的腫瘤靶區(qū)(target volume,TV)和需要保護的緊要器官OARs。在發(fā)展初期,使用的是基于圖像內(nèi)容和屬性(例如體素強度和/或圖像梯度)分析的傳統(tǒng)自動分割方法,但效果不佳。因此在過去二十年的不斷發(fā)展過程中,引入了將先驗知識納入分割過程的方法。到目前為止,主要有基于圖集模板的自動分割(Atlas-based autosegmentation,ABAS)、混合自動分割(hybrid auto-segmentation,HAS)和基于深度學習算法等實現(xiàn)方法[17]。其中HAS是將基于模型的方法與ABAS結(jié)合使用,將圖像配準和分割結(jié)合到一個共同的框架中,故在本文中不作單獨表述。
在基于圖集的分割中,要先構(gòu)建一個參考圖像集,在該圖像集中有已被分割好的目標結(jié)構(gòu),即形成先驗知識。通過找到參考圖像和測試圖像之間最佳變換來獲得新測試圖像中相應(yīng)結(jié)構(gòu)的分割。為此所提出的不同配準算法[18],需要滿足不同的誤差度量要求,特別是在存在圖像噪聲或處理圖像對比度變化的情況下。近年來,已有多個基于圖集模板的商業(yè)化圖像自動分割工具出現(xiàn),有些集成在放射治療計劃系統(tǒng)(TPS)中,有些作為單獨的軟件產(chǎn)品[19]。它們在臨床實踐中的應(yīng)用效果可由不同分割方法的評估和比較來體現(xiàn)。最典型的無偏評估和比較方法是進行“自動分割大賽”。在這種情況下,所有參與團隊都使用相同的訓(xùn)練和測試數(shù)據(jù)集來評估其算法。如2015年在德國慕尼黑舉行了“頭頸自動分割挑戰(zhàn)賽”,目的是在標準化的CT圖像條件下評估頭頸部區(qū)域OAR(腦干、下頜骨、視交叉和雙側(cè)視神經(jīng)、腮腺和頜下腺)的自動勾畫精度[20]。其結(jié)果顯示了一種明顯趨勢,即向更通用和更少依賴特定結(jié)構(gòu)的分割算法發(fā)展。
基于圖集模板的自動勾畫所需要的參考圖像集則是由各個放療機構(gòu)的專業(yè)人員依據(jù)不同部位解剖結(jié)構(gòu)的勾畫指南來手動勾畫生成[21]。陰曉娟等[22]進行了基于圖譜庫的ABAS自動勾畫軟件在頭頸部腫瘤中的可行性研究;陳開強等[23]將該工具應(yīng)用于宮頸癌自適應(yīng)放療中;TAO等[24]的研究結(jié)果顯示基于圖集模板的自動分割減少了鼻咽癌高危器官的觀察者間差異并提高了劑量學參數(shù)一致性;等[25]則對基于多圖譜的頭頸部和前列腺癌患者淋巴結(jié)區(qū)域分割進行了臨床評價;針對這類工具所開展的大量臨床評價工作一方面證明基于圖集模板的自動勾畫可以節(jié)約正常組織和解剖區(qū)域的勾畫時間[26],另一方面也提示提高自動分割魯棒性和準確性的必要性,因為無論采用多圖集進行融合的方法如何,其可靠性始終取決于參考圖集和患者之間的相似性。由腫瘤引起的大的解剖結(jié)構(gòu)變形很難用配準算法進行校正。
圖像的自動分割是深度學習網(wǎng)絡(luò)的常見應(yīng)用。人體解剖學涉及到的所有區(qū)域:腦部、頭頸部、胸部、腹部或骨盆,都可以通過深度學習使用不同類型的醫(yī)學數(shù)據(jù)進行分割,從而應(yīng)用于不同的放射治療適應(yīng)癥。
能夠清晰顯示軟組織的MR影像是分割腦部結(jié)構(gòu)的金標準。AKKUS等[27]回顧了涉及深度學習的眾多腦部MRI分割方法,列出了最常用的腦分割質(zhì)量定量測量方法。BREBISSON等[28]則首次使用DNN將整個大腦劃分為134個解剖區(qū)域。在基于MRI的腦腫瘤分割研究中,深度學習方法實際上可以被認為是目前腦膠質(zhì)瘤分割中最先進方法。MRI也是前列腺分割的參考影像模態(tài),因為在CT圖像中難以區(qū)分其輪廓與基部和根尖區(qū)域中的鄰近軟組織[29]。其它如乳腺組織、肝臟及肝臟病變組織在MRI上的自動分割也能夠通過深度學習網(wǎng)絡(luò)來實現(xiàn)。
盡管MR成像是放射治療中某些適應(yīng)癥器官分割的金標準,但CT仍然是主要的參考成像方式,因為它是放射治療計劃中劑量計算的參考圖像。所以,在各種解剖區(qū)域的CT圖像上開發(fā)深度學習分割方法成為近幾年來研究的熱點。ZHOU等[30]在CT圖像上對來自人體解剖結(jié)構(gòu)不同區(qū)域的19個器官進行了分割,其優(yōu)點是對所有器官使用了單一的FCN結(jié)構(gòu)。IBRAGIMOVIC等[31]利用CNN分割了9個器官,包括視神經(jīng)區(qū)域的4個結(jié)構(gòu)。經(jīng)過與現(xiàn)有三種商業(yè)軟件(VelocityAI 2.6.2,MIM 5.1.1和ABAS 2.0系統(tǒng))的比較,他們觀察到,除了視交叉和下頜下腺,深度學習方法的分割結(jié)果優(yōu)于或等于商業(yè)軟件的分割結(jié)果。FECHTER等[32]開發(fā)的3D CNN在對食管的自動分割性能上優(yōu)于所有現(xiàn)有方法。TRULLO等[33]提出了用于胸椎OAR的聯(lián)合分割的FCN框架,即心臟、食道、氣管和主動脈,通過考慮這些器官之間的關(guān)系,獲得了具競爭力的結(jié)果。因為自動分割小體積(例如視神經(jīng)、視交叉等)通常很困難,具有多尺度補?。ㄓ糜诮M織定位的大補丁和用于標記每個體素的小補?。┑?D CNN還被開發(fā)出來克服這個問題[34]。
除了針對OAR的自動分割,還不斷有研究將深度學習用于治療靶區(qū)的自動勾畫。MEN等[35]開發(fā)了一個類似于CNN的網(wǎng)絡(luò),可在CT圖像上同時分割腹部-盆腔危及器官和直腸癌的臨床靶區(qū)體積(CTV)。他們還利用端到端深度反卷積神經(jīng)網(wǎng)絡(luò)(DDNN)進行了鼻咽癌靶區(qū)分割性能的研究。
基于深度學習的自動勾畫算法以其魯棒性和靈活性顯示出巨大的潛力。同時,由于存在大量和多樣的解剖結(jié)構(gòu),在具體實踐中,每個自動分割算法都是針對特定區(qū)域或模態(tài)設(shè)計的,其對應(yīng)的自動分割模型在一個區(qū)域中能準確分割圖像,而在另一個區(qū)域中則可能并不適用。目前應(yīng)用于放療臨床工作的商用軟件中還很少包含這類算法。
精確放療的流程大致可分為如圖2所示的10個步驟,分別是臨床檢查、治療決策、3D定位影像、靶區(qū)和正常組織勾畫、計劃設(shè)計和劑量計算、治療計劃評估、劑量驗證、復(fù)位和擺位、實施治療、隨訪。醫(yī)學影像自動分割技術(shù)可以融入臨床放療流程的第3步和第4步;如果對人體任何部位的解剖結(jié)構(gòu)進行高精度自動分割只需幾秒鐘,就能夠?qū)崿F(xiàn)在線的自適應(yīng)治療技術(shù),即在第9步中增加適應(yīng)性放射放療這一治療方式。具體的融入方式包括以模塊形式集成到TPS中、獨立的圖像預(yù)處理工作站和遠程云計算服務(wù)等三種模式。
圖2 臨床放療流程示意圖Fig.2 Schematic diagram of clinical radiotherapy
通用的圖像分割工具應(yīng)該是這樣的:把任意一幅醫(yī)學圖像輸入到系統(tǒng)中,系統(tǒng)自動判斷該圖像所屬身體部位,然后自動調(diào)用針對該解剖部位的自動分割算法模型,經(jīng)過計算后自動得到高精度的區(qū)域勾畫結(jié)果,實現(xiàn)圖像的“一鍵式”自動分割功能。當把該工具附加到影像獲取設(shè)備上時,任何輸出圖像數(shù)據(jù)集中既有影像信息,又有結(jié)構(gòu)輪廓信息,然后輸入至TPS中;當在TPS系統(tǒng)中嵌入該類工具時,任何定位圖像信息在輸入系統(tǒng)后都將進行解剖結(jié)構(gòu)的自動分割功能,完成部分的靶區(qū)勾畫任務(wù);當在影像獲取設(shè)備和TPS間加入獨立的圖像預(yù)處理工作站時,包括自動分割在內(nèi)的預(yù)圖像處理就在該工作站中完成,它的輸入數(shù)據(jù)是影像獲取設(shè)備的輸出圖像數(shù)據(jù),它的輸出數(shù)據(jù)是TPS所需要的圖像和結(jié)構(gòu)輸入數(shù)據(jù)。另外,自動分割模塊還可以放在遠程醫(yī)療服務(wù)的云端虛擬工作站中,當圖像數(shù)據(jù)被上傳至云端后,通過虛擬工作站中自動分割模塊的計算處理,將自動分割的輪廓信息傳回用戶的TPS中。
然而通用圖像分割產(chǎn)品的成型還需要各方面持續(xù)的努力。在保證深度學習輸入數(shù)據(jù)高質(zhì)量的同時通過優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)層數(shù)和參數(shù)盡可能降低學習所需數(shù)據(jù)量,降低前期的數(shù)據(jù)準備工作量;并設(shè)計出將自動分割功能應(yīng)用于臨床的驗證方法及相關(guān)算法,定量驗證其可靠性、準確率和對臨床工作效率提升的影響,最終達到專家經(jīng)驗共享和提高效率的目的。
定量研究自動靶區(qū)勾畫模型對放療醫(yī)師工作效率的影響、對放療醫(yī)師靶區(qū)勾畫(勾畫認知、習慣、偏好等)可能產(chǎn)生的各種影響,對醫(yī)師間靶區(qū)勾畫的差異性改變情況,這些都需要使用科學的驗證工具,如比較輪廓相似性的重疊比較法—Dice系數(shù)(dice similarity coefficient,DSC)和距離比較法—Hausdorff距離(Hausdorffdistance,HD)參數(shù),需要在項目研究過程中分析和比較各種驗證方法的有效性和適用范圍,甚至擴展和改進這些驗證方法,將它們應(yīng)用于適當?shù)膱鼍啊?/p>
毫無疑問,自動圖像分割將在未來的臨床放射治療計劃中發(fā)揮關(guān)鍵作用,它可以大幅度地節(jié)約醫(yī)生時間和減少觀察者之間差異,并為在線自適應(yīng)治療技術(shù)的發(fā)展提供支撐。深度學習方法似乎具有解決這些問題的最大潛力。高質(zhì)量的深度學習數(shù)據(jù)和最優(yōu)的深度學習算法是研發(fā)相關(guān)醫(yī)療器械產(chǎn)品的基礎(chǔ)保證。