任 俠 胡玉平
1(衢州職業(yè)技術(shù)學(xué)院信息工程學(xué)院 浙江 衢州 324000)2(廣東財經(jīng)大學(xué)信息學(xué)院 廣東 廣州 510320)
磁共振成像(Magnetic Resonance Imaging,MRI)技術(shù)是一種在現(xiàn)代醫(yī)學(xué)領(lǐng)域中應(yīng)用最為廣泛的成像技術(shù)[1-2]。在臨床中,基于心臟MRI數(shù)據(jù)庫的左心室分割有助于精確算心室容積、射血分數(shù)、左心室質(zhì)量和壁厚等關(guān)鍵指標,以及分析壁厚異常等情況[3-4]。傳統(tǒng)的心室分割主要依賴于醫(yī)學(xué)專家手繪與臨床實踐,不僅浪費時間,而且容易發(fā)生偏差。因此需要開發(fā)左心室自動分割方法,以便加速診斷進程。在此過程中,圖像分割[5-6]占據(jù)著非常重要的位置,其性能的優(yōu)劣直接關(guān)系著診治的效果。左心室MRI自動分割存在著左心腔異構(gòu)、心肌信號強弱變化、噪音等多個難題,使得實現(xiàn)基于MRI的心室自動分割成為一個極具挑戰(zhàn)的研究課題。
心室自動分割方法主要包括:像素分類法、圖像法、形變法、圖集模型法。像素分類法、圖像法和形變法魯棒性和精確度較低,并且需要借助廣泛的用戶交互。圖集模型法的魯棒性和精度較高,并且通過建立通用模型可以明顯減少用戶交互。然而,如何建立能夠完全包含心臟所有可能的形狀以及動態(tài)變化的模型,是一個異常復(fù)雜的問題。如果選用的數(shù)據(jù)庫較小,就會導(dǎo)致心臟分割產(chǎn)生較大偏差,當心臟的形狀超出了學(xué)習(xí)的范圍時,會使得這種方法的效率大大降低。此外,現(xiàn)有的心室分割學(xué)習(xí)方法也具有一定的局限性,如隨機植入方法等通過圖像強度將分割問題定義為分類任務(wù)。這些方法利用多個階段進行強度標準化、評估和正規(guī)化,導(dǎo)致算法的響應(yīng)速度非常慢,并會影響后續(xù)步驟的成功率。
針對上述問題,文獻[7]利用各向異性擴散方法對心臟核磁共振圖像進行濾波處理,進而利用簡化脈沖耦合深度學(xué)習(xí)提取心內(nèi)膜信息,采用形態(tài)學(xué)處理器獲取心外膜信息。文獻[8]提出了基于深度全卷積深度學(xué)習(xí)架構(gòu),同時借助端到端的模型訓(xùn)練來實現(xiàn)MRI圖像的像素級分類。文獻[9]開發(fā)了一種LV預(yù)測方法,借助深度學(xué)習(xí)技術(shù)和大規(guī)模心臟MRI數(shù)據(jù)集實現(xiàn)了LV容量的準確預(yù)測,為進一步的臨床應(yīng)用奠定了基礎(chǔ)。文獻[10]設(shè)計了兩個卷積深度學(xué)習(xí),一個用于LV定位,另一個用于確定心臟半徑,在100個數(shù)聚集上的實驗證明了所提方法的有效性。
受上述方法的啟發(fā),同時考慮到MRI在臨床中需要專家進行手動操作的事實,本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)和可變模型算法的左心室MRI全自動分割方法,獲得了較高的分割精度。其主要創(chuàng)新點為:
(1) 在左心室位置檢測中,通過引入稀疏自動編碼技術(shù)實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練,在提高數(shù)據(jù)可用性的基礎(chǔ)上,避免了過擬合,實現(xiàn)了位置的高效精確檢測。
(2) 在左心室形狀推斷中,通過搭建并訓(xùn)練堆棧稀疏編碼器來獲取左心室的形狀組合,在提高分類精度的基礎(chǔ)上簡化了計算復(fù)雜度。
(3) 在左心室圖像分割中,通過最小化能量方程將可變模型變?yōu)閯討B(tài)輪廓,在阻止輪廓的收縮或泄露的前提下,實現(xiàn)了圖像的精確分割。
實驗結(jié)果表明,提出的方法可以大幅度提高左心室MRI圖像分割準確度和魯棒性,實現(xiàn)圖像的全自動精確分割。
圖1為本文方法的步驟。首先,利用卷積網(wǎng)絡(luò)對輸入圖像進行訓(xùn)練,確定LV的位置以及包含LV的區(qū)域;其次,利用堆棧自動編碼器推斷LV的形狀,描繪LV的輪廓;最后,對推斷出的形狀進行初始化,并將其并入可變模型,實現(xiàn)圖像分割。其中,LV的輪廓定位可以減少三維重建中切片之間的偏差,每個步驟分別進行離線訓(xùn)練以獲得最優(yōu)參數(shù)值,訓(xùn)練后自動執(zhí)行圖像分割。
圖1 分割方法步驟
原始心臟MRI圖像數(shù)據(jù)庫中包括心臟及其周邊器官的信息[11],為了降低計算的復(fù)雜度,提高分割精度,需要首先確定LV及其領(lǐng)域的位置。圖2為基于卷積網(wǎng)絡(luò)的LV位置自動檢測流程。
圖2 MRI數(shù)據(jù)庫LV自動檢測流程圖
(1) 通過將原始圖像尺寸由64×64降低至32×32并作為算法輸入,可以有效降低計算復(fù)雜度。
(2) 將過濾器Fl∈R8×8,b0∈R100與輸入圖像進行卷積運算,得到卷積特征圖像。
定義灰度值圖像I:Ω→R,Ω?R2,其像素大小為64×64,坐標為[i,j],I[i,j]為像素強度。卷積特性的計算公式為:
(1)
式中:ζ∈[0,1]為特征系數(shù)。Zl[i,j]的計算公式如下:
(2)
式中:1≤i,j≤28;l=1,2,…,50;x[i,j]表示矩陣x的第i行、第j列;x[i]表示向量x的第i個元素。
(3) 利用平均采樣方法處理卷積特征圖像,此時可以得到3×3非重疊區(qū)域內(nèi)每個特征圖像的平均值,其計算公式為:
(3)
式中:1≤i1,j1≤3;ε∈[1, 2]為校正參數(shù)。
(4) 將提取的混合特性展開為向量p∈R900,通過連接具有256個輸出信號的邏輯回歸層以產(chǎn)生大小16×16的LV領(lǐng)域。
經(jīng)過以上步驟,可將大小為64×64的原始圖像降維成大小為16×16的算法輸入圖像,從而完成了圖像數(shù)據(jù)的超抽樣,進而通過中心計算將原始圖像縮減為50×50大小的鄰域。
最關(guān)鍵的為通過訓(xùn)練卷積網(wǎng)絡(luò)獲得過濾器Fl和b0等關(guān)鍵參數(shù)。通過稀疏自動編碼獲得過濾器,進而隨機初始化過濾器,并進行大量的卷積網(wǎng)絡(luò)訓(xùn)練,即可得到滿意的結(jié)果。稀疏自動編碼充當預(yù)訓(xùn)練的角色,在有限的數(shù)據(jù)下對網(wǎng)絡(luò)進行訓(xùn)練,同時可以避免過度擬合。
圖3展示了稀疏編碼器的訓(xùn)練過程。定義W1∈R50×8為隱藏層與輸出層的權(quán)值,W2∈R8×50為輸入層和隱藏層之間的權(quán)值。隱藏層、輸出層的計算公式分別為:
a(i)=f(W2·x(i)+b2)
(4)
y(i)=f(W3·a(i)+b3)
(5)
式中:f(x)=1/(1+e-x)是S型激活函數(shù);b2、b3為偏置向量;W3為校正權(quán)值。
圖3 稀疏編碼器訓(xùn)練過程
首先,稀疏編碼器通過最小化成本函數(shù)來獲取最優(yōu)解:
(6)
其次,通過最小化式(7)預(yù)訓(xùn)練輸出層:
(7)
式中:U(i)為標記數(shù)據(jù);N2為訓(xùn)練數(shù)據(jù)的數(shù)量。
最后,通過最小化式(8)調(diào)整網(wǎng)絡(luò):
(8)
圖4為基于訓(xùn)練堆棧稀疏編碼器的MRI圖像形狀推斷的原理圖。堆棧稀疏編碼器包括一個輸入層、兩個隱藏層和一個輸出層[11-12]。首先,將1.1節(jié)中得到的子圖像進行采樣、展開為向量xs∈R2 048,并將其作為輸入量送入輸入層;其次,在隱藏層通過計算h1=f(W6xs+b4)和h2=f(W5h1+b5)構(gòu)建抽象特征;最后,在輸出層計算ys=f(W6h2+b6)來產(chǎn)生二進制圖像,且這些二進制圖像在LV邊界之外都要歸零;W4∈R50×2 048、b4∈R50、W5∈R50×50、b5∈R50、W6∈R2 048×50、b6∈R2048均為可訓(xùn)練矩陣和向量。
圖4 MRI圖像形狀推斷原理
堆棧稀疏編碼器的訓(xùn)練具體分為兩個步驟:預(yù)訓(xùn)練和調(diào)整。由于在應(yīng)用中標記數(shù)據(jù)的存取受到限制,因此需要采用離散層預(yù)訓(xùn)練方法。離散層預(yù)訓(xùn)練可以阻止過度擬合,通過無標記數(shù)據(jù)層層獲得堆棧稀疏編碼器的參數(shù)W4、W5,而W6可以通過標記數(shù)據(jù)獲得。具體方法如下:
(1) 從堆棧稀疏編碼器中分離出輸入層和隱藏層H1,通過將與輸入層相同尺寸的輸出層添加到輸入層和H1,即可建成稀疏編碼器,進而在無監(jiān)督模式下對稀疏編碼器訓(xùn)練得到W4。稀疏編碼器的輸入/輸出數(shù)據(jù)是大小為50×50的子圖像,位于LV中心,從標準尺寸的訓(xùn)練圖像中提取得到。輸入圖像大小為32×32,與堆棧稀疏編碼器的輸入尺寸相匹配。完成第一個稀疏編碼器的訓(xùn)練后,其輸出層即被廢棄。稀疏編碼器中隱藏單元的輸出層用作下一個隱藏層H2的輸入。
(2) 隱藏層H1和H2從堆棧稀疏編碼器中分開,構(gòu)建第二個堆棧稀疏編碼器。對第二稀疏編碼器進行訓(xùn)練得到W5,并且此時不需要標記數(shù)據(jù)。
(3) 將隱藏層輸出作為最后一層的輸入,在監(jiān)督模式下對最后一層訓(xùn)練得到W6,通過成本函數(shù)來訓(xùn)練最后一層:
(9)
式中:L(i)∈R2 048為標記數(shù)據(jù),其為二進制圖像,由手動分割生成。
通過逐層預(yù)訓(xùn)練,為生成的參數(shù)W4、W5、W6選擇合適的初始值,并通過最小化式(10)的成本函數(shù)對搭建的結(jié)構(gòu)進行調(diào)整。
(10)
利用可變模型和推斷出的形狀組合對心臟精確分割。通過最小化能量方程將可變模型變?yōu)閯討B(tài)的輪廓,當輪廓位于實際物體的邊緣時,能量方程達到最小值。在大多數(shù)傳統(tǒng)的可變模型中,由于左心室乳頭肌的存在及其與周圍組織對比不明顯,輸出輪廓往往向內(nèi)收縮或者向外泄露。通過1.1節(jié)、1.2節(jié)的前期步驟推斷出心臟形狀,再將其作為計算的初始值,從而解決這些問題。此外,通過將推斷出的心臟形狀納入到能量方程中,也可以阻止輪廓的收縮或泄露。
定義輸入的子圖像作為Is:Ωs→R,φ(x,y)為基準水平,其中(x,y)為圖像像素坐標。如果像素在輪廓之內(nèi),則返回負值,反之則返回正值。此外,定義推斷形狀的基礎(chǔ)水平方程為φshape(x,y),能量方程為:
E(φ)=τ1Elen(φ)+τ2Ereg(φ)+τ3Eshape(φ)
(11)
式中:τ1、τ2、τ3為能量參數(shù)增益;Elen(φ)為長度能量方程;Ereg(φ)為區(qū)域能量項;Eshape(φ)為形狀能量項。
長度能量方程的表達式為:
(12)
區(qū)域能量項的表達式為:
(13)
形狀能量項的表達式為:
(14)
式中:δ(φ)、H(φ)和▽(·)分別為δ函數(shù)、Heaviside階躍函數(shù)和梯度運算函數(shù);c1和c2分別是心臟輪廓外部和內(nèi)部輸入圖像Is的平均值;τ1、τ2、τ3均為訓(xùn)練中根據(jù)經(jīng)驗得出的能力參數(shù),分別取值為τ1=1.5、τ2=1、τ3=0.5。將可變模型組合方法得出的結(jié)果與已知訓(xùn)練數(shù)據(jù)庫中相應(yīng)的圖像和標簽進行對比,并對參數(shù)τ1、τ2、τ3進行調(diào)整,以獲得最好的評估指標。
可變模型建立的目標是搜尋位于實際物體邊緣的特定輪廓(表示為C*或者φ*),該輪廓可以通過最小化能量函數(shù)來獲得:
(15)
通過式(16)的梯度下降算法求解式(15),通過將φ設(shè)置為時間的函數(shù),同時結(jié)合歐拉-拉格朗日方程,可得:
(16)
式中:Div(·)為散度因子。
在使用梯度下降算法時,首先需要通過推斷形狀得到初始化φ(0),進而更新迭代公式:
(17)
式中:γ1、γ2為迭代步長。
通過對式(17)進行迭代運算可以獲得最終的輪廓C*或者φ*。迭代停止的判別標準是檢查所得解是否穩(wěn)定,或者通過比較當前和之前迭代中輪廓不同長度來確定。
當對心臟重新構(gòu)建三維模型時,需要重新考慮圖像之間可能存在的偏差。核磁共振成像掃描時出現(xiàn)的偏差主要是由于掃描時病人的呼吸和移動造成的,如果忽略這些偏差就會在心臟重建時產(chǎn)出鋸齒狀的不連續(xù)表面,從而產(chǎn)生一定的干擾。為了解決這個問題,引入二次多項式對偏差進行估計和糾正。
(18)
(19)
通過求解二次多項式獲得xi、yi:
xi=a1i2+b1i+c1
(20)
yi=a2i2+b2i+c2
(21)
式中:a1、a2、b1、b2、c1、c2是未知參數(shù),通過求解最小均方誤差來得到:
(22)
(23)
在得到這些未知參數(shù)的估值后,使用基于線性插值的仿射變換獲得心臟輪廓,最后根據(jù)測定出來的中心坐標值即可獲得線性的輪廓堆棧。
為了驗證所提方法的有效性,在某AI挑戰(zhàn)賽的訓(xùn)練數(shù)據(jù)組中收集所有情況的圖像和輪廓,該數(shù)據(jù)庫包含30個核磁共振成像(MRI)數(shù)據(jù)庫,分成三個數(shù)據(jù)庫,每個數(shù)據(jù)庫包含10個案例,這些案例包括4個缺血性心力衰竭(SC-HF-I)、2個非缺血性心力衰竭(SC-HF-NI)、2個左心室肥大(SC-HYP)和2個正常情況(SC-N)案例[12-13]。此外,在心臟舒張末端和收縮末端中,專家對心室的手動分隔也包括在數(shù)據(jù)庫中。一個典型的數(shù)據(jù)庫可以從底部到尖端每4~8個短軸切片中包含15幀,圖像參數(shù):厚度為5毫米,圖像大小為128×128像素。利用該數(shù)據(jù)庫對本文方法進行校驗和在線評估。
在進行實驗時,需要將該數(shù)據(jù)庫分成大輪廓組和小輪廓組底部或中間附近的圖像切片屬于大輪廓,中心頂端屬于小輪廓,因為靠近頂端的輪廓要比底部的輪廓小很多,每一組分別有大約100和80幅圖像。為了擴大數(shù)據(jù)庫以便于算法的驗證,需要使用圖像轉(zhuǎn)移、圖像旋轉(zhuǎn)、更改像素強度等辦法人工擴大訓(xùn)練數(shù)據(jù)組,這些技術(shù)使得訓(xùn)練數(shù)據(jù)組增大十倍,最終每一個組中分別有1 150和950幅圖像或標簽。
由于需要學(xué)習(xí)大量參數(shù),因此深度學(xué)習(xí)網(wǎng)絡(luò)可能會出現(xiàn)一定程度的過度擬合現(xiàn)象,為了解決或防止過度擬合的問題,需要采用層預(yù)訓(xùn)練、l2規(guī)則化以及稀疏約束。雖然訓(xùn)練數(shù)據(jù)缺失是一個較為嚴重的問題,但是可以通過預(yù)訓(xùn)練的方法進行解決,該方法可以保持隱藏層較小的單元數(shù),而且不超過三層,進而保證參數(shù)的數(shù)量易于掌控。在訓(xùn)練過程中,通過將訓(xùn)練數(shù)據(jù)集分成9個訓(xùn)練主題和3個驗證主題,并借助早期停止監(jiān)控,可以阻止過度擬合,最后就可以進行交叉驗證。此外,需要將訓(xùn)練數(shù)據(jù)集人為放大。網(wǎng)絡(luò)的超參數(shù),包括層數(shù)和單元數(shù)、過濾器數(shù)、過濾池大小等,在交叉驗證過程中可以通過經(jīng)驗來確定。
至于軟硬件實驗平臺,本文選用MATLAB 2013a和聯(lián)想高精密工作站,該工作站的硬件配置為Intel(R) Xeon(R) CPU 2.6 GHz,64 GB RAM,操作系統(tǒng)為64位 Windows 10[14-15]。
為了表明所提算法的優(yōu)越性,在精度、平均垂直距離、Dice度量、豪斯多夫距離、輪廓比例和一致性等指標上,將提出的方法與專家手動標注方法進行比較。一般認為,如果平均垂直距離小于5 mm,則表明分割方法比較好。平均垂直距離是指自動分割輪廓與專家手動注釋輪廓之間的距離,取所有輪廓點的平均值,如果該值比較高,則代表兩個輪廓匹配度較低。輪廓重疊度量為Dice度量,其取值(介于0和1之間)為DM=2Aam/(Am+Aa),Aam為交集,Am為輪廓面積手動分割,Aa為輪廓面積自動分割。Dice度量取值越高,表明手動分割和自動分割之間的匹配度越好。豪斯多夫距離是指手動和自動輪廓之間最大的垂直距離。一致性系數(shù)是指未分割像素與正確分割像素數(shù)量之間的比例,定義為CC=(3DM-2)/DM。
此外,在自動和手動LV分割結(jié)果的基礎(chǔ)上,計算三個臨床參數(shù),包括舒張末期容積(EDV)、收縮末期容積(ESV)以及射血分數(shù)(EF)[16],并使用這三個指標來進行相關(guān)性和Bland-Altman分析。為了評估觀測器之間及其內(nèi)部的變化性,需要計算變異系數(shù)(即自動和手動結(jié)果之間差異標準偏差除以平均值)。
圖5展示了一個典型心臟MRI數(shù)據(jù)庫的手動及自動LV分割結(jié)果,以及重建LV室的三維圖(前部、底部、頂部)。
由于存在乳頭肌和低分辨率,導(dǎo)致LV頂部及中間的圖像切片分割結(jié)果比較復(fù)雜。圖6展示了存在擾動時,三個典型心臟MRI數(shù)據(jù)庫的手動及自動LV分割結(jié)果,自動分割結(jié)果用實線圓圈表示,專家手動分割結(jié)果用虛線圓圈表示。
圖5 心臟MRI自動與手動LV分割結(jié)果
圖6 存在擾動時心臟MRI自動與手動LV分割結(jié)果
圖7的每一行對應(yīng)一個病人/數(shù)據(jù)集,(a)、(b)、(c)分別為訓(xùn)練、在線和驗證三個階段,在每個子圖中由上至下分別為缺血性心力衰竭、非缺血性心力衰竭、LV肥大和正常四種心臟狀況。
(a)
(b)
(c)圖7 多種情況下自動與手動LV分割
表1為驗證數(shù)據(jù)集和在線數(shù)據(jù)集計算指標的平均值。每一個數(shù)據(jù)集的兩行分別對應(yīng)推斷圖像中的原始輪廓以及最終輪廓。表2為本文方法與其他方法在相同數(shù)據(jù)集中進行圖像分割時的性能比較結(jié)果。
表1 驗證算法的評價指標
表2 提出的方法與其他方法的分割性能比較
由圖5可知,在對LV從底到上進行分割時,對齊過程產(chǎn)生了一個光滑的三維 LV重建圖,圖5的第一幅圖像與實地狀況相比有一點點輕微的泄露,由于邊緣的模糊性以及在可變模型中輪廓傾向于向周圍泄露,因此這種情況也是分割中的一個關(guān)鍵問題。通過將推理圖形與可變模型相結(jié)合,可以避免該圖中的泄露情況,例如圖7(c)第一行的第一幅及第二幅圖像就避免了這一情況。圖6所示的可變模型,由于乳頭肌的存在傾向于內(nèi)向收縮,或由于分辨率較低及圖像頂端較小的對比度向外泄露,但是提出的方法均可以克服上述缺點。
表1中的指標說明推斷圖形提供了較好的原始輪廓,且準確度達98.2%(DM角度),整合后的可變模型提供了最終的輪廓,其他指標也得到了明顯的提高。由表2可見,本文方法在良好輪廓比例和一致性兩個指標上優(yōu)于其他算法,在Dice度量和平均垂直距離兩個指標上與現(xiàn)有方法相差并不大,這是因為本文方法關(guān)鍵在于以最小的復(fù)雜性實現(xiàn)較好的分割精度,并且盡可能地貼近專家手動分割效果。因此,本文方法在分割精度上可以滿足上述要求。
圖8-圖10展示了三個臨床心臟指數(shù)之間的相關(guān)性。手動和自動之間的高相關(guān)性表明提出的方法對于LV功能評估的準確性及臨床應(yīng)用性具有重大提升。
圖8 舒張末期容積(ESV)的相關(guān)性分析圖
圖9 收縮末期容積的相關(guān)性分析圖
圖10 射血分數(shù)的相關(guān)性分析圖
通過測量運行時間可以看出,本文方法可以在一個合理的時間范圍內(nèi)完成訓(xùn)練任務(wù)(該過程也可離線完成)。卷積網(wǎng)絡(luò)所需的時間最長,并且需要包含圖像過濾器的卷積。然而,可以將算法開發(fā)成在CUP平臺進行計算來縮短時間。在測試過程中,常規(guī)圖像LV分割的平均執(zhí)行時間少于0.4 s,其中大部分時間用于卷積網(wǎng)絡(luò)及可變模型。由于推斷圖形的初始化及整合,整合后的可變模型的收斂速度要快于傳統(tǒng)的可變模型。
盡管三維方法在很多醫(yī)學(xué)圖像分析中已經(jīng)非常先進,但是本文提出的方法仍然采用二維處理方法。這是因為心臟MRI固有的三個問題阻止了三維分析的進一步發(fā)展:(1) 大多數(shù)通過常規(guī)方法獲取的切片之間的差異(垂直維)相對較大,切片之間的像素強度很難準確評估。(2) 由于心臟MRI中的移動偽影也導(dǎo)致了切片之間難以對準,從而導(dǎo)致不同切片的腔中心不能在同一個位置。臨床實踐中心室分割主要用于計算臨床指標,而本文方法可以提供這些參數(shù),而且二維過程進行相應(yīng)的計算精確度更高。(3) 基于深度學(xué)習(xí)的心臟MRI分割的主要缺點是缺少足夠的訓(xùn)練及驗證數(shù)據(jù),對于深度學(xué)習(xí)網(wǎng)絡(luò)而言,更多數(shù)據(jù)意味著更好的普適性,并可削弱過度擬合問題。然而目前并沒有相應(yīng)的分析方法來設(shè)計深度學(xué)習(xí)網(wǎng)絡(luò)中的超參數(shù),一般只能依賴經(jīng)驗值。
本文提出了一種左心室自動分割方法,通過將分割問題分解為基于卷積神經(jīng)網(wǎng)絡(luò)的定位問題、基于堆棧稀疏編碼器的圖形推理問題以及基于可變模型的圖像分割,提高了左心室圖像分割的邏輯性與精度。實驗結(jié)果表明,本文方法具有較高的分割精度。
未來將進一步研究基于深度學(xué)習(xí)的左心室圖像分割方法,借助深度學(xué)習(xí)方法超強的特征提取能力來進一步優(yōu)化定位、推理與分割問題。