基于雙層回歸森林模型的頭影測量圖像結(jié)構(gòu)特征點自動定位

秦 臻， 戴修斌， 謝理哲

1.南京郵電大學(xué)通信與信息工程學(xué)院，南京210003

2.南京郵電大學(xué)地理與生物信息學(xué)院，南京210023

3.南京醫(yī)科大學(xué)口腔疾病江蘇省重點實驗室，南京210096

X射線頭影測量圖像分析技術(shù)是現(xiàn)代口腔正畸、正頜治療和頜面部手術(shù)的基礎(chǔ)[1].該技術(shù)首先標(biāo)記出X 射線頭影測量圖像中牙頜及顱面的19 個結(jié)構(gòu)特征點位置，然后測量并計算這些標(biāo)志點之間的角度、距離或比例，再與正常人相關(guān)數(shù)據(jù)進(jìn)行分析比對以擬定治療計劃[2-6].由此可見，結(jié)構(gòu)特征點的定位準(zhǔn)確率對口腔疾病的臨床診斷、治療、手術(shù)決策有著重要的影響.

口腔臨床通常以醫(yī)生手動標(biāo)記方式定位X射線頭影測量圖像中的結(jié)構(gòu)特征點，然而這種定位方式不僅費時費力，而且醫(yī)生臨床經(jīng)驗、個人精力和所受壓力的差異性也會直接影響到結(jié)構(gòu)特征點定位的準(zhǔn)確性[7].因此，發(fā)展準(zhǔn)確的X射線頭影測量圖像結(jié)構(gòu)特征點自動定位方法具有重要的臨床價值.

目前，學(xué)者們已開始關(guān)注X射線頭影測量圖像中結(jié)構(gòu)特征點的自動定位問題.例如：文獻(xiàn)[8]基于隨機森林模型的相似圖譜估計結(jié)構(gòu)特征點可能位置；文獻(xiàn)[9]從圖像中獲得Haar-like特征并訓(xùn)練出關(guān)于特征點的隨機森林（random forest, RF）分類器用于X射線頭影測量圖像中結(jié)構(gòu)特征點的自動定位，然后采用游戲最優(yōu)化方法（game-theoretic optimization, GTO）達(dá)成了外觀模型和形狀模型的一致性，最后按照獲得的結(jié)構(gòu)特征點進(jìn)行測量分析；文獻(xiàn)[10]結(jié)合隨機森林方法和稀疏形狀結(jié)構(gòu)訓(xùn)練出可以定位結(jié)構(gòu)特征點的回歸預(yù)測模型；文獻(xiàn)[11]將基于隨機森林的回歸投票方法和局部條件模型相結(jié)合并提出了一種X射線頭影測量結(jié)構(gòu)特征點的自動定位系統(tǒng).

為了進(jìn)一步提高定位準(zhǔn)確率，本文提出了基于上下文感知雙層回歸森林模型的X射線頭影測量圖像結(jié)構(gòu)特征點自動定位方法.該方法首先以訓(xùn)練圖像中采樣點的外觀特征及采樣點到當(dāng)前目標(biāo)特征點的偏移向量為輸入，訓(xùn)練第1 層回歸森林模型；然后將第1 層回歸森林模型作用于訓(xùn)練圖像，從而獲得目標(biāo)特征點的偏移向量和偏移距離圖；接著從偏移距離圖中提取采樣點的上下文特征，并結(jié)合已有的外觀特征訓(xùn)練獲得第2層回歸森林模型.當(dāng)獲得新的X射線頭影測量圖像時，將訓(xùn)練好的兩層回歸森林模型依次作用于待檢測圖像，即可獲得圖像中每個像素關(guān)于目標(biāo)特征點的偏移向量；最后利用回歸投票方法[12]即可從偏移向量中計算出該特征點的坐標(biāo).為了提高定位效率和準(zhǔn)確率，本文還采用多分辨率方式進(jìn)行模型訓(xùn)練和目標(biāo)特征點定位.

1 方法介紹

本文提出的基于上下文感知雙層回歸森林模型的X射線頭影測量圖像結(jié)構(gòu)特征點自動定位方法主要分為訓(xùn)練階段和測試階段兩部分，其總體流程如圖1 所示.在訓(xùn)練階段，針對每個目標(biāo)特征點分別采用多分辨率方式訓(xùn)練基于上下文感知雙層回歸森林模型的檢測器；在測試階段，將已訓(xùn)練的檢測器作用于新獲得的待檢測圖像，生成圖像中每個像素關(guān)于目標(biāo)特征點的坐標(biāo)偏移向量后利用回歸投票算法獲得目標(biāo)點的坐標(biāo).

1.1 訓(xùn)練上下文感知雙層回歸森林模型

本文通過訓(xùn)練上下文感知雙層回歸森林模型來獲得特征點檢測器.針對某一個目標(biāo)特征點的檢測器訓(xùn)練包括以下步驟：

步驟1從訓(xùn)練圖像中隨機選取N個采樣點.

步驟2計算每個采樣點的隨機Haar-like 特征作為該點外觀特征，并將隨機Haar-like特征定義為[13]

式中，PI(X)表示圖像I 中以采樣點X 為中心點的圖像塊，Z 表示Haar-like 特征二維平面函數(shù)的數(shù)量，ph∈{?1,1}表示第h 個二維平面函數(shù)的極性, ah∈R2表示第h 個二維平面函數(shù)的中心位置，sh表示第h 個二維平面函數(shù)的尺寸.改變Z、ph、ah、sh這4個參數(shù)可以產(chǎn)生一系列隨機Haar-like 特征，如圖2 所示.

圖1 本文方法流程圖Figure 1 The flowchart of the proposed method

圖2 本文所用Haar-like特征Figure 2 Haar-like features used in this paper

步驟3以采樣點的隨機Haar-like 特征及采樣點到目標(biāo)特征點的坐標(biāo)偏移向量為輸入訓(xùn)練第1 層回歸森林模型，使得該模型能夠?qū)W習(xí)像素點外觀特征和該點到目標(biāo)特征點的坐標(biāo)偏移向量之間的非線性連接.

步驟4將訓(xùn)練獲得的第1 層回歸森林模型作用于訓(xùn)練圖像，以便預(yù)測訓(xùn)練圖像每個像素到目標(biāo)特征點的坐標(biāo)偏移向量，再用L2 范數(shù)從坐標(biāo)偏移向量中計算得到偏移距離.對于二維坐標(biāo)偏移向量w = [w1, w2]，基于L2 范數(shù)的偏移距離為一旦計算出每個像素到目標(biāo)特征點的偏移距離，即可形成每幅訓(xùn)練圖像對應(yīng)的第1 層偏移距離圖，如圖4 中的(a)和(b)所示；

步驟5利用式(1)從第1 層偏移距離圖中計算采樣點的上下文特征，并將其與步驟2 獲得的采樣點外觀特征組合后作為新的輸入訓(xùn)練第2 層回歸森林模型；然后將訓(xùn)練好的第2 層回歸森林模型作用于訓(xùn)練圖像，即可估計出訓(xùn)練圖像中每個像素到目標(biāo)特征點的二維坐標(biāo)偏移向量.

通過L2 范數(shù)可將步驟5 獲得的坐標(biāo)偏移向量轉(zhuǎn)換成第2 層偏移距離圖，如圖3 中的(c)和(d)所示.分別比較圖3 中的(a)和(c)、圖3 中的(b)和(d)可以發(fā)現(xiàn)：與第1 層偏移距離圖相比，加入上下文特征后獲得的第2 層偏移距離圖質(zhì)量得到了明顯的改善.

所有19 個目標(biāo)特征點的檢測器均可按照以上訓(xùn)練步驟獲得.

圖3 不同特征點的第1 層和第2 層偏移距離圖對比Figure 3 Comparison between the first-layer and the second-layer deviation distance maps for the two different landmarks

1.2 特征點定位

使用訓(xùn)練好的檢測器即可定位新獲得X 射線頭影測量圖像中的特征點.首先，根據(jù)式(1)計算待檢測圖像中每個像素點的外觀特征；然后將這些外觀特征作為輸入，從而使第1層回歸森林模型輸出所有像素點關(guān)于當(dāng)前目標(biāo)特征點的第1 層坐標(biāo)偏移向量；接著從L2 范數(shù)計算得到的第1 層偏移距離圖中提取上下文特征，并將這些特征和已獲得的外觀特征一起作為第2 層回歸森林的輸入數(shù)據(jù)，進(jìn)一步得到第2 層坐標(biāo)偏移向量；最后用回歸投票方法[13]求得目標(biāo)特征點的坐標(biāo).

1.3 基于多分辨率的模型訓(xùn)練和特征點定位

為了減少計算時間并提高檢測準(zhǔn)確率，可以借助多分辨率方式實現(xiàn)1.1 和1.2 節(jié)中所述模型訓(xùn)練和特征點定位.對于多分辨率模型訓(xùn)練而言，在最低分辨率下進(jìn)行模型訓(xùn)練時，采樣點將從整幅圖像范圍內(nèi)選??；隨著圖像分辨率的逐漸升高，當(dāng)前分辨率下用于訓(xùn)練的采樣點只從上一個較低分辨率圖像所獲目標(biāo)特征點位置附近選取.當(dāng)基于多分辨率的訓(xùn)練過程結(jié)束時，可以針對每一個結(jié)構(gòu)特征點獲得一系列不同分辨率下的檢測器.

在測試初始階段，根據(jù)訓(xùn)練階段設(shè)定的不同分辨率對待定位圖像進(jìn)行重采樣；然后將不同分辨率下的檢測器作用于相應(yīng)分辨率下的重采樣圖像，可獲得不同分辨率下所有像素點關(guān)于當(dāng)前目標(biāo)點的坐標(biāo)偏移向量.在最低分辨率情況下，本文利用回歸投票方法使得重采樣圖像中每一像素都能給可能的目標(biāo)點所在位置投票，則得票最多的像素點即為最低分辨率下的目標(biāo)特征點；而在更高分辨率下，并不是測試圖像中所有像素均參與回歸投票, 而只有從上一較低分辨率條件下獲得特征點位置附近的像素點才參與.

采用多分辨率的方式可以避免圖像中遠(yuǎn)離目標(biāo)特征點的像素參與回歸投票過程，不但提高了計算效率，而且減少了無關(guān)像素對定位結(jié)果的干擾.

2 實驗結(jié)果和討論

本文所用實驗數(shù)據(jù)來自2015年IEEE ISBI 公共數(shù)據(jù)集[15]，該數(shù)據(jù)集包含訓(xùn)練和測試圖像各150 幅，每幅圖像的像素尺寸為0.1 mm×0.1 mm，圖像大小為1 935×2 400.從訓(xùn)練圖像中選取50 幅圖像作為訓(xùn)練集，從測試圖像中選取100 幅圖像作為測試集.實驗數(shù)據(jù)中所用19個結(jié)構(gòu)特征的位置和名稱分別如圖4 和表1 所示.

圖4 X 射線頭影測量圖像中的結(jié)構(gòu)特征點Figure 4 Anatomical landmarks in a cephalometric X-Ray image

實驗中所用參數(shù)設(shè)置如下：回歸森林算法所用決策樹數(shù)目為100，每棵決策樹的最大深度為15，每個葉節(jié)點中的最大訓(xùn)練樣本為5，每個采樣點的特征數(shù)設(shè)為1 000.設(shè)Haar-like 特征二維平面函數(shù)的數(shù)量Z 為{1, 2}，尺寸sh設(shè)為{3,5}，圖像塊PI大小等于30×30.

為了定量評估特征點定位精度，本節(jié)將采用通用的兩組評價標(biāo)準(zhǔn).第1 組評價標(biāo)準(zhǔn)為平均徑向誤差（mean radial error, MRE）和標(biāo)準(zhǔn)差（standard deviation, SD）[16]，可分別定義為

表1 X 射線頭影測量圖像中結(jié)構(gòu)特征點的描述Table 1 Description of anatomical landmarks in a cephalometric X-Ray image

式中，Ri表示第i 個圖像檢測結(jié)果與真實值的徑向誤差，N 表示測試圖像數(shù)量.

第2 組評價標(biāo)準(zhǔn)是檢測成功率（uccess detection rate, SDR），定義為[16]

式中，Ld和Lr分別表示檢測出的特征點及其對應(yīng)的真實點；b 為誤差允許范圍值，包括2.0 mm、2.5 mm、3.0 mm、4.0 mm；M 表示已檢測出的特征點總數(shù)；#{θ}表示符合條件θ的已檢測點數(shù)目.

圖5 給出部分測試圖像的結(jié)構(gòu)特征點自動定位結(jié)果（藍(lán)色標(biāo)記點）以及對應(yīng)的真實位置（紅色標(biāo)記點）.從圖5 中可以看出，本文方法所獲結(jié)果雖然不能與真實位置完全重合，但其定位結(jié)果與真實位置偏差較小.

為了定量評價本文方法的性能，分別給出了使用本文方法對100 幅測試圖像中19 個結(jié)構(gòu)特征點定位結(jié)果的平均徑向誤差值和平均標(biāo)準(zhǔn)差，如圖6 和7 所示.從這2 幅圖中可以看出：對于所有結(jié)構(gòu)特征點，本文方法所獲結(jié)果的平均徑向誤差不超過4 mm，平均標(biāo)準(zhǔn)差均小于2.5 mm.當(dāng)誤差允許范圍值分別為2.0 mm、2.5 mm、3.0 mm、4.0 mm 時，100 幅測試圖像中所有結(jié)構(gòu)特征點定位結(jié)果的平均檢測成功率如圖8 所示.從圖8 中可以看出：誤差允許范圍4.0 mm 對應(yīng)的平均檢測成功率為82.05%，也就是說本文方法所得結(jié)果中誤差小于4 mm 所占的比例不小于82%.圖5～8 的實驗結(jié)果表明，采用本文方法不但能有效地實現(xiàn)X射線頭影測量圖像中結(jié)構(gòu)特征點的自動定位，而且能獲得較高的定位準(zhǔn)確率.

圖5 部分測試圖像的特征點定位結(jié)果及其對應(yīng)的真實位置Figure 5 The detected landmarks and their corresponding real positions in some testing images

圖6 100 幅測試圖像特征點定位結(jié)果的平均徑向誤差值Figure 6 The mean radial errors of the detected landmarks in 100 testing images

圖7 100 幅測試圖像特征點定位結(jié)果的平均標(biāo)準(zhǔn)差值Figure 7 The average standard deviation of the detected landmarks in 100 testing images

圖8 100 幅測試圖像特征點定位結(jié)果的平均檢測成功率Figure 8 The average success detection rates of the detected landmarks in 100 testing images

圖9 和10 比較了本文方法與Chu[11]、Chen[17]、Mirzaalian[9]等方法所得到的結(jié)果，其中圖9 給出了本文方法與其余3 種方法所得結(jié)果的平均檢測成功率.從圖9 中可以看出：當(dāng)誤差允許范圍分別為2.0 mm、2.5 mm、3.0 mm 時，本文方法所得結(jié)果的平均檢測成功率與其他方法相比并不占優(yōu)；但是當(dāng)誤差允許范圍為4.0 mm 時，本文方法所得結(jié)果的平均檢測成功率高于其他3 種方法.圖10 給出了本文方法與其余3 種方法所得結(jié)果的平均徑向誤差，可以看出本文方法和Chu 方法對大部分特征點定位結(jié)果的平均徑向誤差均超過2.0 mm，而Chen 和Mirzaalian 等方法雖然有部分特征點（例如第7～9 個特征點）定位結(jié)果的平均徑向誤差小于2.0 mm.但是Chu、Chen 和Mirzaalian 等方法所得結(jié)果的平均徑向誤差波動較大，對第4 個和第10 個特征點定位結(jié)果的平均徑向誤差已分別超過5.0 mm 和4.0 mm，尤其是Mirzaalian方法對第4 個特征點定位結(jié)果的平均徑向誤差甚至接近6.0 mm.相比而言，本文方法對所有目標(biāo)特征點定位結(jié)果的平均徑向誤差都集中在2.0～4.0 mm 范圍內(nèi)，且誤差值波動較小.這說明本文方法雖然對部分特征點的定位精度并非最高，但是從整體來看其定位精度最穩(wěn)定.

圖9 本文方法定位結(jié)果的平均檢測成功率與其他方法的比較Figure 9 The comparison of average success detection of the detected landmarks obtained by our method and the other ones

圖10 本文方法定位結(jié)果的平均徑向誤差與其他方法的比較Figure 10 The comparison of mean radial errors of the detected landmarks obtained by our method and the other ones

3 結(jié) 語

本文提出了一種基于上下文感知雙層模型的X射線頭影測量圖像結(jié)構(gòu)特征點自動定位方法.該方法首先從訓(xùn)練圖像中提取外觀特征，并以此外觀特征訓(xùn)練第1 層回歸森林模型；然后利用第1 層回歸森林模型生成偏移距離圖，并從中提取上下文特征；接著將上下文特征和外觀特征結(jié)合訓(xùn)練第2 層回歸森林模型.將訓(xùn)練好的模型作用在待檢測圖像上獲得針對目標(biāo)特征點的坐標(biāo)偏移向量后，可使用回歸投票的方法求得目標(biāo)特征點的坐標(biāo).本文方法將圖像中蘊含的上下文信息和外觀信息相結(jié)合，實現(xiàn)了X射線頭影測量圖像中結(jié)構(gòu)特征點的自動定位，并借助多分辨率的方法達(dá)到了提高特征點自動定位效率和計算速度的目的.實驗結(jié)果表明，本文方法能自動定位X 射線頭影測量圖像中的結(jié)構(gòu)特征點，相比于其他自動定位方法，本文方法的總體性能略優(yōu)且穩(wěn)定性較好.