多視角判別度量學(xué)習(xí)的乳腺影像檢索方法

周國華， 蔣 暉， 顧曉清， 殷新春

(1.常州工業(yè)職業(yè)技術(shù)學(xué)院 信息工程系, 江蘇 常州 213164；2. 揚(yáng)州大學(xué) 信息工程學(xué)院, 江蘇 揚(yáng)州 225127；3. 常州大學(xué) 信息科學(xué)與工程學(xué)院， 江蘇 常州 213164)

1 引 言

根據(jù)《中國腫瘤登記年報》報告，2013年我國女性乳腺癌新發(fā)病例約為27.9萬, 位居女性惡性腫瘤發(fā)病首位；死亡病例約6.5萬, 位居女性惡性腫瘤死亡第五位[1-2]。但乳腺癌早期的篩查可以有效降低乳腺癌的死亡率，顯著提升患者的存活率。與其他診斷方法相比，醫(yī)學(xué)影像是診斷乳腺癌的黃金標(biāo)準(zhǔn)，例如乳腺X光、核磁共振[3]和CT掃描[4]都是乳腺癌篩查的常用影像學(xué)方法。目前，早期的乳腺癌篩查完全依賴醫(yī)師的經(jīng)驗(yàn)，決策準(zhǔn)確性在很大程度上取決于醫(yī)師的知識、經(jīng)驗(yàn)以及能獲得的信息的質(zhì)量和數(shù)量。另外，人工處理影像的方法既昂貴又耗時，尤其對經(jīng)驗(yàn)不足的醫(yī)師來說，通過分析醫(yī)學(xué)影像來診斷乳腺癌是費(fèi)力困難的。因此，在醫(yī)師的決策過程中能為他們提供知識支持的輔助技術(shù)就很有意義。隨著互聯(lián)網(wǎng)技術(shù)的普及，醫(yī)學(xué)影像數(shù)據(jù)庫規(guī)模越來越大，能夠提供給醫(yī)師的既往病例也越來越多。同時，隨著人工智能技術(shù)的迅速發(fā)展，機(jī)器學(xué)習(xí)分類方法已應(yīng)用于乳腺癌的診斷、治療和預(yù)后。例如IBM公司開發(fā)的Watson軟件被應(yīng)用于乳腺癌治療[5]。周蕾針對乳腺案例中的腫塊進(jìn)行研究，通過對兩幅不同角度乳腺視圖中可疑腫塊區(qū)域進(jìn)行配對實(shí)現(xiàn)乳腺圖像的多視角檢索[6]。Gu等人[7]提出了一種用于乳腺癌診斷的加權(quán)異類值的距離度量方法，該方法比歐氏距離能更好地同時處理連續(xù)和離散屬性，并使用一種遺傳算法來學(xué)習(xí)距離度量中涉及的屬性權(quán)重。龔敬等人[8]討論了多種人工智能技術(shù)在乳腺影像學(xué)診斷中的應(yīng)用，并對乳腺影像的人工智能發(fā)展進(jìn)行了展望。

從本質(zhì)上講，乳腺癌決策過程本身高度依賴于歷史經(jīng)驗(yàn)知識。利用基于內(nèi)容的影像檢索方法和醫(yī)學(xué)案例推理(Case-based reasoning, CBR)[9-10]在醫(yī)學(xué)診斷中比傳統(tǒng)機(jī)器學(xué)習(xí)分類技術(shù)具有技術(shù)優(yōu)勢。CBR能夠從歷史案例中檢索經(jīng)驗(yàn)和知識，這與人腦的思維過程非常相似。CBR不僅為醫(yī)生提供了一個預(yù)測，通過檢索到的類似的歷史案例，還能提高診斷的效率和準(zhǔn)確性。因此，CBR實(shí)質(zhì)上與醫(yī)師的診斷決策過程是一致的。此外，利用CBR可以開發(fā)基于知識的醫(yī)療診斷決策支持系統(tǒng)和案例解釋系統(tǒng)。醫(yī)學(xué)影像檢索是CBR系統(tǒng)的核心技術(shù)，能從醫(yī)學(xué)數(shù)據(jù)庫中檢索出與待診斷影像相類似的醫(yī)學(xué)影像。醫(yī)學(xué)影像與自然影像有很大差別，首先醫(yī)學(xué)影像的分辨率較高但絕大多數(shù)為灰度影像；其次，醫(yī)學(xué)影像的重要信息大多集中在小塊區(qū)域內(nèi)；第三，視覺相似的醫(yī)學(xué)影像之間語義內(nèi)容可能差別很大。所以常規(guī)的自然影像方法直接應(yīng)用到醫(yī)學(xué)影像時效果往往不理想。另外，醫(yī)學(xué)影像的獲取與醫(yī)療設(shè)備、測量體位直接相關(guān)。例如常規(guī)體檢時乳腺影像常采用的攝像體位是雙側(cè)乳腺內(nèi)外斜位，發(fā)現(xiàn)病變時增加頭尾位或照側(cè)位等體位。在臨床實(shí)踐中，拍攝乳腺影像需同時考慮患者身高和病變的位置，得到的乳腺影像常常拍攝側(cè)重的部分和組織。有效考慮同一目標(biāo)不同拍攝角度的乳腺影像能提高影像檢索的準(zhǔn)確性。

針對這一問題，本文提出了一種多視角判別度量學(xué)習(xí)(Multi-View Metric Learning with Fisher Discriminant Analysis, MVML-FDA)的醫(yī)學(xué)影像檢索方法，用于輔助乳腺疾病的診斷。MVML-FDA基于Fisher判別模型在多個視角之間學(xué)習(xí)魯棒的度量空間，使得相似的乳腺影像在度量空間緊密地映射，不相似的乳腺影像盡可能地彼此分離。從不同視角表征乳腺影像的綜合信息并提取潛在的描述性特征，從而提高醫(yī)學(xué)影像檢索的能力。MVML-FDA的優(yōu)點(diǎn)在于：(1) Fisher判別保持了乳腺影像在投影空間內(nèi)的語義相關(guān)和視覺相似性。(2) 帶權(quán)重的多視角模型利用多個視角間的關(guān)聯(lián)性和差異性，能充分利用每個視角特征的不同表征信息，使得提出的方法學(xué)習(xí)到的距離度量更有效。(3) 實(shí)驗(yàn)結(jié)果表明，MVML-FDA在乳腺影像數(shù)據(jù)集上取得了較好的性能，說明了該檢索方法在乳腺疾病診斷應(yīng)用中的可行性。

2 相關(guān)理論

2.1 度量學(xué)習(xí)

(1)

其中半正定的矩陣A可以分解為A=WTW，矩陣Wd×m(m≤d)稱為度量矩陣。因此，式(1)可以表示為：

(2)

因此，計(jì)算馬氏度量本質(zhì)上是學(xué)習(xí)一個映射空間，使得相似影像對輸出接近0的正值，不相似影像對輸出較大的值。

2.2 多視角學(xué)習(xí)

在實(shí)際醫(yī)學(xué)影像處理過程中，常會遇到多視角醫(yī)學(xué)影像數(shù)據(jù)，這些數(shù)據(jù)來自于不同的視角切入對同一對象進(jìn)行測量和診斷。而多視角學(xué)習(xí)[12]基于一致性原理和互補(bǔ)性原理，在學(xué)習(xí)過程中利用多個視角間的關(guān)聯(lián)性和差異性，能取得比單個視角學(xué)習(xí)更高效和魯棒的性能。目前醫(yī)學(xué)影像檢索領(lǐng)域常用的多視角方法較多地探討利用多視角技術(shù)解決特征融合的問題。如Shen等人[13]提出了一種基于查詢的醫(yī)學(xué)影像檢索的多視圖特征融合方法, 該方法通過融合用戶示例獲得多個特征，迭代地學(xué)習(xí)最優(yōu)子空間。Shen等人[14]提出了一種多視圖局部線性嵌入的醫(yī)學(xué)影像檢索方法，該方法根據(jù)局部線性嵌入準(zhǔn)則保留了每個特征空間中局部幾何結(jié)構(gòu)，并為來自不同特征空間的特征分配不同的權(quán)重。最后，采用全局坐標(biāo)對齊和交替優(yōu)化技術(shù)，從不同的特性中學(xué)習(xí)平滑的低維嵌入。Das等人[15]提出了4種不同的特征提取技術(shù)——基于二值化、基于變換、基于紋理和基于形狀的技術(shù)用于基于內(nèi)容的多視圖影像檢索。

3 多視角判別度量學(xué)習(xí)

3.1 多視角判別度量學(xué)習(xí)方法

圖1 MVML-FDA模型示意圖Fig.1 MVML-FDA multi-view learning model

(3)

(4)

(5)

(6)

(7)

(8)

3.2 方法求解

式(8)是一個非線性非凸問題，我們使用迭代方法，通過交替計(jì)算得到參數(shù)的局部最優(yōu)解。首先固定矩陣W，引入拉格朗日乘子λ，式(8)可以寫成：

(9)

(10)

經(jīng)過化簡，可得Δt的解析解:

(11)

接下來，固定Δt值更新矩陣W。式(8)可以寫成以下形式：

(12)

最優(yōu)化問題(12)可以轉(zhuǎn)化為以下問題:

(13)

算法 1 MVML-FDA. 輸入: T個視角的醫(yī)學(xué)影像,權(quán)重參數(shù)r,最大迭代次數(shù)T,最大近鄰數(shù) k 和收斂閾值ε;輸出: 投影矩陣W* Step 1:設(shè)置Δ的初始值Δ=[1/T,1/T,...,1/T], 使用式(13)計(jì)算W0;Fori = 1 , . . . , T Step 2:使用式(11)計(jì)算Δt; Step 3:使用式(13)計(jì)算Wi; Step 4:如果Wi-Wi-1<ε, 則轉(zhuǎn)向Step 5; EndStep 5:輸出最優(yōu)投影矩陣W*: W*=Wi.

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)的數(shù)據(jù)集來自于乳腺癌數(shù)字存儲庫(BCDR)數(shù)據(jù)集[16]。該數(shù)據(jù)集由葡萄牙女性患者組成，年齡范圍從28歲到82歲。BCDR由1 010例患者組成，包括3 703例MLO和CC乳房造影以及1 044例臨床確診的病變。MLO和CC影像均為灰度數(shù)字化影像，影像為720×1 167像素，灰度為256。除患者年齡和乳腺密度外，數(shù)據(jù)集還包括一組選定的二元屬性，用于指示醫(yī)生觀察到結(jié)節(jié)、鈣化和基質(zhì)變形等異常信息。因此，BCDRF01數(shù)據(jù)集的每個實(shí)例的臨床數(shù)據(jù)包括每個實(shí)例共8個屬性：與觀察到的異常相關(guān)的6個二進(jìn)制屬性、乳腺密度的序數(shù)屬性和包含研究時患者年齡的數(shù)字屬性。實(shí)驗(yàn)中選取BCDR數(shù)據(jù)庫中400對MLO和CC乳房造影，即800幅乳腺影像案例作為實(shí)驗(yàn)數(shù)據(jù)。MLO和CC分別作為多視角學(xué)習(xí)中的兩個不同的視角。在800幅影像中選擇每個視角的隨機(jī)75%數(shù)據(jù)作為訓(xùn)練影像集，用于模型的訓(xùn)練，剩下25%的數(shù)據(jù)作為查詢影像集，同一個患者的乳腺影像不會同時出現(xiàn)在訓(xùn)練影像集和查詢影像集中。整個訓(xùn)練和測試過程執(zhí)行5次，取5次的平均計(jì)算結(jié)果作為最終結(jié)果。圖2給出了實(shí)驗(yàn)中所用的CC視角和MLO視角中良性結(jié)節(jié)、惡性結(jié)節(jié)、良性鈣化和惡性鈣化示意圖。其中圖2(a)和圖2(b)來自于同一良性結(jié)節(jié)患者；圖2(c)和圖3(d)來自于同一惡性結(jié)節(jié)患者；圖2(e)和圖2(f)來自于同一良性鈣化患者；圖2(g)和圖2(h)來自于同一惡性鈣化患者。

圖2 CC視角和MLO視角中良性結(jié)節(jié)、惡性結(jié)節(jié)、良性鈣化和惡性鈣化示意圖。Fig.2 Schematic diagram of benign nodule, malignant nodule, benign calcification and malignant calcification in CC and MLO views.

4.2 實(shí)驗(yàn)設(shè)置

在MVML-FDA算法評價的實(shí)驗(yàn)中，我們設(shè)計(jì)了3種不同視角下的MVML-FDA變換方法：

4.3 特征選擇

根據(jù)參考文獻(xiàn)[16], 本文從強(qiáng)度描述、紋理描述、多尺度紋理描述和影像梯度4個方面來提取乳腺影像的特征，特征提取的詳細(xì)信息如表1所示。

表1 特征提取基本信息Tab.1 Basic information of extraction features

續(xù) 表

4.4 算法評價

使用構(gòu)造的單視角方法MVML-FDA-CC、MVML-FDA-MLO和混合單視角方法MVML-FDA-(MLO+CC)來驗(yàn)證所提多視角方法MVML-FDA的有效性。表2顯示了基于4種特征提取的4種對比算法在CAR、EER和AUC指標(biāo)上的性能比較。根據(jù)表2的結(jié)果得到以下結(jié)果:

(1) MVML-FDA-CC和MVML-FDA-MLO方法在4種特征提取方法下的CAR、EER和AUC性能均表現(xiàn)一般，其原因主要在于這2種方法均是單視角方法，雖然與MVML-FDA方法的結(jié)構(gòu)很類似，但它們均不具備不同視角的協(xié)調(diào)能力，這些方法在單視角框架下局限于樣本本身，但由于樣本之間的差異性，無法得到最優(yōu)空間投影。

(2) MVML-FDA-(MLO+CC)將MLO視角和CC視角合并為一個數(shù)據(jù)集處理，MLO視角和CC視角在此數(shù)據(jù)集中分別轉(zhuǎn)換成一個數(shù)據(jù)集子集。由于一部分MLO視角和CC視角得到的乳腺影像存在較大的差異，因此MVML-FDA-(MLO+CC)在4種特征提取方法的CAR、EER和AUC性能雖然高于MVML-FDA-CC和MVML-FDA-MLO方法，但還是明顯低于MVML-FDA方法。

(3) MVML-FDA具備多視角協(xié)同學(xué)習(xí)的能力，可以充分利用多個視角空間的信息來學(xué)習(xí)空間投影的最優(yōu)值。因此，MVML-FDA相比另3種方法有著明顯的性能優(yōu)勢。

MVML-FDA方法涉及2個參數(shù)：權(quán)重指數(shù)r和最大近鄰數(shù)k。下面我們討論參數(shù)r和k值對MVML-FDA性能的影響。圖3～4顯示了MVML-FDA方法在4種特征提取方法下不同參數(shù)r和k值下的CAR、EER和AUC的平均值。根據(jù)圖中的結(jié)果得到如下結(jié)論：

(1) 權(quán)重指數(shù)r是一個類似于模糊聚類[25-27]中模糊指數(shù)的參數(shù)，是一個“模糊化”程度的參數(shù)；權(quán)重指數(shù)r也可以看成是平滑參數(shù)，控制著不同視角在MVML-FDA方法構(gòu)建中的重要程度。從圖3中結(jié)果看出，權(quán)重指數(shù)r在乳腺影像中的敏感性較低，不同r值下CAR、EER和AUC的平均值相差不大。因此，為了加快MVML-FDA方法的訓(xùn)練，可以人工固定r的值。

表2 MVML-FDA和MVML-FDA-CC、MVML-FDA-MLO、MVML-FDA-(MLO+CC)在4種特征提取方法的CAR、EER和AUC性能(%)及其方差

Tab.2 Performance of MVML-FDA and MVML-FDA-CC，MVML-FDA-MLO，MVML-FDA-(MLO+CC) in terms of CAR，EER and AUC (%) and their variance under different feature extraction methods

特征算法CAREERAUC平均值方差平均值方差平均值方差特征1MVML-FDA-CC68.230.1736.000.1669.760.16MVML-FDA-MLO68.340.1836.060.1969.840.16MVML-FDA-(MLO+CC)71.850.1533.750.1772.370.17MVML-FDA76.830.1528.580.1577.760.16特征2MVML-FDA-CC67.990.1637.560.1768.370.19MVML-FDA-MLO68.250.1536.150.1569.020.17MVML-FDA-(MLO+CC)69.490.1535.980.1770.980.15MVML-FDA75.810.1430.900.1576.340.15特征3MVML-FDA-CC70.740.1834.960.1971.230.17MVML-FDA-MLO70.020.1835.480.1770.780.18MVML-FDA-(MLO+CC)71.850.1733.850.1672.470.17MVML-FDA77.480.1427.120.1578.290.15特征4MVML-FDA-CC72.170.1533.430.1572.960.16MVML-FDA-MLO72.000.1533.860.1472.550.15MVML-FDA-(MLO+CC)73.790.1431.910.1474.240.15MVML-FDA79.440.1525.250.1580.200.15

圖3 MVML-FDA方法在不同參數(shù)r時，基于4種特征提取方法的AUC值。Fig.3 AUC values of MVML-FDA method by using four extracting feature methods with different r

圖4 MVML-FDA方法在不同參數(shù)k時，基于4種特征提取方法的AUC值。Fig.4 AUC values of MVML-FDA method by using four extracting feature methods with different k

4.5 性能比較

對比了MVML-FDA方法與4種多視角方法GLSRM、MVU、MvCVM和AMVL在CAR、EER和AUC指標(biāo)上的性能比較。表3顯示了多種特征提取方式下的MVML-FDA和4種對比算法在CAR、EER和AUC指標(biāo)上的結(jié)果。通過表3的實(shí)驗(yàn)結(jié)果可以得到以下結(jié)論:

(1) 5種多視角方法在CAR、EER和AUC指標(biāo)上的結(jié)果均優(yōu)于表2中所示的單視角方法。說明多視角方法利用不同視角間的互補(bǔ)信息能提高醫(yī)學(xué)影像檢索的精度。

(2) 本文提出的MVML-FDA方法得到的CAR、EER和AUC均優(yōu)于另4種多視角方法。因?yàn)镸VML-FDA方法在協(xié)同學(xué)習(xí)的基礎(chǔ)上考慮了視角加權(quán)，提高了醫(yī)學(xué)影像檢索的能力。AMVL是無監(jiān)督方法，不能有效利用醫(yī)學(xué)影像的語義信息。GLSRM和MVU方法均使用歐氏距離，而對于高維數(shù)據(jù)的度量歐氏距離的效果往往不佳。MvCVM方法建立在多視角數(shù)據(jù)之間的分類間隔最大化理論上，不能充分利用同類別數(shù)據(jù)間的信息，同時MvCVM方法的逼近精度閾值也會影響算法的性能，在乳腺醫(yī)學(xué)影像上的CAR、EER和AUC性能差于MVML-FDA方法。

(3) 使用基于影像梯度的特征提取方法(特征方法4)時，所有方法均取得了比其他特征方法高的CAR、EER和AUC性能，也說明了基于影像梯度的特征提取方法比較適用于提取乳腺醫(yī)學(xué)影像的特征向量。

圖5 5種多視角方法使用特征4得到的ROC曲線比較Fig.5 Comparison of ROC curves obtained by five multi-view methods using the forth feature extraction method

為了更好地對比MVML-FDA與對比算法的性能，圖5比較了5種算法在第4種特征提取方法下得到的ROC曲線。從圖5可以看出MVML-FDA優(yōu)于另外4種多視角學(xué)習(xí)方法。實(shí)驗(yàn)結(jié)果在CAR、EER、AUC和ROC曲線4個性能指標(biāo)上取得了一致的結(jié)果，說明使用這4個指標(biāo)來評價乳腺醫(yī)學(xué)影像的搜索結(jié)果是合適的。MVML-FDA 和AMVL、GLSRM以及MVU算法采用梯度下降法求解，理論上這4種算法的時間復(fù)雜度相近。MvCVM是一種支持向量機(jī)算法，時間復(fù)雜度是訓(xùn)練樣本的立方。本文使用序列最小優(yōu)化算法，MvCVM的時間復(fù)雜度是訓(xùn)練樣本的平方。但我們注意到，AMVL、GLSRM、MVU和MvCVM的參數(shù)通過使用網(wǎng)格搜索法尋優(yōu)得到，而本文提出的MVML-FDA算法沒有需要尋優(yōu)求解的參數(shù)，所以在模型的訓(xùn)練時間上MVML-FDA是有優(yōu)勢的。

表3 不同特征提取方法下的CAR、EER和AUC性能(%)及其方差的比較

續(xù) 表

5 結(jié) 論

提出了一種適用于乳腺影像的多視角判別度量學(xué)習(xí)的醫(yī)學(xué)影像檢索方法MVML-FDA。MVML-FDA使用多視角度量學(xué)習(xí)能充分表征乳腺影像不同視角的距離度量，同時利用Fisher判別來度量乳腺影像對之間的相似性，使相似的醫(yī)學(xué)影像在度量空間緊密地映射，不相似的乳腺影像盡可能地彼此分離。真實(shí)乳腺影像數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，MVML-FDA模型有助于從乳腺影像的CC視角和MLO視角形成良好的距離度量來區(qū)分乳腺良性結(jié)節(jié)、惡性結(jié)節(jié)、良性鈣化和惡性鈣化。但應(yīng)當(dāng)指出, 本文提出的模型依然面臨進(jìn)一步需要探討的問題: 如何將MVML-FDA應(yīng)用到其他醫(yī)學(xué)影像，以及如何更有效地利用醫(yī)學(xué)影像的其他視角信息等。同時，如何將深度學(xué)習(xí)技術(shù)(如深度特征提取技術(shù))應(yīng)用到MVML-FDA也是下階段研究的方向。