結(jié)合圖像分割和多特征融合識別乳腺鉬靶圖像

章鳴嬛 肖勤 劉文堅 陳瑛 張璇 顧雅佳

1上海杉達(dá)學(xué)院大數(shù)據(jù)分析與處理研究中心201209；2復(fù)旦大學(xué)附屬腫瘤醫(yī)院放射診斷科，上海200032；3澳門城市大學(xué)人文社會科學(xué)學(xué)院999078

0 引言

乳腺癌是女性最常見的惡性腫瘤之一，其死亡率高居女性癌癥的第二位。統(tǒng)計數(shù)據(jù)顯示，全球每年有超過50萬女性死于乳腺癌，超過120萬女性患乳腺癌[1]。中國抗癌協(xié)會的統(tǒng)計結(jié)果顯示，我國乳腺癌發(fā)生率以每年3%的速率遞增，主要城市女性居民的乳腺癌發(fā)病率10年間升高了37%。

目前，乳腺鉬靶X線攝影技術(shù)（mammography）是首選的用于乳腺癌早期發(fā)現(xiàn)和診斷的普查方法[2]，是針對早期乳腺癌的最有效檢查手段。乳腺圖像報告和數(shù)據(jù)系統(tǒng)（breast imaging reporting and data system，BI-RADS）是美國放射學(xué)會推薦的一種乳腺圖像報告診斷標(biāo)準(zhǔn)。在2013年最新修訂的第五版BIRADS 中，共包括 6 個類別（BIRADS1～BIRADS6）[3]，其中滿足第4類（BI-RADS4）的受檢者，其罹患惡性乳腺腫瘤的可能性為3%～94%。數(shù)字鉬靶X線圖像數(shù)據(jù)庫（the digital database for screening mammography，DDSM）是美國佛羅里達(dá)大學(xué)開發(fā)的用于乳腺癌篩查的圖像數(shù)據(jù)庫，其中包含超過2 000個病例的圖像數(shù)據(jù)，并根據(jù)診斷結(jié)果將這些圖像分為惡性病變、良性病變、良性且無需復(fù)診、正常4個類別。

圖像分割是圖像處理與分析的關(guān)鍵步驟，也是對圖像進(jìn)行特征提取、參數(shù)選擇和模式識別的重要基礎(chǔ)與前提。由于DDSM中的鉬靶圖像空間分辨率較高，且圖像中存在大量無效區(qū)域，并不適合直接對其進(jìn)行處理和識別。因此，應(yīng)首先從這些圖像中提取出感興趣區(qū)域（region of interest，ROI），較常用的ROI劃分法有閾值分割、區(qū)域分割、邊緣分割、聚類分割和模型分割等[4]。但這些方法均不能很好地用于DDSM中鉬靶圖像的分割。為此，本研究中提出了基于坐標(biāo)匹配和逐行逐列掃描切分子圖的方法，以有效解決上述問題。

眾多研究者將計算機輔助檢測（computer-aided detection，CAD）用于對醫(yī)學(xué)圖像的研判。1999年，Penareyes等[5]將模糊系統(tǒng)和遺傳算法相結(jié)合，并用于乳腺腫瘤識別。2003年，Abonyi等[6]通過構(gòu)建有監(jiān)督聚類模型對乳腺腫瘤數(shù)據(jù)集進(jìn)行分類。2008年，Lin等[7]利用粒子群算法尋找支持向量機（support vector machines，SVM）最佳參數(shù)的算法并用于乳房腫塊的識別，其準(zhǔn)確率相較于同類分類器有較大提升。2014年，Dheeba等[8]設(shè)計了基于粒子群優(yōu)化（particle swarm optimization，PSO）算法的小波神經(jīng)網(wǎng)絡(luò)，用于識別乳腺腫瘤數(shù)據(jù)。

本研究中，首先對鉬靶圖像進(jìn)行ROI提取，并切分成子圖；再利用機器學(xué)習(xí)算法對試驗對象進(jìn)行分類。驗證結(jié)果表明，所提出的分類器具有良好的性能，可為臨床醫(yī)生的診斷提供輔助依據(jù)，并為細(xì)分BI-RADS4標(biāo)準(zhǔn)，進(jìn)一步提升其診斷準(zhǔn)確性奠定基礎(chǔ)。

1 數(shù)據(jù)采集

試驗所用乳腺鉬靶X線圖像均來源于DDSM。乳腺癌的X線圖像表現(xiàn)主要為鈣化（calcification）、腫塊陰影（mass）及結(jié)構(gòu)紊亂（architectural distortion）3類[9]。成簇微小鈣化灶是乳腺癌的重要X線圖像征象，故檢測和識別乳腺鉬靶X線圖像中的鈣化灶是乳腺癌篩查CAD系統(tǒng)的研究熱點[10]。在鈣化灶中，呈簇狀分布的多形性鈣化灶較為常見[11]。因此，選擇DDSM中分類為BI-RADS4，且病灶表現(xiàn)為簇狀分布多形性鈣化的40例鉬靶圖像數(shù)據(jù)為研究對象，其中包括已被病理證實為良性和惡性的病例各20例。每例圖像數(shù)據(jù)中均包含通過頭尾位（craniocaudal，CC）和內(nèi)外斜位（mediolateral oblique，MLO）2 種方式采集的圖像。

DDSM中的每幅圖像均包含了乳腺鉬靶原圖（簡稱“原圖”）和經(jīng)過降采樣后的圖像（簡稱“縮略圖”）?？s略圖中已勾畫出病灶區(qū)域，但其對原圖進(jìn)行了降采樣，分辨率較低，信息損失較多，無法直接用于處理和分析。原圖尺寸較大，單張圖像的大小可達(dá)幾十兆字節(jié)，但其中存在大量無效區(qū)域且并未標(biāo)注病灶區(qū)域，同樣無法直接對其進(jìn)行處理和分析。綜上，可根據(jù)縮略圖上的病灶區(qū)域的坐標(biāo)位置，定位出原圖中的病灶位置，從而完成ROI的初步分割。

2 試驗設(shè)計

2.1 圖像分割

2.1.1 ROI定位

在縮略圖上進(jìn)行縱、橫2個方向的遍歷掃描，當(dāng)遇到紅色像素點時，就記錄該點的位置坐標(biāo)。此后，根據(jù)若干相關(guān)的像素點得到病灶區(qū)域的外接矩形，包括該外接矩形左上角A和右下角B點的坐標(biāo)。利用A和B點的坐標(biāo)位置，即可確定原圖中的病灶區(qū)域（ROI）。（圖 1）

圖1 ROI定位過程

如圖1所示，MNPQ是縮略圖上已由醫(yī)生標(biāo)記的不規(guī)則病灶區(qū)域，ACBD為該區(qū)域的外接矩形。設(shè)A點的坐標(biāo)為（xA，yA），病灶區(qū)域的高和寬分別為h和 w，則 B 點的坐標(biāo)可表示為（xA＋w，yA＋h）。在遍歷過程中，當(dāng)程序檢測到某像素點的三原色（redgreen-blue，RGB）值在（255，0，0）附近時，便記錄該點的位置坐標(biāo)，將其橫、縱坐標(biāo)分別寫入列表x_list和 y_list。因此，x_list中的元素至少包括[xM，xN，xP，xQ]，y_list中的元素至少包括[yM，yN，yP，yQ]。因此，A點和B點的坐標(biāo)又分別進(jìn)一步表示為[min（x＿list），min（y＿list）]和[max（x＿list），max（y＿list）]。由縮略圖上A、B點的坐標(biāo)，即可對照到原圖上截取出ROI（圖2）。如圖2C所示，雖然ROI中仍存在部分無效區(qū)域，但已可較容易地找到鈣化點位置。利用該方法可批量提取所有圖像的ROI。

2.1.2 子圖切分

因為提取到的ROI中仍存在部分無效區(qū)域，需進(jìn)行進(jìn)一步處理。如圖3所示，以坐標(biāo)原點O為起始點逐行、逐列掃描ROI，并以固定的尺寸來切分ROI。圖3中實線框內(nèi)為首次切分ROI后得到的切分子圖，虛線框內(nèi)表示右移64 px（像素）后得到的切分子圖，點線框內(nèi)表示下移64 px后得到的切分子圖。依次逐行、逐列掃描所有圖像的ROI完成切分。

分別使用 64px×64px、128px×128px和 256px×256 px 3種尺寸，對ROI區(qū)域進(jìn)行了切分。驗證結(jié)果表明，切分尺寸為64 px×64 px時，由于切分尺寸較小，導(dǎo)致病灶所占據(jù)的比例過大，特征反而不顯著，醫(yī)生難以從較小尺寸的圖像中準(zhǔn)確分辨出有效區(qū)域；256 px×256 px又過大，當(dāng)病灶區(qū)面積小于256 px×256 px時，無法實現(xiàn)ROI的有效切分；切分尺寸為128 px×128 px時效果最佳。因此，使用128 px×128 px的切分尺寸來批量切分所有圖像的ROI。

最終，一幅原圖可能被切分出若干張包含有鈣化點病灶的子圖。在放射科醫(yī)生的指導(dǎo)下，挑選出含有較明顯病灶（20%～35%）的子圖。在進(jìn)一步篩選子圖時需考慮：若病灶特征過于明顯，則在后續(xù)分類識別時可能會出現(xiàn)過擬合現(xiàn)象，即分類器對訓(xùn)練集性能較好，而對測試集的性能卻較差。因此，在選擇切分后的子圖時，應(yīng)加入若干包含殘缺病灶的子圖，以增強分類器的泛化性能。

依據(jù)上述思路和方法，共采集有效子圖（學(xué)習(xí)樣本）1 212張，其圖像尺寸均為128 px×128 px。所有學(xué)習(xí)樣本中，包含良性病灶子圖584張，惡性病灶子圖628張。為保證良、惡性病灶子圖的數(shù)量基本均衡，對其中24例良性子圖進(jìn)行了數(shù)據(jù)增強。最終得到有效學(xué)習(xí)樣本1 236張，其中包含良性病灶子圖608張，惡性病灶子圖628張。

圖3 逐行、逐列掃描并切分感興趣區(qū)域（ROI）

圖2 從乳腺鉬靶原圖中截取感興趣區(qū)域（ROI）的過程

2.2 特征工程

特征工程又稱為變量選擇、屬性選擇或變量子集選擇[12]，是在模型構(gòu)建中，選擇相關(guān)特征并構(gòu)成特征子集的過程。在利用機器學(xué)習(xí)進(jìn)行分類識別前，首先需要提取子圖的特征參數(shù)。分類器的性能取決于特征參數(shù)的提取和優(yōu)化。通?？捎眯〔ㄗ儞Q[13]、Gabor濾波[14]和灰度共生矩陣[15]等方法進(jìn)行特征提取，盡管這些方法提取圖像特征的原理不同，但所提取的特征均是從不同角度來表征同一幅圖像。因此，將上述3種算法所提取的特征進(jìn)行融合，嘗試尋求最佳的參數(shù)集合。

二維小波變換法適于提取圖像的紋理特征。因此，基于單層小波變換或二層小波變換，分別提取學(xué)習(xí)樣本的小波特征參數(shù)，每種小波變換均提取了四階小波參數(shù)，每階提取8個系數(shù)，共計32個參數(shù)，包括低頻水平方向的系數(shù)、高頻水平方向的系數(shù)、高頻垂直方向的系數(shù)和高頻對角方向的系數(shù)等。基于Gabor濾波方法所得的參數(shù)為0°、22.5°、45°、67.5°、90°、112.5°、135°、157.5°等 8 個方向上的均值和方差，共計16個參數(shù)?；诨叶裙采仃嚪椒ㄋ玫膮?shù)為對比度、相關(guān)性和能量，共計3個參數(shù)。另外，提取學(xué)習(xí)樣本整幅圖像的均值和標(biāo)準(zhǔn)差。共計提取53個特征參數(shù)，其中單層小波變換和二層小波變換法為32個，Gabor濾波法為16個，灰度共生矩陣法3個，整幅圖像的均值1個，整幅圖像的方差1個。

由于參數(shù)的數(shù)量較多，為降低分類器的復(fù)雜度，故使用靈敏度分析進(jìn)行參數(shù)篩選。設(shè)初步確定的一組參數(shù)解記作 X=和 F（x*），且滿足優(yōu)化約束條件。對這些參數(shù)進(jìn)行攝動，即每次改變一個參數(shù)并保持其他參數(shù)不變，再計算目標(biāo)函數(shù)F（xi）和約束函數(shù)值gu（x）。xi（i＝1，2，…n）攝動對目標(biāo)函數(shù)會有不同程度的影響，通過比較Si的絕對值就可得出參數(shù)對全局的影響程度。對于目標(biāo)函數(shù)而言，有

通過訓(xùn)練一個背向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)模型，根據(jù)攝動對分類器特征參數(shù)的影響分析各特征參數(shù)的權(quán)重。對每個特征參數(shù)進(jìn)行權(quán)重標(biāo)定，權(quán)重的絕對值越大，表明該特征參數(shù)的重要性越高，其對分類器性能的影響越大。此外，可通過剔除靈敏度絕對值較小的特征參數(shù)，對特征參數(shù)集進(jìn)行降維，以達(dá)到優(yōu)化分類器的作用。

2.3 分類器設(shè)計

為提升分類器的性能，使用基于集成學(xué)習(xí)的方法，對多項式核SVM、隨機森林和邏輯（logistic）回歸分類器進(jìn)行投票集成，其中投票集成方法為軟投票（soft-voting）。軟投票的過程可描述為：以所有分立分類器預(yù)測樣本為某一類別的概率的均值為標(biāo)準(zhǔn)，概率最高的類型即為最終預(yù)測結(jié)果。其算法原理為

式中：wi是 hi的權(quán)重，通常 wi≥0=1。在軟投票方式下∈[0，1]相當(dāng)于對后驗概率P（cj|x）的一個估計，亦即基于“類概率”的投票。

此外，分別使用高斯核SVM分類器、多項式核SVM分類器、多層感知機（multi-layer perceptron，MLP）分類器、決策樹分類器、Logistic回歸分類器驗證集成分類器的性能。定義測試集上的靈敏度（sensitivity）、特異度（specificity）和準(zhǔn)確率（accuracy）作為分類器的評價指標(biāo)[16]。其中，靈敏度是分類器正確識別出惡性病例的比率，特異度是分類器正確識別出良性病例的比例，準(zhǔn)確率是指分類器正確識別出所有病例的比率。反映分類器評價指標(biāo)的混淆矩陣見表1。

表1 反映分類器評價指標(biāo)的混淆矩陣

靈敏度、特異度和準(zhǔn)確率的計算方法為：靈敏度=TP×100%/（TP+FN）；特異度=TN×100%/（TN+FP）；準(zhǔn)確率＝（TP＋TN）×100%/（TP+FP+FN+TN）。3個指標(biāo)的取值范圍均為[0，100%]，且越接近于100%表示分類器的性能越好。

3 結(jié)果

3.1 特征參數(shù)選擇

分別單獨使用小波變換、Gabor濾波和灰度共生矩陣法進(jìn)行特征提取，并基于所提取的特征參數(shù)進(jìn)行分類識別。圖4顯示了采用不同特征提取方法下的分類器性能指標(biāo)。

圖4 不同特征提取方法下的分類器預(yù)測性能

結(jié)果表明，使用單層小波變換提取特征參數(shù)的分類器有最佳的性能，但其靈敏度、特異度和準(zhǔn)確率僅為88.0%、90.2%和89.1%。這是由于每種特征提取方法都有一定的局限性，存在信息損失的情況。為減少圖像在特征提取過程中的信息損失，嘗試對單層小波變換、Gabor濾波和灰度共生矩陣法進(jìn)行融合，并利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行靈敏度分析。BP神經(jīng)網(wǎng)絡(luò)的輸出權(quán)重見表2。

表2 BP神經(jīng)網(wǎng)絡(luò)輸出的53個特征參數(shù)的權(quán)重

根據(jù)BP神經(jīng)網(wǎng)絡(luò)輸出權(quán)重的絕對值，對融合所得的53個特征參數(shù)進(jìn)行降維。權(quán)重絕對值的大小表明該特征參數(shù)重要性的高低，權(quán)重值的正、負(fù)分別表示該特征參數(shù)對分類器的性能具有正向或反向影響。最終，只保留權(quán)重絕對值大于2的特征參數(shù)。共計剔除參數(shù)19個，剩下的34個特征參數(shù)為優(yōu)選特征參數(shù)。

3.2 分類器性能

采用高斯核SVM分類器、多項式核SVM分類器、MLP分類器、決策樹分類器、Logistic回歸分類器和基于多項式核SVM、隨機森林和Logistic回歸的集成分類器（EnsemClass），共6種分類器對前述34個優(yōu)選特征參數(shù)所構(gòu)成的特征空間進(jìn)行分類識別。利用隨機抽樣和十折交叉驗證法組織樣本數(shù)據(jù)。在訓(xùn)練集和測試集中，保證良性子圖和惡性子圖的分布接近總體分布。

各分類器在測試集上的分類性能對比，如圖5所示。結(jié)果表明，有些分類器僅對于測試集的靈敏度較高，有些分類器僅對測試集的特異度較高，而集成分類器在測試集上的所有性能均為最佳，其對測試集的靈敏度、特異度和準(zhǔn)確率分別為99.1%、99.6%和99.3%。

圖5 各分類器對測試集的分類性能對比

4 討論與結(jié)論

結(jié)果表明，采用所提出的方法來處理數(shù)字鉬靶X線圖像樣本并對其進(jìn)行分類識別，可實現(xiàn)高效的分類。該方法可應(yīng)用于乳腺癌的大規(guī)模篩查中，能提升篩查效率，降低誤診率和漏診率，減輕醫(yī)生的負(fù)擔(dān)。

目前，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks,CNN）在圖像分類[17]、目標(biāo)檢測[18]和圖像分割[19]等領(lǐng)域已取得顯著的成績，廣泛應(yīng)用于醫(yī)學(xué)圖像的自動識別[20-21]。VGGNet[22]和 AlexNet[23]分類器在測試集上的靈敏度、特異度和準(zhǔn)確率可達(dá)97.4%、100%和98.7%。其結(jié)果與本文中提出的集成分類器的性能接近。但由于CNN網(wǎng)絡(luò)的計算復(fù)雜度較高，對硬件要求很高，因此對于乳腺鉬靶X線鈣化點圖像的識別，本文中所提出的集成分類器具有更高的推廣價值。

如前所述，以BIRADS-4為標(biāo)準(zhǔn)，受檢者罹患乳腺癌的可能性為3%～94%。該區(qū)間過大，不利于精準(zhǔn)診斷及開展相應(yīng)的治療。因此，放射科醫(yī)生必須對初判為BI-RADS4的圖像進(jìn)一步細(xì)分。若能對BIRADS4類圖像進(jìn)行進(jìn)一步分類，如分為BI-RADS4a（可能性為3%～10%）、BI-RADS4b（可能性為11%～50%）和 BI-RADS4c（可能性為 51%～94%），則能更好地輔助醫(yī)生實施精準(zhǔn)診斷并制訂相應(yīng)的治療方案。本研究即是針對該問題的嘗試。結(jié)果表明，本文中提出的方法可對BI-RADS4類鈣化點圖像進(jìn)行準(zhǔn)確的良、惡性二分類。在后續(xù)研究中，擬收集更多相關(guān)樣本，研究BI-RADS4類圖像的精細(xì)分類方法。

結(jié)合圖像分割、多特征融合及優(yōu)化、機器學(xué)習(xí)等技術(shù)，對BI-RADS4類中的簇狀分布多形性鈣化圖像實施了高效的分類。本研究結(jié)果是人工智能技術(shù)在醫(yī)學(xué)圖像自動識別領(lǐng)域中的成功應(yīng)用。所提出的方法可應(yīng)用于鉬靶X線乳腺圖像的自動篩查，并為進(jìn)一步細(xì)分BI-RADS4類圖像奠定了技術(shù)基礎(chǔ)。本文通訊作者所在課題組的周智駿、潘雍昊、劉若塵和郭宗安同學(xué)承擔(dān)了研究中的部分技術(shù)工作，在此表示感謝。

利益沖突所有作者均聲明不存在利益沖突