多特征分層融合醫(yī)療設(shè)備圖像檢索方法

單強(qiáng) +孫曉明

摘要：針對解決醫(yī)療設(shè)備圖像的檢索問題，提出了一種基于多特征分層融合的圖像檢索方法。此方法采用顏色矩計(jì)算圖像的顏色特征，采用LBP算子計(jì)算圖像的紋理特征，采用Fourier描述子計(jì)算圖像的形狀特征，通過分層加權(quán)融合的方法將三類特征融合在一個(gè)相似性測度之內(nèi)，最終形成檢索判斷的依據(jù)。根據(jù)窺鏡圖像和CT圖像展開實(shí)驗(yàn)研究，其結(jié)果證實(shí)了所提出方法的有效性。隨著查全率要求的不斷提升，所提出方法的查準(zhǔn)率明顯高于三種單一特征的檢索方法，適合于醫(yī)療圖像的檢索。

關(guān)鍵詞：圖像檢索；多特征；分層融合；醫(yī)療設(shè)備

DOI：1015938/jjhust201702025

中圖分類號： TP393

文獻(xiàn)標(biāo)志碼： A

文章編號： 1007-2683（2017）02-0135-05

Abstract：Objective： In order to solve the problem of medical equipment image retrieval， an image retrieval method based on multi feature layer fusion is proposed Process： This method using color moments to calculate the characteristics of color image， the LBP Operator is used to calculate the texture features of the image， using Fourier descriptors calculated image of the characters， the stratified weighted fusion method of the characteristics of three types of fusion within a similarity measure， and ultimately the formation of retrieval based on Results and conclusions： According to the experimental study of the endoscopic image and CT image， the experimental results confirm the validity of the proposed method With continuous improvement of the precision requirements of the proposed method in precision ratio was significantly higher than that of two single feature retrieval method for medical image retrieval

Keywords：image retrieval； multi feature； hierarchical fusion； medical equipment

0引言

隨著窺鏡、CT等視覺醫(yī)療設(shè)備在臨床上的廣泛使用，醫(yī)療設(shè)備圖像已經(jīng)成為輔助醫(yī)生作出醫(yī)學(xué)診斷的重要依據(jù)[1]。

數(shù)以萬計(jì)的醫(yī)療設(shè)備圖像，被納入病例數(shù)據(jù)庫中，成為新病例診斷的有力輔助手段。判斷新病例圖像和病例數(shù)據(jù)庫中哪幅圖像相似，依賴于圖像檢索技術(shù)[2]。

圖像檢索技術(shù)有三個(gè)重要的分支，一是基于文本的圖像檢索技術(shù)，二是基于內(nèi)容的圖像檢索技術(shù)，三是基于語義的圖像檢索技術(shù)[3]?；谖谋镜膱D像檢索技術(shù)，需要借助文本標(biāo)注并存在誤檢率較高的問題；基于語義的圖像檢索技術(shù)，語義鴻溝問題制約著它的實(shí)用化；基于內(nèi)容的圖像檢索，以某種圖像特征的相似性來決策檢索結(jié)果，是目前使用最為廣泛的圖像檢索技術(shù)[4]。

基于內(nèi)容的圖像檢索技術(shù)，以圖像中的某種特征作為內(nèi)容信息的表達(dá)，進(jìn)而構(gòu)建相似性測度以完成檢索過程。顏色特征、紋理特征、形狀特征，都是圖像檢索過程中常用的特征[5-7]。此外，也有很多抽象特征被應(yīng)用于圖像檢索之中，如小波特征、相位特征等[8-9]。

醫(yī)療設(shè)備圖像中往往含有多種特征，依靠單一特征進(jìn)行圖像檢索，所獲得的結(jié)果缺乏可靠性[10]。為此，本文構(gòu)建一種基于多特征分層融合的圖像檢索方法，將顏色特征、紋理特征和形狀特征結(jié)合起來，以期提升檢索性能。

1顏色特征提取

顏色特征是圖像內(nèi)容信息中最豐富的一類特征，因此在圖像檢索技術(shù)的特征集合中也被廣泛采用。對于圖像檢索技術(shù)而言，顏色特征具有一些突出的特點(diǎn)，如大小不變性、方向不變性。從實(shí)現(xiàn)層面看，顏色特征也比較容易提取。在各種圖像檢索方法中，已經(jīng)被使用的顏色特征有：顏色直方圖特征、顏色自相關(guān)圖特征和顏色矩特征。

在參與多特征融合的處理中，本文選擇了顏色矩特征。顏色矩特征具備顏色特征的一般屬性，通過對像素顏色信息的統(tǒng)計(jì)計(jì)算即可得到，抽象向量的計(jì)算也比較快。在本文中，選取了三階次的顏色矩特征，共計(jì)三個(gè)顏色特征向量參與圖像檢索過程：

2紋理特征提取

紋理特征代表了有規(guī)律排布的圖像內(nèi)容。人體的器官圖像、病灶圖像，都含有豐富的紋理信息。因此，本文的圖像檢索方法中，選擇紋理特征作為醫(yī)療設(shè)備圖像內(nèi)容信息的第一項(xiàng)重要表達(dá)。

常用的紋理特征有基于灰度共生矩陣的紋理、Tamura紋理、Gabbor紋理等，這些紋理的計(jì)算復(fù)雜度較高。為此，本文采用了LBP紋理特征。

假設(shè)模板區(qū)域?yàn)?×3像素，f（xc，yc）表示區(qū)域中心像素，首先對其進(jìn)行二值化，如公式（4）所示。

公式中，gc代表中心像素的灰度，gi代表鄰域內(nèi)其它像素的灰度。

遍歷區(qū)域內(nèi)所有像素后，可以得到鄰域像素二值化結(jié)果所構(gòu)成的一個(gè)二進(jìn)制數(shù)。將其計(jì)算成十進(jìn)制數(shù)，再替代中心像素，可得中心像素的LBP紋理，如下：

當(dāng)模板圖像遍歷整幅圖像后，可以得到原始圖像對應(yīng)的LBP紋理圖像，其示意如圖1所示。

LBP紋理特征表達(dá)，有效提升了不同紋理區(qū)域的對比度，并且其計(jì)算復(fù)雜度低，計(jì)算速度快。

3形狀特征提取

在醫(yī)療設(shè)備圖像中，病人的器官、病灶區(qū)域除了具有豐富的紋理特征外，還具有充分的形狀特征，如輪廓、邊緣等等。

因此，在本文構(gòu)建的特征融合圖像檢索方法中，也需要計(jì)算圖像內(nèi)容中的形狀特征。形狀特征需要滿足，平移、旋轉(zhuǎn)、尺度等幾何要素的不變性。

本文選擇了Fourier形狀描述符，來計(jì)算檢索過程中的圖像形狀特征。

5實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性，展開如下實(shí)驗(yàn)研究。以本院的醫(yī)療設(shè)備圖像構(gòu)建一個(gè)小型圖像庫，共有1000幅病例圖像，分為8個(gè)大類。

針對窺鏡圖像進(jìn)行檢索，結(jié)果如圖2所示。

圖2中，第一幅圖像為查詢圖像，也是檢索結(jié)果中相似性排位最靠前的圖像，后面三幅圖像與查詢圖像的相似性，依次遞減。

針對CT圖像進(jìn)行檢索，結(jié)果如圖3所示。

綜合圖2和圖3給出的兩組實(shí)驗(yàn)結(jié)果可以看出：

第一，對于窺鏡圖像和CT圖像，本文所構(gòu)建的基于多特征融合的圖像檢索方法，都可以獲得理想的檢索結(jié)果。和查詢圖像相似的病例圖像都被檢索出來，可以對醫(yī)生對新病例的病情診斷起到有效的輔助作用。

第二，因?yàn)楸就瑫r(shí)使用了顏色特征、紋理特征、形狀特征，所以無論是顏色特征更豐富的窺鏡圖像，還是紋理特征豐富的CT圖像，本文方法都是適用的，這就使得本文方法可以應(yīng)用到更廣的范圍。

接下來，進(jìn)一步對本文方法的查準(zhǔn)率和查全率聯(lián)合曲線進(jìn)行了測試。選定200幅病例圖像構(gòu)建小型圖像庫，以02為步長，逐步考察隨著查全率要求的提高，本文方法查準(zhǔn)率的變化。據(jù)此，本文方法的查準(zhǔn)率-查全率關(guān)系曲線如圖4所示。

從圖4中的結(jié)果可以看出，隨著查全率的要求從02到10（即從20%到100%），基于單一顏色特征的檢索方法、基于單一紋理特征的檢索方法，其查準(zhǔn)率都下降到20%左右；基于單一形狀特征的檢索方法，其查準(zhǔn)率更是下降到2%左右。

相對于三種基于單一特征的檢索方法，本文所構(gòu)建的基于多特征融合的圖像檢索方法，隨著查全率的要求從02到10，其查準(zhǔn)率仍然接近60%。這充分說明了本文方法的檢測精度和檢測效率，都是比較理想的。

6結(jié)論

針對醫(yī)療設(shè)備圖像的檢索問題，提出了一種基于多特征分層融合的圖像檢索方法。此方法將顏色矩特征、LBP紋理特征和Fourier形狀特征融合在一起，構(gòu)建用于檢索判斷的相似性測度。實(shí)驗(yàn)結(jié)果表明，本文方法的查準(zhǔn)率明顯高于單一特征的圖像檢索方法，并且隨著查全率的提升優(yōu)勢逐步擴(kuò)大。

參 考 文 獻(xiàn)：

[1]陳琴， 邰曉英， 巴特爾 基于鄰域顏色矩直方圖的胃窺鏡圖像檢索[J]. 計(jì)算機(jī)工程與應(yīng)用， 2008， 44（11）： 205-208

[2]王雪， 廖飛佳， 李國東， 郭坤 雹云圖像的識別指標(biāo)設(shè)計(jì)[J]. 哈爾濱理工大學(xué)學(xué)報(bào)， 2016， 21（1）： 45-50

[3]施智平， 胡宏， 李清勇等 基于紋理譜描述子的圖像檢索[J]. 軟件學(xué)報(bào)， 2006， 16（6）： 1039-1046

[4]梁美麗， 牛之賢 改進(jìn)的綜合顏色紋理特征圖像檢索[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2014， 31（6）： 228-231

[5]LJUBOVIC V Improving Performance of Image Retrieval Based on Fuzzy Colour Histograms by Using Hybrid Colour Model and Genetic Algorithm[J]. Computer Graphics Forum， 2015， 22（10）： 221-226

[6]蘇賦 Curvelet感興趣區(qū)域相關(guān)圖的紋理圖像檢索[J]. 上海交通大學(xué)學(xué)報(bào)， 2014， 48（5）： 653-657

[7]周瑜， 劉俊濤， 白翔 形狀匹配方法研究與展望[J]. 自動化學(xué)報(bào)， 2012， 38（6）： 889-910

[8]孫琦龍， 張明亮 基于顏色特征的藏毯圖像檢索研究與實(shí)現(xiàn)[J]. 軟件， 2015， 36（8）： 25-29

[9]曲懷敬， 李健， 吳延榮等 結(jié)合濾波器選擇和相位信息的統(tǒng)計(jì)紋理圖像檢索[J]. 計(jì)算機(jī)應(yīng)用研究， 2014， 31（12）： 3894-3897

[10]KHODASKAR Anuja Ladhake Siddarth Newfangled Alignment of Ontologies for Content Based Semantic Image Retrieval[J]. Procedia Computer Science， 2015， 48： 298-303

[11]張怡卓， 許雷， 丁亮， 曹軍 基于圖像融合分割的實(shí)木地板表面缺陷檢測方法[J]. 電機(jī)與控制學(xué)報(bào)， 2014， 18（7）： 113-118

[12]張永庫， 李云峰， 孫勁光 綜合顏色和形狀特征聚類的圖像檢索[J]. 計(jì)算機(jī)應(yīng)用， 2014， 34（12）： 3549-3553

[13]WALIA Ekta， Pal Aman Fusion Framework for Effective Color Image Retrieval[J]. Journal of Visual Communication and Image Representation， 2014， 25（6）： 1335-1348

[14]黃鵬 基于文本和視覺信息融合的Web圖像檢索[D]. 杭州： 浙江大學(xué)， 博士學(xué)位論文， 2008

[15]羅益榮 特征融合和支持向量機(jī)反饋的圖像檢索方法[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2014， 31（10）： 209-212

[16]余元輝， 鄧瑩 基于多特征融合的海洋生物圖像檢索方法的研究[J]. 河南大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2015， 45（2）： 35-37

[17]BEAUDOIN JoanE Contentbased Image Retrieval Methods and Professional Image Users[J]. Journal of the Association for information Science and Technology， 2016， 67（2）： 350-365

[18]劉淑琴， 彭進(jìn)業(yè) 噪聲不敏感的柱狀圖特征描述符及其在圖像檢索中的應(yīng)用[J]. 計(jì)算機(jī)科學(xué)， 2016， 43（1）： 307-310

[19]周瑜， 劉俊濤， 白翔 形狀匹配方法研究與展望[J]. 自動化學(xué)報(bào)， 2012， 38（6）： 889-910

[20]王軍偉， 劉文予 基于多尺度三元組描述子的形狀匹配方法[J]. 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2011， 39（6）： 6-9

（編輯：王萍）