張曉麗 肖滿生 葉紫璇
摘 ?要:在圖像檢索中,如何有效提取圖像特征是基于內(nèi)容的圖像檢索中的一個(gè)難點(diǎn)。針對(duì)該難題,提出了一種基于遺傳算法的圖像多特征權(quán)重自動(dòng)賦值方法。首先使用灰色直方圖提取顏色特征并利用樹(shù)形小波提取紋理特征,然后利用遺傳算法的全局最優(yōu)解搜索功能自動(dòng)確定各特征的權(quán)重。實(shí)驗(yàn)結(jié)果分析表明:在灰度圖像的相似性檢索中,基于遺傳算法的多特征權(quán)重自動(dòng)賦值方法與其他方法相比,平均查全率增加將近8%,平均查準(zhǔn)率增加將近9%,說(shuō)明該方法有較高的檢索精確度。
關(guān)鍵詞:樹(shù)型小波;特征融合;遺傳算法;圖像檢索
中圖分類號(hào):TP391 ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
Abstract:In image retrieval,how to effectively extract image features is a difficult point in content-based image retrieval.Aiming at this problem,the paper proposes an automatic multi-feature weight assignment method based on genetic algorithm.First,the method uses gray histogram to extract color features and uses tree wavelet to extract texture features.Then the genetic algorithm's global optimal solution search function is used to automatically determine the weight of each feature.The experimental results show that in the similarity search of gray image,the multi-feature weight automatic assignment method based on genetic algorithm has increased the recall rate by 8% and increased the precision rate by 9%,compared with other methods,which proves the high retrieval accuracy of this method.
Keywords:tree wavelet;feature fusion;genetic algorithm;image retrieval
1 ? 引言(Introduction)
圖像檢索通常包含基于標(biāo)注的圖像檢索(ABIR)和基于內(nèi)容的圖像檢索(CBIR)[1]。ABIR必須主觀地標(biāo)記或注釋,不僅耗時(shí),而且一些圖像難以用簡(jiǎn)單的關(guān)鍵詞準(zhǔn)確地標(biāo)記和描述,因此它們的應(yīng)用受到限制[2]。根據(jù)圖像的紋理,灰度或顏色特征檢索CBIR,其檢索效率高于ABIR。近年來(lái),它一直受到學(xué)者們的青睞。已經(jīng)提出了許多關(guān)于CBIR[3-5]的具體算法。在CBIR方法的研究中,目前基于顏色和紋理特征的圖像分析和識(shí)別方法在醫(yī)療學(xué)科的圖像中具有重要的應(yīng)用。國(guó)內(nèi)外許多專家學(xué)者在此基礎(chǔ)上提出了許多圖像分析和識(shí)別方法[1,4],如張永庫(kù)[6]等提出了基于底層特征綜合分析的檢索算法,該方法的準(zhǔn)確度較高,檢索速度較快,但針對(duì)不同特征的權(quán)重值分配存在著局限性;B.G.Prasad等[7]提出了一種通過(guò)區(qū)域匹配來(lái)檢索圖像的技術(shù),該技術(shù)基于MPEG-7框架內(nèi)的顏色、形狀和所在位置的組合特征,使用集成的顏色、形狀和位置特征對(duì)每個(gè)圖像內(nèi)的主要區(qū)域進(jìn)行索引,每個(gè)特征的權(quán)值是通過(guò)手動(dòng)進(jìn)行設(shè)置,在檢索圖像時(shí)有很大的主觀性;YoungDeokChun等[8]在基于內(nèi)容的圖像檢索方法中,使用多分辨率顏色和紋理特征組合來(lái)進(jìn)行有效地檢索圖像,該方法的檢索速度快,但選取合適的特征權(quán)值需要大量時(shí)間。上述圖像檢索方法雖然在檢索精度和性能上得到了很好的發(fā)展,但是在多特征融合過(guò)程中其特征權(quán)重的確定是通過(guò)手動(dòng)的方式完成,并不能自適應(yīng)地選擇權(quán)重,具有很大的主觀隨意性,因而檢索精度不高?;诖耍疚膶?duì)手工給定權(quán)重的方式進(jìn)行改進(jìn),提出了基于遺傳算法的圖像多特征融合權(quán)重自動(dòng)賦值的方法,并通過(guò)實(shí)驗(yàn)驗(yàn)證其有效性。
2 ? 圖像特征提?。↖mage feature extraction)
2.1 ? 顏色空間的選擇和顏色特征提取
(1)色彩空間選擇及顏色量化
通過(guò)構(gòu)建顏色模型來(lái)恰當(dāng)?shù)剡\(yùn)用于顏色。HSV顏色空間是一種以視覺(jué)感知為中心的顏色模型,其中H是色調(diào)的顏色,即光的顏色;S是飽和度,即顏色度,它與某種色調(diào)的純度有關(guān);V表示亮度,其是指人眼感知光的亮度和暗度。色調(diào),飽和度和亮度可以用三維主軸表示,如圖1所示。
該圖的垂直軸表示黑白部分的亮度變化,圓周上的點(diǎn)表示相異的色調(diào),并且從圓周到圓心的過(guò)渡表示飽和度漸漸減小。HSV空間具備兩個(gè)性質(zhì):一是亮度分量與圖像的色彩信息無(wú)關(guān);二是色調(diào)和飽和度成分與人們對(duì)顏色的感受密切相關(guān)。這些性質(zhì)使HSV色彩空間成為通過(guò)使用人類視覺(jué)系統(tǒng)感知色彩特征的理想選擇。在確定顏色的空間模型之后,顏色需要進(jìn)行量化。由于人眼與某些顏色的細(xì)微差別難以區(qū)分,因此細(xì)微的顏色可被視為一種顏色,將顏色空間分成幾個(gè)小的顏色間隔。為了減小計(jì)算量,HSV空間根據(jù)人的顏色的感知而不均等地量化。通過(guò)分析發(fā)現(xiàn),人眼對(duì)色調(diào)和飽和度不敏感是因?yàn)榈惋柡投群土炼确浅8呋虻?。?duì)色調(diào)和飽合度和度,人類視覺(jué)系統(tǒng)對(duì)色調(diào)更敏感,因此采取以下定量策略:首先,根據(jù)人眼的分辨能力,將色彩空間分為16個(gè)部分,將飽和度和亮度分為四個(gè)部分;其次,物體的色彩與光的波長(zhǎng)和頻率相關(guān),據(jù)波長(zhǎng)和頻率的差異,色調(diào)不是等間隔的,飽和度和亮度的非等間隔量化基于不相同的顏色范疇和人類視覺(jué)感知,量化公式如下:
(2)顏色特征提取
顏色直方圖用于計(jì)算特定顏色空間中圖像的各種顏色出現(xiàn)的頻率,一般的顏色直方圖方法不考慮每個(gè)像素顏色的空間位置分布信息,只在整個(gè)圖像上匯總顏色分布信息,圖像通常被分成3×3塊能夠獲得顏色像素點(diǎn)的空間分布信息。位于圖像的中間部分是圖像的主要內(nèi)容,且占有較小區(qū)域的是周圍的背景部分,因此這類均勻分割的方法并未突出顯示圖像中間的主體部分,在內(nèi)部,它會(huì)損害其完整性,并且更有可能包含一些不重要的對(duì)象的顏色信息。分析了全局直方圖和分塊直方圖的優(yōu)缺點(diǎn)后,本文提出了一種新的檢索方法,即對(duì)每個(gè)子塊設(shè)置加權(quán)值,并且關(guān)鍵區(qū)域和中間部分的圖像設(shè)置為具有大權(quán)重且面積大,具體方法如下:
(1)與人眼視覺(jué)的特點(diǎn)相結(jié)合,把實(shí)例圖像M平均分成16個(gè)單元,如圖2所示。
(2)圖像的四角區(qū)域占的面積小,主體在中間部分,在設(shè)置區(qū)間權(quán)重時(shí)把中間部分的權(quán)重值設(shè)為較大使其面積大,使其為9塊,從而檢索精度和排序效果得到明顯的提高,如下為設(shè)置各區(qū)間和權(quán)重:
(3)對(duì)每一個(gè)區(qū)間實(shí)行直方圖提取,與該區(qū)間的權(quán)重相結(jié)合,取得整個(gè)圖像的顏色特征向量,并以9*256的直方圖矩陣的形式保存。
2.2 ? 小波變換分析與紋理特征提取
(1)小波變換分析
傳統(tǒng)的小波變換采用的是一種塔形的信號(hào)分解方式,如圖3所示,圖中、、代表不同層的低頻信息,、代表不同層的高頻信息。也就是說(shuō),信號(hào)在低頻信道上連續(xù)分解。
樹(shù)型小波變換是由Tianhomg Chang等人提出的,樹(shù)小波變換可分兩種類型:完全樹(shù)型小波變換和不完全樹(shù)型小波變換。當(dāng)每層被分解時(shí),不完全樹(shù)型小波變換在每個(gè)頻道中不被分解,而是選擇性地分解。圖4顯示了變換分解過(guò)程的示意圖。在一階段小波變換后,四個(gè)子圖像(四個(gè)節(jié)點(diǎn))是由原始圖像轉(zhuǎn)換得來(lái),并進(jìn)行小波變換在每個(gè)子圖像(節(jié)點(diǎn))上獲得四個(gè)子圖像(四個(gè)子節(jié)點(diǎn))。這樣重復(fù),由于這類分解形式類似于四叉樹(shù),因此被稱為樹(shù)型小波變換,圖中的LL代表圖像分解后的低頻分量,LG、GL、GG代表三個(gè)不同方向高頻量。
(2)紋理特征提取
3 ?基于遺傳算法圖像灰度、紋理特征權(quán)重值自適應(yīng)獲?。ˋdaptive acquisition of image grayscale and texture feature weights based on genetic algorithm)
3.1 ? 自適應(yīng)遺傳算法
遺傳算法是一種通用的全局搜索算法,它模仿生物進(jìn)化過(guò)程,以找到最佳的問(wèn)題解決方案。通過(guò)個(gè)體在問(wèn)題域的適應(yīng)度選取子類中個(gè)體,并在每一代用于從自然遺傳學(xué)中的算子生成新一代個(gè)體的過(guò)程。該算法從初始種群開(kāi)始,對(duì)每個(gè)個(gè)體的適應(yīng)度函數(shù)進(jìn)行評(píng)價(jià),在所有個(gè)體中,有兩個(gè)個(gè)體具有最高的適應(yīng)值是從群體中選出的,這兩個(gè)個(gè)體被稱為父母,并使用交叉和變異算子,形成新個(gè)體。因此,一個(gè)群體的解決方案被采用并用于形成新的一代群體,一直重復(fù)直到滿足一些條件。
特征融合算法在傳統(tǒng)上需要手動(dòng)調(diào)整檢索系統(tǒng)中特征權(quán)重的值,多次反饋才能找到最佳權(quán)重值[8],為了使檢索圖像的精度更準(zhǔn)確,本文引入遺傳算法來(lái)獲得權(quán)重的最優(yōu)解,并自動(dòng)分配各個(gè)特征的權(quán)重值。即首先從圖像中提取顏色和紋理特征,利用HSV顏色空間提取顏色特征,即圖像的色調(diào)直方圖和值通道,然后提取紋理特征,如能量。
通過(guò)上述實(shí)驗(yàn),在四類圖像的檢索中,分別比較了基于固定權(quán)重的多特征融合圖像檢索和基于自動(dòng)賦值多特征融合圖像檢索,得到了不同的檢索結(jié)果:(a)、(b)、(c)和(d)中的建筑物、非洲人、巴士和鮮花,基于自動(dòng)賦值方法檢索的比基于固定權(quán)重的圖像檢索更好。實(shí)驗(yàn)證明,本文提出的自動(dòng)分配權(quán)重值方法可以根據(jù)用戶提交的不同圖像自動(dòng)設(shè)置圖像特征的最佳權(quán)重。根據(jù)對(duì)比實(shí)驗(yàn),本文提出的方法基本上可以達(dá)到適合權(quán)重輸出的理想檢索結(jié)果。
4.2 ? 實(shí)驗(yàn)數(shù)據(jù)對(duì)比
本文設(shè)計(jì)的圖像檢索系統(tǒng)使用了實(shí)驗(yàn)測(cè)試庫(kù)中的四種類型的圖像進(jìn)行了實(shí)驗(yàn)。通過(guò)查準(zhǔn)率、查全率和檢索效率對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析和評(píng)價(jià)。本文中的平均查準(zhǔn)率(AP)和平均查全率(AR)是每類圖像的查準(zhǔn)率和查全率的平均值。表1顯示了不同類型圖像檢索的平均查準(zhǔn)率和平均查全率。
從表1可以看出,兩種方法中基于遺傳算法的自動(dòng)賦值的圖像檢索方法獲得的四種圖像的平均查準(zhǔn)率(AP)和平均查全率(AR)幾乎都大于基于固定權(quán)重的圖像檢索方法的值。本文提出的基于遺傳算法的圖像多特征權(quán)重自動(dòng)分配方法在圖像內(nèi)容匹配檢索中具有較好的性能。同樣,兩種方法執(zhí)行檢索時(shí)間中基于遺傳算法的運(yùn)行時(shí)間略短于基于固定權(quán)重的運(yùn)行時(shí)間,但差異不大,因此運(yùn)行時(shí)間效率沒(méi)有單獨(dú)列出做討論。
5 ? 結(jié)論(Conclusion)
通過(guò)分析基于內(nèi)容的圖像檢索技術(shù),提出了一種基于遺傳算法的圖像多特征權(quán)重自動(dòng)賦值的方法,通過(guò)上述實(shí)驗(yàn),驗(yàn)證了該方法的有效性?;谧詣?dòng)權(quán)重分配遺傳算法的圖像檢索優(yōu)于基于固定權(quán)重的圖像檢索。具有自動(dòng)權(quán)重分配的圖像檢索系統(tǒng)可以根據(jù)用戶提交的待檢測(cè)圖像自動(dòng)設(shè)置圖像特征的最佳權(quán)重?;诠潭?quán)重的圖像檢索需要多次反饋才能找到最佳權(quán)重。基于遺傳算法的圖像多特征權(quán)重自動(dòng)分配圖像檢索系統(tǒng)可以在一定程度上實(shí)現(xiàn)檢索效果,但仍存在許多不足之處,還有很多地方需要進(jìn)一步改進(jìn)。檢索系統(tǒng)僅使用顏色和紋理。結(jié)合基礎(chǔ)物理特征進(jìn)行檢索。精度高或低,無(wú)法達(dá)到很好的檢索效果。因此,系統(tǒng)需要結(jié)合形狀基本特征或應(yīng)用圖像的高級(jí)語(yǔ)義特征,以提高檢索效率。
參考文獻(xiàn)(References)
[1] Van Hieu,V.,Huy,et al.A novel method normalized data and refine weights for combination features in content-based image retrieval[J].Vietnam.RD-ICT J.Res.Dev.Appl.Inf.Commun.Technol,2016,1(35):63-75.
[2] ZHOU Zhengzhong,ZHANG Liqing.Content-based image retrieval using iterative search[J].Neural Processing Letters,2018,47(3):907-919.
[3] Douik,A.,M.Abdellaoui,L.Kabbai.Content based image retrieval using local and global features descriptor[C].Advanced Technologies for Signal and Image Processing (ATSIP),2016.
[4] NISHANT S,VIPIN T.Content based image retrieval based on relative locations of multiple regions of interest using selective regions matching[J].Information Sciences,2014.259:212-224.
[5] SUDHIR,BABOO LDSS.An efficient CBIR technique with YUV color space and texture features[J].Computer Engineering and Intelligent Systems,2011,2(6):778-785.
[6] 張永庫(kù),李云峰,孫勁光,等.基于多特征融合的圖像檢索[J].計(jì)算機(jī)應(yīng)用,2015,35(2):495-498.
[7] B.G.Prasad,K.K.Biswas,S.K.Gupta.Region-based image retrieval using integrated color,shape,and location index[J].Computer Vision and Image Understanding,2004(94):193-233.
[8] Young Deok Chun,Nam Chul Kim,Ick Hoon Jang.Content-Based Image Retrieval Using Multiresolution Color and Texture Features[J].IEEE Transaction on Multimedia,2008,10:1073-1084.
作者簡(jiǎn)介:
張曉麗(1994-),女,碩士生.研究領(lǐng)域:數(shù)字圖像處理.
肖滿生(1968-),男,碩士,教授.研究領(lǐng)域:智能信息處理及智能計(jì)算.本文通訊作者.
葉紫璇(1996-),女,碩士生.研究領(lǐng)域:數(shù)字圖像處理.