一種基于HSVG-SURF特征的魚類圖像檢索算法

張美玲，吳俊峰，于 紅，孫建偉，羅 強

1(大連海洋大學(xué) 信息工程學(xué)院，遼寧 大連 116023)2(遼寧省海洋信息技術(shù)重點實驗室，遼寧 大連 116023)

1 引 言

魚類圖像具有數(shù)量巨大、種類繁多、顏色豐富、紋理多變的特點，魚類的顏色和紋理信息是區(qū)分不同種魚類圖像的重要特征.采取有效的特征表征方式，能夠充分表征魚類的主要特征，是對魚類圖像進行有效區(qū)分并提高魚類圖像檢索算法效果的關(guān)鍵所在，許多學(xué)者對此進行了深入的研究.Chen[1]等人提取了圖像中的顏色特征，紋理特征和SIFT特征并對魚類圖像進行特征匹配實現(xiàn)了對魚類圖像的檢索.這種方法兼顧了魚類圖像的顏色信息和紋理信息.但是這種多特征合并方式對表達多種特征的能力較弱，并不能將圖像中每個通道中的信息都表征出來，同時SIFT特征算法的復(fù)雜度較高，因而會對檢索算法的整體效率產(chǎn)生影響.孫建偉[2]等人基于HSV顏色量化和Garbor特征提出MFFIR算法提取魚類圖像的顏色和紋理特征對魚類圖像進行檢索取得了較好的效果，將魚類圖像中三個通道下的特征信息進行了有效表征，但是所采用的圖像多特征合并方式較為簡單，對于魚類圖像的顏色特征和紋理特征的表征能力不能令人滿意，例如，圖像色差所產(chǎn)生的顏色與紋理相互影響的圖像特征，該算法不能很好表征，這導(dǎo)致該算法在大規(guī)模數(shù)據(jù)集中的魯棒性具有一定局限性.魏正曦[3]等人提出基于灰度分類的圖像搜索引擎，該搜索引擎實現(xiàn)了一個基于灰度值分類的圖像搜索，雖然速度上有一定的提高，但是單憑灰度這一特征進行計算其圖像特征信息會有一定的丟失，不能夠有效進行特征的提取.Bosch[9]等人提出了一種基于HSV三通道的SIFT特征提取算法，該算法對圖像中的像素對應(yīng)的三個通道都提取SIFT特征并組成128×3的特征描述子(標準的SIFT特征為128維特征向量)，然后利用提取到的SIFT特征[10]實現(xiàn)了對不同場景圖像的分類.相較于直接合并不同圖像特征組成多特征向量的方式，該算法能夠?qū)D像的紋理特征以顏色通道的方式進行疊加進而實現(xiàn)顏色特征和紋理特征的融合，因而能夠提高圖像特征表征能力.但是，SIFT算法本身的計算復(fù)雜度較高，在處理尺度較大的灰度圖像時已經(jīng)較為耗時，如果在三通道上分別提取SIFT特征則耗時將要增加三倍，其特征提取的計算成本較高.同時，將三通道提取后的SIFT特征表示為128×3的特征描述子，可能會在SIFT描述子中混入不必要的噪聲.

相較于SIFT特征描述子，SURF描述子的算法復(fù)雜度要較低，對圖像的表征能力較強，因而被廣泛的應(yīng)用于圖像檢索領(lǐng)域.本文采用SURF描述子以在不失精度的前提下提高特征提取算法的效率，并采用并行計算提取各通道下的特征降低算法的時間復(fù)雜度；其次，本文將在三通道分別進行特征的提取和匹配，從而降低引入不必要噪聲的可能性.經(jīng)實驗觀察發(fā)現(xiàn)，H通道的圖像對比度偏低，因此本文采用直方圖均衡化方法[12]對H通道圖像進行處理，增強圖像的對比度使得H通道中的魚類輪廓和花紋更加明顯突出.

圖1 HSVG四通道效果圖Fig.1 HSVG effect map for four channels

特別的，本文引入灰度圖像作為第四通道，與HSV三通道共同構(gòu)成HSVG四通道模型，如圖1.在HSVG提取SURF特征然后將提取后的征點描述子按通道獨立保存.經(jīng)實驗觀察發(fā)現(xiàn)，HSVG四通道提取的SURF特征點對魚類圖像的特征描述具有互補性.綜上所述本文提出了一種基于HSVG四通道的SURF特征提取算法，并在QUT_fish_data數(shù)據(jù)集上進行了魚類圖像檢索實驗.實驗結(jié)果表明，本文所提算法在這個數(shù)據(jù)集上具有良好的魯棒性和準確度.

2 HSVG-SURF特征

2.1 HSVG四通道模型

HSV顏色模型符合人眼的視覺特性[18]，因此本文在提取SURF特征前先將圖像由RGB空間轉(zhuǎn)換為HSV空間表示[17]，特別的，H通道中圖像對比度偏低，往往不能很好地反映圖像的輪廓特征因而會影響SURF特征提取的效果，本文采用直方圖均衡化方法如式(1)單獨提高H通道的對比度，以此改善SURF特征提取算法在H通道中的效果.

(1)

其中，m是圖像的像素總數(shù)，mi是圖像的第i級像素個數(shù).

魚類圖像中存在許多種類的魚其顏色相近或者體表無明顯顏色特征，在這種情況下采用顏色信息來提取SURF特征不能夠有效表征魚類圖像的體表特征.本文引入灰度圖像作為第四通道提取SURF特征，采用RGB加權(quán)方式將彩圖轉(zhuǎn)換成灰度圖，如式(2)

Gray=0.299×R+0.587×G+0.114×B

(2)

其中，R，G，B為RGB空間下的三種顏色通道，權(quán)重為經(jīng)驗值.

從公式中可以看出灰度圖是由RGB三通道加權(quán)得到.本文綜合考慮了光照和色差兩種因素提出了基于HSV和灰度的四通道模型，并在此基礎(chǔ)上提取四通道SURF特征，如式(3)所示.

ModelHSVG={H，S，V，Gray}

(3)

其中，H為色度通道，S為飽和度通道，V為明度通道，Gray為灰度通道.

2.2 HSVG-SURF特征提取

本文采用SURF特征提取算法[19]，將四通道特征分別保存在特征結(jié)構(gòu)體的四個成員變量中，避免在特征描述子中混入不必要的噪聲信息，并且采用多核CPU并行處理的方式對四通道下的SURF特征進行計算，從而保證算法的時間復(fù)雜度.HSVG-SURF特征的提取步驟如下：

Step1. 將RGB轉(zhuǎn)換為HSVG四通道模型.

Step2. 構(gòu)造海森矩陣如公式(4)、公式(5)，得到4通道下的極值響應(yīng)值(6).

(4)

對海森矩陣進行近似計算以加速濾波器的卷積計算速度，如公式(5)

det(Happror)=DxxDyy-(0.9·Dxy)2

(5)

DHSVG={DH，DS，DV，DG}

(6)

其中，DH為色度H通道卷積輸出圖像，其他同理.

Step3. 不斷增大濾波器的尺寸與圖像進行卷積，構(gòu)造高斯金字塔.

Step4. 確定特征點主方向.

Step5. 構(gòu)造特征描述子.

在四通道模型下對每個通道中的特征點構(gòu)造特征描述子.以特征點為中心，沿主方向?qū)?0×20的圖像劃分為4×4個子區(qū)域.統(tǒng)計特征點在每個通道下每個子區(qū)域內(nèi)像素的水平方向和垂直方向的haar小波特征進而得到該通道下的子區(qū)域特征值如公式(7)所示：

(7)

則特征點在單一通道下的SURF特征為

(8)

則HSVG模型下的SURF特征向量為

F={FH，F(xiàn)S，F(xiàn)V，F(xiàn)G}

(9)

其中，F(xiàn)H為色度H通道特征向量，F(xiàn)S為飽和度S通道特征向量，F(xiàn)V為明度V通道特征向量，F(xiàn)G為灰度通道特征向量.

圖2 HSVG四通道SURF特征點效果圖Fig.2 HSVG effect map of feature points for four channels

3 基于HSVG-SURF特征的圖像檢索過程

本文將特征按通道分別進行特征匹配，然后將匹配后的特征得分進行加權(quán)得到最終匹配得分以提高圖像檢索效率.即采用相關(guān)系數(shù)的度量方式匹配四通道SURF特征.

corr為圖像特征相關(guān)系數(shù)的計算公式，本文中采用皮爾遜相關(guān)系數(shù)作為四通道魚類SURF特征的特征計算方法，如公式(10)：

(10)

本文只對檢索圖片和圖庫圖片的相同通道下的SURF特征進行特征匹配.其匹配公式如下：

SH=corr(FdH，F(xiàn)qH)

(11)

該公式計算H通道下檢索圖片和圖庫圖片的SURF特征的相關(guān)系數(shù)，其他通道同理.隨后計算檢索圖片和圖庫圖片的相關(guān)系數(shù)，其公式如下：

S=w1·SS+w2·SH+w3·SV+w4·SGray

(12)

特征匹配的基本步驟如下：

Step2. 對SURF特征點進行點匹配，得出檢索圖的每個SURF特征點與單幅圖庫圖像中所有SURF特征點之間的最大相關(guān)度系數(shù)作為該SURF特征點與圖庫圖像特征點之間的最高匹配度；

Step3. 對檢索圖的所有SURF特征點與單幅圖庫圖像的SURF的最高匹配度進行排序，把排名前三的匹配度進行加權(quán)后作為兩幅圖之間該通道的相似度得分.

Step4. 按上述步驟對檢索圖和圖庫圖像按H，S，V，G通道對應(yīng)進行特征匹配.

Step5. 對檢索圖和圖庫圖像四通道的特征匹配得分進行加權(quán)得出最終的圖像特征匹配得分.

魚類圖像檢索算法主要包含特征提取以及特征匹配等步驟，本文針對自然場景下的魚類圖像檢索問題提出HSVG四通道顏色模型，然后通過并行提取四通道下的SURF魚類特征使得所提特征能夠融合顏色與紋理兩種不同類型的特征，提高不同魚類之間的區(qū)分度.然后對HSVG-SURF特征進行特征匹配，最后對HSVG-SURF特征匹配結(jié)果進行綜合加權(quán)后求得最終特征的相似度，根據(jù)相似度結(jié)果進行排序得出檢索結(jié)果.具體的算法偽代碼如下：

Algorithm：Fish-Image-Retrieval

Input：query fish images

utput：retrieval-results

1. Image normalization preprocessing；

2. Color space conversion；

3. Histogram equalization for H channels；

4. rebuild image structure

5. Parallel Computation use 4 CPU to process 4 channels of image respectively

6. Feature matching between images

7. Merger these score from 4 channels to one；

8. Sort score and output the results.

4 實驗結(jié)果與分析

4.1 材料與方法

本文在windows7系統(tǒng)下使用Matlab2012b進行圖像檢索仿真實驗.實驗環(huán)境的硬件配置為：intell(R) Xeon(R) CPU E5-250 v2@2.60GHz 32核處理器，32.00GB內(nèi)存.

本文采用的數(shù)據(jù)集為澳大利亞昆士蘭大學(xué)提供的QUT_fish_data魚類圖像數(shù)據(jù)集，該圖像庫包含4405張海洋魚類靜態(tài)圖像，每張圖像標有對應(yīng)的種類標簽.

評價方法：本文采用準確率和召回率對所提算法的有效性進行評價[20].其中準確率反映的是圖像檢索的精度，召回率是圖像檢索算法對同類信息檢索查找全面程度的評價指標.此外 ，我們綜合考慮檢索算法的查準和查全能力，采用P-R曲線評價圖像檢索算法：

(13)

(14)

其中TP是檢索到的圖像中包含有與檢索圖像相似的同類圖的數(shù)量，F(xiàn)P為檢索到的圖像中非同類圖像的數(shù)量，F(xiàn)N是圖庫中全部同類圖檢索到非同類圖的數(shù)量.

4.2 結(jié)果與分析

本文采用MFFIR和基于灰度圖的SURF檢索算法在QUT_fish_data數(shù)據(jù)集上進行仿真實驗，并采用P-R曲線對圖像檢索算法性能進行評價.在QUT_fish_data數(shù)據(jù)集上進行測試，因為雖然魚類庫的規(guī)模較大，但是由于該庫的魚類種類數(shù)目較多，每類同類魚的數(shù)目較少，其中約有60類同類圖數(shù)目相對較多，我們把這些作為測試的主要對象，測試集為數(shù)據(jù)集中隨機挑選的60幅不同種類的魚類圖像，檢索結(jié)果如圖所示.

圖3 QUT_fish_data數(shù)據(jù)集上三種方法的準確率Fig.3 Accuracy of the three methods on the QUT_fish_data

圖4 QUT_fish_data數(shù)據(jù)集上三種方法的召回率Fig.4 Recall of the three methods on the QUT_fish_data

圖5 QUT_fish_data數(shù)據(jù)集上三種方法的P-R曲線Fig.5 P-R of the three methods on the QUT_fish_data

從圖3-圖5可以看出，本文算法在QUT_fish_data 數(shù)據(jù)集上取得了較好的檢索結(jié)果.

由PR曲線可以進一步驗證本文所提算法具有較強的魯棒性以及準確度.

從實驗結(jié)果圖3-圖5來看，在小數(shù)據(jù)集上，本文算法與基于灰度圖SURF算法的檢索性能差異不是特別明顯.但是，在召回率上優(yōu)于基于灰度圖SURF算法的檢索結(jié)果.此外本文所提算法在兩個數(shù)據(jù)集上要明顯優(yōu)于MFFIR[2]算法.

從圖中可以看出隨著數(shù)據(jù)的增大，三種算法的平均檢測率有所下降，但是本文所提算法仍然具有較高的準確率和較強的魯棒性.

我們改變各通道權(quán)值對60幅檢索圖進行測試得到以下結(jié)果：

從圖6-圖8的結(jié)果中可以看出改變權(quán)值會對檢索結(jié)果產(chǎn)

圖6 QUT_fish_data數(shù)據(jù)集上三種方法的準確率Fig.6 Accuracy of the three methods on the QUT_fish_data

圖7 QUT_fish_data數(shù)據(jù)集上三種方法的召回率Fig.7 Recall of the three methods on the QUT_fish_data

圖8 QUT_fish_data數(shù)據(jù)集上三種方法的P-R曲線Fig.8 P-R of the three methods on the QUT_fish_data

生影響，但是相對于另外兩種算法本文所提算法在改變權(quán)值的情況下始終能夠保持較強的準確率和魯棒性.

通過以上實驗可以看出，本文所提算法在較大規(guī)模圖像集中具有較強魯棒性和準確率，并且對復(fù)雜場景圖像具有一定的適應(yīng)能力，通過以上實驗可以基本證明本文所提理論的客觀有效性.

5 總 結(jié)

傳統(tǒng)的SURF圖像特征提取算法只能提取圖像的紋理和輪廓特征而對圖像的顏色特征存在較弱的描述能力.而魚類圖像中要考慮到圖像的顏色特征和紋理特征，本文基于以上問題提出了一種基于HSVG四通道模型的SURF特征提取方法，并在QUT_fish_data數(shù)據(jù)集數(shù)據(jù)集上進行仿真實驗，實驗結(jié)果表明本文所提算法具有較好的魯棒性和精確度.但是本文算法對于復(fù)雜背景魚類圖像的檢索性能還有待進一步提升，針對這個問題，在下一步工作中，課題研究小組將會針對魚類圖像的特征問題采用深度學(xué)習(xí)和圖像背景分割等方法進行研究.