基于OpenCV和Qt的圖像檢索教學(xué)軟件設(shè)計(jì)與開(kāi)發(fā)

王蓉 李沖 李彥璇

摘要： 圖像檢索技術(shù)在公安工作中發(fā)揮著重要作用，但其理論知識(shí)比較抽象，學(xué)生僅通過(guò)理論知識(shí)的學(xué)習(xí)很難深入理解該技術(shù)。為了輔助學(xué)生對(duì)圖像檢索技術(shù)的理解與掌握，基于OpenCV和Qt設(shè)計(jì)并開(kāi)發(fā)了一個(gè)包含圖像預(yù)處理、圖像特征提取和圖像檢索3個(gè)模塊的圖像檢索教學(xué)軟件，涵蓋了實(shí)現(xiàn)圖像檢索所需的每一步操作，并能夠以圖像或數(shù)值的形式可視化圖像檢索的中間處理結(jié)果。

關(guān)鍵詞： 圖像檢索；直方圖均衡化；顏色直方圖；顏色矩；灰度共生矩陣

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）03-0198-04

The Design and Development of the Image Retrieval Technology Teaching Aids Software Based on OpenCV and Qt

WANG Rong， LI Chong， LI Yan-xuan

（School of Policing Information Engineering， Peoples Public Security University of China， Beijing 100038， China）

Abstract： The image retrieval technology plays an important role in the public security work， but its so abstract that its hard to understand deeply only through theoretical knowledge for the students. In order to help students understand and master the image retrieval techniques， an image retrieval technology teaching aids software was designed and developed in this paper. The software includes image preprocessing， image feature extraction and image retrieval modules， covering every step of the operation needed to realize the image retrieval. It also displays the intermediate processing results of image retrieval in the form of images or numbers.

Key words： image retrieval； histogram equalization； color histogram； color moment； Gray-level co-occurrence matrix

隨著安全需求的不斷擴(kuò)增，視頻監(jiān)控系統(tǒng)的建設(shè)規(guī)模逐漸增大，案件視頻數(shù)據(jù)迅速增長(zhǎng)。視頻資料由于其視覺(jué)直觀性和信息豐富性，已成為公安工作的重要線索和證據(jù)來(lái)源。但是，僅僅通過(guò)人工查閱的方式對(duì)這些海量案件視頻進(jìn)行分析和處理，必然會(huì)耗費(fèi)很大的人力和時(shí)間。圖像檢索技術(shù)是一種利用圖像處理技術(shù)和計(jì)算機(jī)技術(shù)等實(shí)現(xiàn)對(duì)包含特定內(nèi)容或具有特定特征圖像的自動(dòng)檢索及輸出的技術(shù)[1]。利用圖像檢索技術(shù)可以實(shí)現(xiàn)對(duì)包含特定目標(biāo)視頻圖像的自動(dòng)檢索，然后在檢索輸出的視頻圖像中開(kāi)展排查犯罪嫌疑人、搜尋案件證據(jù)等后續(xù)公安工作，對(duì)于縮短案件查閱時(shí)間、節(jié)省公安警力、提高辦案效率具有重要意義。準(zhǔn)確的檢索結(jié)果是后續(xù)公安工作順利開(kāi)展的前提，高效的檢索過(guò)程是提高公安工作效率的基本保障，因此，圖像檢索已成為視頻偵查的關(guān)鍵技術(shù)之一。

早期的圖像檢索技術(shù)是基于文本實(shí)現(xiàn)的。隨著多媒體技術(shù)的發(fā)展和智能化的需求，基于內(nèi)容的圖像檢索技術(shù)從20世紀(jì)90年代開(kāi)始興起[2]，主要集中于對(duì)圖像底層特征的研究。其中，顏色特征能夠直觀體現(xiàn)圖像內(nèi)容，紋理特征具有較強(qiáng)的空間信息表達(dá)能力，而且這兩種特征的提取較易實(shí)現(xiàn)，因此成為圖像檢索的兩類(lèi)常用特征，目前已有學(xué)者們提出了很多方法，如基于顏色直方圖的方法[3]、基于顏色矩的方法[4]、基于灰度共生矩陣的方[5]等?；趦?nèi)容的圖像檢索一般包括預(yù)處理、特征提取、相似性度量等關(guān)鍵環(huán)節(jié)。在圖像檢索技術(shù)的日常教學(xué)中，僅講解相關(guān)的理論知識(shí)對(duì)于學(xué)生來(lái)說(shuō)比較抽象，很難使學(xué)生深入理解圖像檢索技術(shù)的每一個(gè)步驟。因此，本文設(shè)計(jì)和開(kāi)發(fā)了一個(gè)圖像檢索技術(shù)教學(xué)輔助軟件，實(shí)現(xiàn)圖像檢索技術(shù)中間處理結(jié)果的可視化，便于學(xué)生理解和掌握該技術(shù)的關(guān)鍵環(huán)節(jié)和實(shí)現(xiàn)流程。本文設(shè)計(jì)的圖像檢索技術(shù)教學(xué)輔助軟件包括圖像預(yù)處理、圖像特征提取和圖像檢索三個(gè)模塊，其中，圖像預(yù)處理模塊設(shè)置了大量可調(diào)參數(shù)，可直觀顯示不同參數(shù)下的預(yù)處理結(jié)果，有助于學(xué)生理解不同參數(shù)的作用和不同預(yù)處理方法的原理及適用場(chǎng)合；圖像特征提取模塊以數(shù)字或圖像的形式對(duì)特征的計(jì)算結(jié)果進(jìn)行可視化展示，加深學(xué)生對(duì)抽象的圖像特征及其提取過(guò)程的理解；圖像檢索模塊包含實(shí)現(xiàn)圖像檢索所需的每一步操作，便于學(xué)生理解和掌握?qǐng)D像檢索技術(shù)的實(shí)現(xiàn)過(guò)程。

1 基礎(chǔ)知識(shí)

1.1 直方圖均衡化

直方圖均衡化是增強(qiáng)圖像對(duì)比度的一種有效手段，對(duì)于整體亮度較低的圖像，該方法通過(guò)改變像素的灰度分布來(lái)增多具有較高灰度值的像素，從而達(dá)到提高圖像對(duì)比度的目的。

1.2 基礎(chǔ)灰度變換

基礎(chǔ)灰度變換包括全局線性變換、分段線性變換、冪次變換和對(duì)數(shù)變換等方法。

全局線性變換如式（1）所示，其中，[f（x，y）]和[g（x，y）]分別為輸入和輸出圖像，[k]為灰度縮放比例，輸出圖像隨著[k]的取值而發(fā)生變化。

[g（x，y）=f（x，y）?k] （1）

分段線性變換如式（2）所示，其中，[T1]、[T2]為分段閾值，[k1]、[k2]、[k3]為分段灰度縮放比例。[T1]、[T2]、[k1]、[k2]、[k3]均為可調(diào)參數(shù)，當(dāng)其中任一個(gè)參數(shù)的取值改變時(shí)，輸出圖像即發(fā)生變化。

[g（x，y）=f（x，y）*k1， 0≤f（x，y）≤T1f（x，y）*k2， T1≤f（x，y）≤T2f（x，y）*k3， T2≤f（x，y）≤255] （2）

冪次變換如式（3）所示，其中，[c]為灰度縮放比例，[γ]為冪次。[c]和[γ]中任一個(gè)參數(shù)的取值改變時(shí)，輸出圖像即發(fā)生變化。

[g（x，y）=c?f（x，y）γ] （3）

對(duì)數(shù)變換如式（4）所示，[c]為灰度縮放比例，當(dāng)[c]的值改變時(shí)，輸出圖像也發(fā)生變化。

[g（x，y）=c?log（1+f（x，y））] （4）

1.3 圖像濾波方法

圖像濾波主要用于去除噪聲，基本思想是根據(jù)噪聲與一般圖像像素的時(shí)域或頻率分布規(guī)律選擇對(duì)應(yīng)的濾波器，實(shí)現(xiàn)抑制噪聲的目的。均值濾波計(jì)算簡(jiǎn)單；高斯濾波適用于濾除高斯噪聲；中值濾波在去除椒鹽噪聲時(shí)具有很好的性能，這3種都是常用的圖像濾波方法。

1.4 顏色特征

1.4.1 顏色直方圖

顏色直方圖統(tǒng)計(jì)圖像中各種顏色值出現(xiàn)的頻率，數(shù)學(xué)表達(dá)式如式（5）所示。

[H=h1，h2，…h(huán)c，…，hk] （5）

其中，

[hc=1m×ni=0m-1j=0n-1δfij-c，?c∈C] （6）

[m×n]為圖像尺寸；[C]為圖像的灰度取值集合；[k]為圖像的灰度級(jí)數(shù)；[fij]表示圖像在坐標(biāo)[（i，j）]處的取值。

1.4.2 累積直方圖

累積直方圖表示的是不大于某一顏色值的像素的分布規(guī)律，即歸一化顏色直方圖的累積分布函數(shù)。累積直方圖的計(jì)算公式如式（7）所示。

[H=H1，H2，…，Hc，…，Hk] （7）

其中，

[Hc=i=1chi] （8）

[hi]如式（6）所示。

1.4.3 顏色矩

顏色矩計(jì)算圖像各通道的前三階矩，一階矩、二階矩和三階矩的計(jì)算公式分別如式（9）、式（10）、式（11）所示，

[μi=1nj=0n-1pij] （9）

[σi=1nj=0n-1pij-μi212] （10）

[si=1nj=0n-1pij-μi313] （11）

其中，[n]為圖像的灰度級(jí)數(shù)；[i]表示圖像顏色的通道；[j]為圖像的灰度值；[pij]表示灰度圖像的概率密度函數(shù)。

1.4.4 顏色熵

顏色熵計(jì)算圖像各通道的熵值，計(jì)算公式如式（12）所示，

[Hc=-i=1nhcilog2hci] （12）

其中，[hc]表示圖像的顏色直方圖信息；[n]為圖像的總顏色數(shù)，[i∈1，2，…，n]。

1.5 紋理特征

灰度共生矩陣表現(xiàn)了在特定方向和距離上的兩個(gè)像素灰度值之間的統(tǒng)計(jì)規(guī)律，通常用灰度共生矩陣的一些統(tǒng)計(jì)量來(lái)間接表征圖像特征[6]，如能量、熵、對(duì)比度和同質(zhì)性，計(jì)算公式分別如（13）、（14）、（15）、（16）所示。

[A=i=1kj=1k（G（i，j））2] （13）

[E=-i=1kj=1kG（i，j）logG（i，j）] （14）

[C=n=0k-1n2i-j=nG（i，j）] （15）

[I=i=1kj=1kG（i，j）1+（i-j）2] （16）

以上各式中，[k]和[G（i，j）]分別為灰度共生矩陣的階數(shù)和元素。

2 系統(tǒng)設(shè)計(jì)

本軟件的設(shè)計(jì)以基于內(nèi)容的圖像檢索技術(shù)為理論支撐，旨在通過(guò)增強(qiáng)參數(shù)的交互性和中間結(jié)果的可視化程度輔助學(xué)生對(duì)相關(guān)課程的學(xué)習(xí)。本文設(shè)計(jì)了圖像預(yù)處理、圖像特征提取和圖像檢索三個(gè)模塊。

2.1 圖像預(yù)處理模塊

圖像預(yù)處理模塊主要實(shí)現(xiàn)對(duì)比度增強(qiáng)和去噪。對(duì)比度增強(qiáng)通過(guò)直方圖均衡化和基礎(chǔ)灰度變換的方法實(shí)現(xiàn)，噪聲去除通過(guò)濾波處理的方法實(shí)現(xiàn)。圖像預(yù)處理模塊包含直方圖處理、基礎(chǔ)灰度變換和濾波處理三部分，如圖1所示。

圖1 圖像預(yù)處理模塊設(shè)計(jì)

具有不同灰度分布規(guī)律的圖像所適用的對(duì)比度增強(qiáng)方法不同，每種增強(qiáng)方法都有自己的調(diào)整參數(shù)；具有不同特征噪聲的圖像所適用的濾波方法也不同。因此，圖像預(yù)處理模塊的設(shè)計(jì)重點(diǎn)在于對(duì)多種處理方法和多個(gè)可調(diào)參數(shù)的設(shè)置，如圖2所示，通過(guò)選擇處理方法或調(diào)整參數(shù)獲得不同的處理結(jié)果并直觀顯示，便于學(xué)生理解各參數(shù)對(duì)處理結(jié)果的影響及不同預(yù)處理方法的適用場(chǎng)合。

（a） 全局線性變換 （b） 分段線性變換

（c） 冪次變換 （d） 對(duì)數(shù)變換

（e） 均值濾波（f） 中值濾波 （g） 高斯濾波

圖2 可選方法和可調(diào)參數(shù)

2.2 圖像特征提取模塊

本軟件的圖像特征提取模塊設(shè)計(jì)了顏色直方圖、累積直方圖、顏色矩、顏色熵4種顏色特征和灰度共生矩陣1種紋理特征的計(jì)算和顯示，如圖3所示。該模塊將抽象的圖像特征轉(zhuǎn)換為具體的圖像或數(shù)字，有助于學(xué)生對(duì)圖像特征的理解和圖像特征提取過(guò)程的掌握。

圖3 圖像特征提取模塊設(shè)計(jì)

在圖像特征提取模塊中，顏色直方圖和累積直方圖通過(guò)圖像的形式顯示，如圖4（a）和圖4（b）所示；三個(gè)通道的顏色矩和顏色熵通過(guò)數(shù)值的形式顯示，如圖4（c）和圖4（d）所示。

（a） 顏色直方圖

（b） 累積直方圖

（c） 顏色矩 （d） 顏色熵

圖4 圖像顏色特征

2.3 圖像檢索模塊

圖5 圖像檢索模塊設(shè)計(jì)

圖像檢索模塊包含實(shí)現(xiàn)圖像檢索所需的每一步基本操作，如圖5所示。首先點(diǎn)擊“選擇圖像庫(kù)圖像”按鈕創(chuàng)建基礎(chǔ)圖像庫(kù)，然后點(diǎn)擊“輸入圖像”按鈕輸入待檢索圖像；當(dāng)選擇一種特征時(shí)，完成對(duì)基礎(chǔ)圖像庫(kù)圖像和待檢索圖像的相應(yīng)特征提取，最后點(diǎn)擊“開(kāi)始檢索”按鈕完成相似性度量，并輸出基礎(chǔ)圖像庫(kù)中與待檢索圖像相似度最高的前8幅圖像。

3 系統(tǒng)實(shí)現(xiàn)

本文在VS2010環(huán)境下，利用Qt5.0設(shè)計(jì)系統(tǒng)界面，調(diào)用OpenCV2.4.8中的庫(kù)函數(shù)實(shí)現(xiàn)系統(tǒng)三個(gè)模塊的具體功能。

3.1 圖像預(yù)處理模塊

圖像預(yù)處理模塊由用戶(hù)選擇輸入圖像，可執(zhí)行的操作包含直方圖處理、基礎(chǔ)灰度變換和濾波處理。為了簡(jiǎn)化操作，分別設(shè)置了可調(diào)參數(shù)的默認(rèn)值。

3.1.1 直方圖處理

直方圖均衡化通過(guò)調(diào)用equalizeHist函數(shù)實(shí)現(xiàn)；當(dāng)輸入多通道圖像時(shí)，首先調(diào)用split函數(shù)將圖像分割為多個(gè)單通道圖像，然后對(duì)每個(gè)單通道圖像進(jìn)行直方圖均衡化處理，最后再調(diào)用merge函數(shù)將處理后的多個(gè)單通道圖像合成為一幅多通道圖像。

3.1.2 基礎(chǔ)灰度變換

1）全局線性變換

全局線性變換根據(jù)公式（1）計(jì)算。通過(guò)Qt5.0設(shè)置灰度縮放比例[k]的默認(rèn)參數(shù)：默認(rèn)值為1.00，步長(zhǎng)為0.05，可調(diào)范圍為0.00～20.00。當(dāng)[k]值大于1時(shí)，[g（x，y）]很可能超出255，此時(shí)需對(duì)[g（x，y）]取值進(jìn)行調(diào)整。

2）分段線性變換

分段線性變換根據(jù)公式（2）計(jì)算。通過(guò)Qt5.0設(shè)置分段閾值[T1]、[T2]以及分段灰度縮放比例[k1]、[k2]、[k3]的默認(rèn)參數(shù)，如表1所示。

3）冪次變換

冪次變換根據(jù)公式（3）計(jì)算。通過(guò)Qt5.0設(shè)置灰度縮放比例[c]的默認(rèn)值為1.00，步長(zhǎng)為0.05，可調(diào)范圍為0.00～20.00；設(shè)置冪次[γ]的默認(rèn)值為1.00，步長(zhǎng)為0.01，可調(diào)范圍為0.00～20.00。

4）對(duì)數(shù)變換

對(duì)數(shù)變換根據(jù)公式（4），通過(guò)Qt5.0將灰度縮放比例[c]的默認(rèn)值設(shè)置為1.00，步長(zhǎng)設(shè)置為0.10，可調(diào)范圍設(shè)置為0.00～20.00。

4.1.3 濾波處理

均值濾波、中值濾波和高斯濾波分別通過(guò)調(diào)用blur函數(shù)、medianBlur函數(shù)和GaussianBlur函數(shù)實(shí)現(xiàn)。濾波處理的參數(shù)默認(rèn)設(shè)置通過(guò)Qt5.0完成，如表2所示。

3.2 圖像特征提取模塊

圖像特征提取模塊提取并顯示圖像的紋理和顏色特征，其中，顏色特征均在HSV顏色空間[7]計(jì)算。

3.2.1 顏色特征提取

顏色直方圖的提取通過(guò)調(diào)用calcHist函數(shù)實(shí)現(xiàn)；累積直方圖在得到顏色直方圖的基礎(chǔ)上，利用accumulate函數(shù)計(jì)算；遍歷整幅圖像，根據(jù)式（9）、（10）、（11）計(jì)算顏色矩，根據(jù)式（12）計(jì)算顏色熵。

3.2.2 紋理特征提取

首先根據(jù)定義計(jì)算距離為1、角度為0度、45度、90度和135度的4個(gè)灰度共生矩陣；然后遍歷每個(gè)灰度共生矩陣，根據(jù)式（13）、（14）、（15）、（16）計(jì)算各灰度共生矩陣的4個(gè)統(tǒng)計(jì)值，共得到16個(gè)特征值，作為圖像的紋理特征。

3.3 圖像檢索模塊

圖像檢索模塊的具體實(shí)現(xiàn)步驟為：首先選擇多幅圖像組成圖像庫(kù)，并將圖像存入SQL Server數(shù)據(jù)庫(kù)；輸入待檢索的參考圖像；選擇檢索依據(jù)的圖像特征，可選圖像特征如圖6所示，提取圖像特征；以圖像特征為比較依據(jù)，輸出相似性最高的前8幅圖像。檢索結(jié)果示例如圖7所示。

圖6 圖像檢索模塊可選特征

（a） 紋理檢索結(jié)果

（b） 顏色直方圖檢索結(jié)果

圖7 檢索結(jié)果示例

4 結(jié)論

本文結(jié)合教學(xué)需求，設(shè)計(jì)并開(kāi)發(fā)了圖像檢索技術(shù)教學(xué)輔助軟件。該軟件設(shè)置多個(gè)預(yù)處理參數(shù)，涵蓋多種圖像特征提取方法，并包含圖像檢索關(guān)鍵技術(shù)，可以實(shí)現(xiàn)圖像檢索所需的每一步操作，并以圖像或數(shù)值的形式直觀顯示圖像檢索技術(shù)的中間處理結(jié)果。將本文軟件應(yīng)用于課堂教學(xué)中，便于學(xué)生熟悉不同預(yù)處理方法的適用場(chǎng)合、理解抽象的圖像特征、掌握?qǐng)D像檢索關(guān)鍵技術(shù)。

參考文獻(xiàn)：

[1] 張水利. 基于主顏色的彩色圖像索引技術(shù)[J]. 電子測(cè)試， 2014（7）：44-45，48.

[2] 張蓓. 圖像檢索技術(shù)的發(fā)展及現(xiàn)狀分析[J]. 福建電腦， 2009，25（4）：42-46.

[3] 黃山園. 基于顏色特征的圖像檢索技術(shù)研究[D]. 太原： 山西大學(xué)， 2013.

[4] 張少博，全書(shū)海，石英等. 基于顏色矩的圖像檢索算法研究[J]. 計(jì)算機(jī)工程， 2014（6）：252-255.

[5] 賈婧，王忠芝. 基于共生矩陣的圖像檢索系統(tǒng)的研究[J]. 微計(jì)算機(jī)信息， 2010，26（10-2）：202-203，201.

[6] 王曉東. 紋理圖像分類(lèi)系統(tǒng)及其關(guān)鍵技術(shù)研究[D]. 南京： 南京郵電大學(xué)，2013.

[7] Gonzalez R C， Woods R E.數(shù)字圖像處理[M]. 阮秋琦， 阮宇智， 譯. 2版. 北京： 電子工業(yè)出版社， 2007： 228-239.