一種基于視覺(jué)顯著性的交通圖像質(zhì)量評(píng)價(jià)方法

張凌峰++李玉惠

摘要：隨著智能交通的不斷發(fā)展、監(jiān)控設(shè)備的更新?lián)Q代，交通監(jiān)控系統(tǒng)獲取到的圖像信息每年都在成倍增長(zhǎng)，其直接影響就是攝像設(shè)備采集到的無(wú)用信息太多，如何對(duì)其中的圖像信息進(jìn)行質(zhì)量評(píng)價(jià)以及篩選是一個(gè)重要問(wèn)題。為了改善這一現(xiàn)象，提出一種基于視覺(jué)顯著性的交通圖像質(zhì)量評(píng)價(jià)方法。該方法將圖像抽樣成一些隨機(jī)的感興趣區(qū)域 ，然后對(duì)這些區(qū)域進(jìn)行計(jì)算，最后得到顯著性圖像。實(shí)驗(yàn)結(jié)果表明，基于視覺(jué)顯著性的交通質(zhì)量評(píng)價(jià)方法效率高、實(shí)用性強(qiáng)。該方法得到的顯著性圖像明顯符合人眼的視覺(jué)特性以及感興趣區(qū)域，達(dá)到了預(yù)期效果。

關(guān)鍵詞：圖像質(zhì)量評(píng)價(jià)；智能交通；視覺(jué)顯著性；感興趣區(qū)域；顯著性圖像

DOIDOI：10.11907/rjdk.172407

中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：16727800（2017）010019503

0引言

近年來(lái)，隨著數(shù)字圖像信息技術(shù)的發(fā)展， 圖像質(zhì)量評(píng)價(jià)（Image Quality Assessment，IQA）成為圖像信息技術(shù)的重要研究?jī)?nèi)容。隨著科技的飛速發(fā)展，圖像技術(shù)被廣泛應(yīng)用于各個(gè)領(lǐng)域，圖像信息相比于其它信息優(yōu)勢(shì)顯著，因此要對(duì)圖像信息進(jìn)行合理處理，對(duì)圖像質(zhì)量作出有效評(píng)價(jià)顯得尤為重要。算法選擇以及圖像信息系統(tǒng)性能評(píng)價(jià)都有賴于對(duì)圖像質(zhì)量的有效評(píng)價(jià)。能否準(zhǔn)確地評(píng)價(jià)圖像質(zhì)量是圖像處理技術(shù)的核心問(wèn)題之一。圖像質(zhì)量評(píng)價(jià)方法通常分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。主觀評(píng)價(jià)方法準(zhǔn)確、可靠，但隨著大數(shù)據(jù)時(shí)代的來(lái)臨，每天獲取到的圖像數(shù)量不計(jì)其數(shù)，僅依靠主觀評(píng)價(jià)方法會(huì)導(dǎo)致評(píng)價(jià)結(jié)果不穩(wěn)定，無(wú)法適用于目前的圖像信息工程當(dāng)中；客觀評(píng)價(jià)方法利用數(shù)學(xué)度量的方法對(duì)圖像質(zhì)量進(jìn)行分析評(píng)價(jià)，其目的是建立數(shù)學(xué)客觀評(píng)價(jià)模型，使評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)具有較好的一致性，具有耗時(shí)少、效率高、穩(wěn)定性強(qiáng)等優(yōu)點(diǎn)，并且能夠?qū)崿F(xiàn)軟件化、模塊化，已經(jīng)成為圖像質(zhì)量評(píng)價(jià)的研究重點(diǎn)。

經(jīng)典的客觀圖像質(zhì)量評(píng)價(jià)方法——均方差（MSE）和峰值信噪比（PSNR）均基于數(shù)學(xué)統(tǒng)計(jì)特性度量圖像質(zhì)量。這兩種方法計(jì)算量小、易于實(shí)現(xiàn)，在圖像處理領(lǐng)域中獲得了廣泛應(yīng)用，缺點(diǎn)是它們單純對(duì)失真圖像和原圖像之間的灰度值差異進(jìn)行簡(jiǎn)單計(jì)算，而忽略了人眼在觀察圖像時(shí)的感興趣區(qū)域，難以有效地反映人眼對(duì)圖像的視覺(jué)感知。隨著對(duì)人眼視覺(jué)系統(tǒng)（Human Visual System，HVS）的深入研究，一些專家開(kāi)始利用人眼視覺(jué)系統(tǒng)的某些特性進(jìn)行圖像質(zhì)量評(píng)價(jià)。文獻(xiàn)[1]通過(guò)對(duì)人的心理學(xué)和生理學(xué)進(jìn)行實(shí)驗(yàn)，構(gòu)造出人類視覺(jué)系統(tǒng)的前端特征模型，進(jìn)而模擬出人的視覺(jué)特性進(jìn)行圖像質(zhì)量客觀評(píng)價(jià)，但得出的實(shí)驗(yàn)結(jié)果難以令人滿意；Wang等[2]將待測(cè)圖像的亮度、對(duì)比度和結(jié)構(gòu)信息與原圖像進(jìn)行對(duì)比，提出了基于結(jié)構(gòu)相似度（Structural Similarity， SSIM）的圖像質(zhì)量評(píng)價(jià)方法；針對(duì)SSIM不能較好地評(píng)價(jià)嚴(yán)重模糊的降質(zhì)圖像的問(wèn)題，楊春玲等[3]提出一種基于梯度的結(jié)構(gòu)相似度（GSSIM）圖像質(zhì)量評(píng)價(jià)方法，該方法將梯度作為圖像的主要結(jié)構(gòu)信息，其與人眼視覺(jué)系統(tǒng)的高層次感知理論比較符合，能較好地評(píng)價(jià)模糊圖像；田浩南等[4]在基于結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法基礎(chǔ)上，考慮了邊緣信息對(duì)人眼視覺(jué)感知的重要性，提出了基于邊緣結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法；靳鑫等[5]考慮到亮度、對(duì)比度、結(jié)構(gòu)度對(duì)不同失真類型圖像質(zhì)量評(píng)價(jià)的貢獻(xiàn)程度不同，提出了根據(jù)圖像失真類型適應(yīng)SSIM（ASSIM）的圖像質(zhì)量評(píng)價(jià)方法。

1視覺(jué)顯著性研究現(xiàn)狀

視覺(jué)顯著性和相關(guān)認(rèn)知神經(jīng)學(xué)在過(guò)去幾十年里已經(jīng)獲得了廣泛研究，人類的視覺(jué)注意機(jī)制能夠?qū)⒂邢薜恼J(rèn)知資源聚集于場(chǎng)景中的重要刺激而抑制那些不重要的信息。最早的研究工作由C Koch等[6]完成，他們通過(guò)對(duì)靈長(zhǎng)類動(dòng)物和人類視覺(jué)系統(tǒng)的研究，提出視覺(jué)顯著性注意轉(zhuǎn)移的3個(gè)特點(diǎn)：①不同圖像的基本底層特征包括：顏色、朝向、運(yùn)動(dòng)方向和差異等；②選擇性注釋的一個(gè)功能是使不同圖像之間的信息變成一個(gè)連貫的整體；③提出了WTA機(jī)制，即在注意過(guò)程中先選擇最明顯的目標(biāo)，然后選擇次明顯目標(biāo)。Itti和Koch[7]在1998年第一次成功實(shí)現(xiàn)了視覺(jué)顯著性模型，并據(jù)此提出了視覺(jué)選擇性注視理論（Itti）。其采用的WTA機(jī)制大致符合人眼的注意順序，對(duì)圖像的底層特征分析比較詳細(xì)，缺點(diǎn)是仿生物模型的結(jié)構(gòu)建立比較復(fù)雜，計(jì)算速度慢、效率低，目標(biāo)輪廓無(wú)法辨識(shí)，圖像分辨率低；2006年，J Harel和C Koch[8]提出基于Graph的顯著性算法，對(duì)Itti算法進(jìn)行了改進(jìn)，其實(shí)驗(yàn)效果比Itti算法有了明顯提升，也為視覺(jué)顯著性跨學(xué)科研究提供了新思路。但缺點(diǎn)是計(jì)算量大，在實(shí)時(shí)應(yīng)用過(guò)程中效果很差；2007年，侯曉迪[9]從頻率角度提出了視覺(jué)顯著性新的研究方向，并從信息角度分析了圖像組成部分。該算法只需進(jìn)行傅里葉變換和反傅里葉變換，因此計(jì)算速度相當(dāng)快，但是顯著性區(qū)域不明顯，只能標(biāo)出高亮區(qū)域；2010年，R Achanta[10]在自己研究的基礎(chǔ)上改進(jìn)了AC算法與IG算法，提出一種基于最大對(duì)稱環(huán)繞的顯著性檢測(cè)方法，改善了由于目標(biāo)中心區(qū)域相互之間的顯著性不明顯，不能高亮地顯示顯著目標(biāo)中心區(qū)域的問(wèn)題。但該算法增加了計(jì)算復(fù)雜度，需要對(duì)全圖每個(gè)點(diǎn)進(jìn)行掃描；2011年，M M Cheng[11]提出了HC和RC基于全局對(duì)比的顯著性分割算法，該算法能夠得到高精度的顯著圖，并在復(fù)雜自然環(huán)境中準(zhǔn)確分割出目標(biāo)圖像。HC算法改進(jìn)了直方統(tǒng)計(jì)和全局對(duì)比度算法，能夠獲得不錯(cuò)的計(jì)算速度。在RC算法中，其提出的區(qū)域分割思路為顯著性算法注入了新思路，但其計(jì)算復(fù)雜度較大，不易實(shí)現(xiàn)。

2視覺(jué)顯著性研究與應(yīng)用

基于視覺(jué)注意的顯著性區(qū)域檢測(cè)對(duì)于圖像分析過(guò)程具有非常重要的意義。注意是人類信息加工過(guò)程中一項(xiàng)重要的心理調(diào)節(jié)機(jī)制，它能夠?qū)τ邢薜男畔⒓庸べY源進(jìn)行分配，使感知具備選擇能力。如果將這種機(jī)制引入交通圖像分析領(lǐng)域，將計(jì)算資源優(yōu)先分配給那些容易引起觀察者注意的區(qū)域，將極大地提高現(xiàn)有圖像質(zhì)量評(píng)價(jià)的工作效率。endprint

視覺(jué)顯著性檢測(cè)（Visual Saliency Detection）是通過(guò)模擬人眼視覺(jué)系統(tǒng)，利用智能算法及模型提取出圖像中的顯著區(qū)域（人眼感興趣區(qū)域），最終得到顯著圖。視覺(jué)注意機(jī)制（Visual Attention Mechanism）為：當(dāng)人看到一個(gè)給定場(chǎng)景時(shí)，人眼會(huì)自動(dòng)對(duì)場(chǎng)景中的感興趣區(qū)域進(jìn)行提取，并選擇性地忽略掉不感興趣區(qū)域，這種人眼作出自覺(jué)反應(yīng)的機(jī)制被稱為視覺(jué)注意機(jī)制，這些人眼感興趣的區(qū)域被稱為顯著性區(qū)域。如圖1所示，當(dāng)人看到這幅圖像時(shí)，最能引起人眼注意的就是圖中的4個(gè)人。

人眼視覺(jué)注意機(jī)制分為兩種：

（1）自底向上（BottomUp）。它是基于數(shù)據(jù)驅(qū)動(dòng)的注意機(jī)制，僅受感知數(shù)據(jù)的驅(qū)動(dòng)，將人的觀察點(diǎn)指引到場(chǎng)景中的顯著區(qū)域，即與周圍具有較強(qiáng)對(duì)比度或有明顯不同的區(qū)域。利用圖像的顏色、亮度、邊緣、條紋等特征表示，判斷目標(biāo)區(qū)域和其周圍像素的差異，由此計(jì)算圖像區(qū)域的顯著值。該注意機(jī)制常用來(lái)進(jìn)行圖像檢索、主動(dòng)視覺(jué)等研究。

（2）自頂向下（TopDown）。它是基于任務(wù)驅(qū)動(dòng)目標(biāo)的注意機(jī)制，由人的“認(rèn)知因素”決定，如預(yù)期、知識(shí)、目標(biāo)認(rèn)知等。它利用圖像的某些特定特征計(jì)算圖像區(qū)域的顯著值。該注意機(jī)制常用來(lái)完成目標(biāo)檢測(cè)、目標(biāo)跟蹤等任務(wù)。

2.1基于隨機(jī)抽樣的視覺(jué)顯著性算法

首先建立場(chǎng)景，輸入一個(gè)維數(shù)是r×c×3的彩色圖像I。其中r和c分別是行和列。開(kāi)始用高斯濾波器將輸入圖像I進(jìn)行濾波，以去除噪聲。下一步將其RGB空間分解為各自的L*、a*、b*通道，構(gòu)成Lab空間，其中每個(gè)通道大小為r×c。由于Lab空間經(jīng)常被用作比較顯著圖的標(biāo)準(zhǔn)，并且Lab空間與人的心理視覺(jué)空間相似度高，因此Lab空間優(yōu)于其它顏色空間。顯著圖中，L*、a*、b*通道分別稱為SL、Sa、Sb，大小都是r×c。隨后，在每個(gè)L*、a*、b*通道生成n個(gè)隨機(jī)子窗口。左上角和第I個(gè)隨機(jī)子窗口的右下坐標(biāo)分別為（x1i，y1i）和（x2i，y2i），其中i=1…n。在給定通道中，特定坐標(biāo)位置上的顯著值定義為像素亮度值的絕對(duì)差與給定通道的隨機(jī)子窗口的平均像素亮度值之和。最后得到的顯著圖S的大小也為r×c。指定位置計(jì)算出的最終顯著值作為L(zhǎng)ab空間中不同通道的顯著性歐式范數(shù)。由于圖像中的顯著區(qū)域或?qū)ο罂梢栽谌我馕恢蒙铣霈F(xiàn)，因此在生成的隨機(jī)子窗口坐標(biāo)中運(yùn)用離散均勻概率分布，有助于放置窗口而不會(huì)偏向某個(gè)特定窗口的尺寸或圖像空間域。將得到的顯著圖在區(qū)間[0，255]內(nèi)進(jìn)行歸一化，隨后進(jìn)行中值濾波。選擇中值濾波的主要原因是它在消除噪聲的同時(shí)能夠保留邊緣信息。為進(jìn)一步提高S的對(duì)比度，將其進(jìn)行直方圖均衡化。這里的圖像增強(qiáng)和人眼視覺(jué)系統(tǒng)對(duì)視覺(jué)場(chǎng)景中顯著刺激的視覺(jué)對(duì)比調(diào)和是一致的。本文方法不會(huì)降低輸入圖像的分辨率，也不需要對(duì)圖像進(jìn)行預(yù)訓(xùn)練，而且只有一個(gè)需要調(diào)整的參數(shù)n。流程如圖2所示。

本文的顯著性計(jì)算方法是先將圖像抽樣成一些隨機(jī)的感興趣區(qū)域 （Region of Interest，ROI），然后在這些區(qū)域上進(jìn)行計(jì)算，對(duì)于一幅圖像如RGB，第一步用高斯濾波器進(jìn)行濾波，并將RGB空間轉(zhuǎn)換成Lab空間；第二步隨機(jī)生成n個(gè)窗口，對(duì)于每個(gè)窗口，計(jì)算出灰度和與面積的比值，即平均亮度值meani：

meani=sumi/Areai（1）

然后依據(jù)下式計(jì)算窗口中每個(gè)像素Iij的顯著性映射：

SMi，j=SMi，j+|Ii，j-meani|（2）

第二步是在3個(gè)通道上分別進(jìn)行的，所以最后的顯著性映射要采用歐式距離把顏色空間的顯著值融合在一起，即：

FMi.j=LM2i，j+AM2i，j+BM2i，j（3）

最后得到的FM即為整幅圖像的顯著值。

2.2實(shí)驗(yàn)結(jié)果

將LIVE圖像庫(kù)里的標(biāo)準(zhǔn)圖像以及交通監(jiān)控圖像按照上述步驟獲取顯著圖，如圖3～圖5所示。

顯著圖的右邊色譜圖中，自上而下由紅色到藍(lán)色漸變，其中紅色到黃色部分顯著程度為高，由黃色到淺藍(lán)色部分顯著程度為中，由淺藍(lán)色到深藍(lán)色部分的顯著程度為低。顯著圖中顏色由紅色到黃色之間的區(qū)域?yàn)楦咭曈X(jué)顯著區(qū)域，與之對(duì)應(yīng)的原圖像中的區(qū)域即為人眼感興趣區(qū)域。從圖3可以直觀地看到，白色的塔和房子以及柵欄是人眼感興趣區(qū)域，相應(yīng)的顯著圖中這幾個(gè)區(qū)域的顏色都在紅色到黃色之間，與預(yù)期結(jié)果一致；圖4中人眼感興趣區(qū)域主要集中在行駛的車輛以及白色線條區(qū)域，與顯著圖中的高視覺(jué)顯著區(qū)域一致；圖5中由于沒(méi)有車輛，而顯著圖中部分高視覺(jué)顯著區(qū)域顯示在非主道路區(qū)域，與預(yù)想有偏差。因此，本方法用于有車輛的道路交通圖像中時(shí)效果較好，在無(wú)車輛的道路交通圖像中效果不佳。

3結(jié)語(yǔ)

本文采用了一種基于隨機(jī)抽樣的視覺(jué)顯著性算法，該算法的優(yōu)點(diǎn)是不需要將圖像轉(zhuǎn)換為灰度圖像，參數(shù)調(diào)節(jié)簡(jiǎn)單，運(yùn)算速度較快，并且能夠在原圖上直接操作，同時(shí)不會(huì)降低圖像分辨率。在運(yùn)用于有車輛的道路交通圖像時(shí)有明顯效果，獲取到的顯著圖的顯著區(qū)域與人眼的感興趣區(qū)域基本一致，在顯著性檢測(cè)方面達(dá)到了預(yù)期效果。同時(shí)，本文的不足之處在于沒(méi)有得到完整的質(zhì)量評(píng)價(jià)結(jié)果，后續(xù)還要根據(jù)所得的顯著圖進(jìn)行下一步研究分析，將得到的顯著區(qū)域與原圖進(jìn)行相似度分析，最后得到質(zhì)量評(píng)價(jià)結(jié)果。

參考文獻(xiàn)參考文獻(xiàn)：

[1]LI BEI，MEYER W，KLASSEN V R.A comparison of two image quality models[C].Human Vision and Electronic Imaging.San Jose：SPIE Digital Library，1998：98109.

[2]WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Trans. Image Process， 2004，13（4）：600612.endprint

[3]楊春玲，等.基于梯度的結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法[J].華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2006，34（9）：2225.

[4]田浩南，李素梅，等.基于邊緣的SSIM圖像質(zhì)量客觀評(píng)價(jià)方法[J].光子學(xué)報(bào)，2013，42（1）：110114.

[5]靳鑫，蔣剛毅，等.基于結(jié)構(gòu)相似度的自適應(yīng)圖像質(zhì)量評(píng)價(jià)[J].光電子·微光，2014，25（2）：378385.

[6]C KOCH，S ULLMAN. Shifts in selective visual attention： towards the underlying neural circuitry[J].Human Neurobiology， 1985，4（4）：219227.

[7]L ITTI， C KOCH， E NIEBUR.A model of saliency based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：12541259.

[8]J HAREL， C KOCH， P PERONA. Graphbased visual saliency[J].Advances in Neural Information Processing Systems， 2006：545552.

[9]X HOU，L ZHANG. Saliency detection： a spectral residual approach[C].IEEE Conference on Computer Vision and Pattern Recognition， 2007：18.

[10]RADHAKRISHNA ACHANTA， SABINE SUSSTRUNK.Saliency detection using maximum symmetric surround[C].International Conference on Image Processing （ICIP）， Hong Kong，2010.

[11]MINGMING CHENG， GUOXIN ZHANG， NILOY J MITRA， et al. Global contrast based salient region detection[C].IEEE International Conference on Computer Vision and Pattern Recognition （IEEE CVPR）， 2011：409416.

責(zé)任編輯（責(zé)任編輯：黃?。〆ndprint