面向人眼探測(cè)識(shí)別的視頻優(yōu)化方法研究

吳 錦，范曉鵬，朱 楓

（1.中國(guó)科學(xué)院 研究生院，北京 100049；2.中國(guó)科學(xué)院 沈陽(yáng)自動(dòng)化研究所，遼寧 沈陽(yáng) 110016）

1 引言

在探測(cè)識(shí)別的過(guò)程中，成像設(shè)備獲取圖像用于人眼探測(cè)識(shí)別。觀察者總是希望能夠從圖像中獲取盡量多的信息以提高探測(cè)識(shí)別的成功率。因此，國(guó)內(nèi)外學(xué)者提出了各種各樣增強(qiáng)圖像的方法，如直方圖均衡，Retinex 算法[1]等。近些年來(lái)，也有學(xué)者通過(guò)基于人眼視覺(jué)系統(tǒng)的研究提出了一些方法圖像增強(qiáng)的方法[2－3]。在先前的研究中也提出了一種基于人眼視覺(jué)系統(tǒng)的圖像優(yōu)化方法[4]，以使圖像中信息最大限度的為人眼感知，并進(jìn)行了一定的改進(jìn)。

這些方法在用于單幅圖像的增強(qiáng)和優(yōu)化中能夠獲得較好的結(jié)果，但是在用于視頻或連續(xù)的序列圖像處理時(shí)就會(huì)出現(xiàn)圖像閃爍的現(xiàn)象。尤其是在實(shí)時(shí)性要求比較高的情況下，這種閃爍對(duì)人眼探測(cè)識(shí)別會(huì)造成很大的影響。究其原因，是因?yàn)檫@些方法在處理視頻或序列圖像時(shí)，只是對(duì)當(dāng)前幀進(jìn)行處理，并沒(méi)有考慮之前各幀灰度級(jí)情況對(duì)當(dāng)前幀的影響，造成圖像中的景物可能在前后幀的處理過(guò)程中出現(xiàn)很大的灰度級(jí)跳變，從而產(chǎn)生圖像閃爍現(xiàn)象。

首先簡(jiǎn)要介紹作者在之前研究中提出的面向人眼探測(cè)識(shí)別的圖像優(yōu)化方法，然后分析其在用于視頻優(yōu)化時(shí)出現(xiàn)圖像閃爍的具體原因，然后提出一種能夠抑制這種閃爍而又使人眼能夠獲得盡量多圖像信息的方法。

2 面向人眼探測(cè)識(shí)別的圖像優(yōu)化方法簡(jiǎn)介

圖像優(yōu)化后用于目標(biāo)探測(cè)識(shí)別時(shí)，人們總是希望在優(yōu)化圖像的過(guò)程中不改變?cè)紙D像的信息，這樣可以避免因優(yōu)化后的圖像因破壞原始圖像信息而對(duì)探測(cè)識(shí)別的成功率造成影響。之前提出的方法就是在盡量不丟失圖像原始信息的前提下，按照人眼視覺(jué)特性，對(duì)圖像進(jìn)行優(yōu)化以期望使人眼獲得的信息最大化。

在沒(méi)有先驗(yàn)知識(shí)的情況下，可以將圖像按照相鄰像素的灰度值是否相同的標(biāo)準(zhǔn)進(jìn)行區(qū)域分割，把圖像分成各個(gè)相互鄰接的區(qū)域，而圖像中的信息就蘊(yùn)含在這些區(qū)域之中。然而根據(jù)人眼視覺(jué)系統(tǒng)的臨界可見(jiàn)偏差特性（Just Noticeable Difference：JND）[5]可知，相鄰區(qū)域之間的差值只有達(dá)到一定的閾值之后才能被人眼很好的區(qū)分，如果這個(gè)差值很小，那么觀察者在觀察的過(guò)程中很可能將其視為同一區(qū)域。如果圖像中存在著大量的這樣的區(qū)域，那么圖像中的信息就不能被人眼很好的感知。人眼的JND 特性曲線，如圖1 所示。

圖1 人眼JND 特性曲線Fig.1 Human Eye JND Characteristic Curve

基于這樣的分析，我們將圖像按照上述原則進(jìn)行圖像分割后，按照區(qū)域相鄰、灰度級(jí)從低到高及灰度級(jí)差值最小的原則建立圖像中灰度級(jí)之間最小相鄰關(guān)系表。然后對(duì)在圖像中不相鄰而最小相鄰關(guān)系表中相鄰的各灰度進(jìn)行合并，從而得到在不改變圖像原始信息的前提下，表示圖像所需的最少灰度級(jí)個(gè)數(shù)。

為了使相鄰的區(qū)域能夠被人眼很好的分辨，我們根據(jù)文獻(xiàn)[6]中提到的視覺(jué)心理學(xué)函數(shù)結(jié)合人眼臨界可見(jiàn)偏差特性，建立灰度級(jí)映射表。人眼視覺(jué)心理學(xué)函數(shù)的表達(dá)式如式（1）所示：

式中：p—信號(hào)s的探測(cè)概率；β的值可以通過(guò)式（2）求得：

式中：k—經(jīng)驗(yàn)值，通常取3。α的值可以通過(guò)式（3）求得：

式中：S0—臨界可見(jiàn)偏差的閾值。

人眼視覺(jué)心理學(xué)函數(shù)曲線，如圖2 所示。

圖2 人眼視覺(jué)心理學(xué)函數(shù)曲線Fig.2 Human Visual Psychology Function Curve

得到灰度級(jí)映射關(guān)系表后，我們就可以將原始圖像的各像素通過(guò)灰度映射得到符合人眼觀察要求的圖像。這一部分內(nèi)容文獻(xiàn)[4]中有詳細(xì)描述。

但是，人眼分辨灰度級(jí)的個(gè)數(shù)總是有限的，這一點(diǎn)可以從人眼的臨界可見(jiàn)偏差特性得到。當(dāng)表示一幅圖像所需的最小灰度級(jí)個(gè)數(shù)高于人眼可分辨的灰度級(jí)個(gè)數(shù)時(shí)，根據(jù)上述方法進(jìn)行灰度映射勢(shì)必會(huì)造成一些信息仍然很難被人眼所感知。這樣，我們?yōu)榱吮ＷC那些之前更容易被人眼感知的信息能更好的發(fā)揮作用，將原來(lái)不易被人眼感知的信息壓縮，以獲得更大的映射空間用于原來(lái)易于人眼觀察的信息。

當(dāng)表示圖像所需的灰度級(jí)個(gè)數(shù)高于人眼能夠分辨的個(gè)數(shù)時(shí)，根據(jù)最小相鄰關(guān)系表，我們提出了兩種不同的壓縮方式，一種是以最小相鄰的灰度級(jí)中區(qū)域鄰接的次數(shù)，另一種是以最小相鄰區(qū)域中鄰接區(qū)域的鄰接長(zhǎng)度。通過(guò)這些方法，將表示圖像所需的灰度級(jí)數(shù)壓縮到人眼能夠分辨的個(gè)數(shù)，然后在根據(jù)上述方法進(jìn)行灰度級(jí)映射，得到輸出圖像。算法實(shí)施的過(guò)程，如圖3 所示。

圖3 算法實(shí)施過(guò)程Fig.3 Algorithm Implementation Process

3 視頻閃爍原因分析

上述方法在用于單幅圖像時(shí)可以獲得很好的視覺(jué)效果，但是用于視頻優(yōu)化時(shí)，視頻圖像經(jīng)常出現(xiàn)閃爍現(xiàn)象。原始視頻中由于場(chǎng)景的明暗變化可能造成閃爍固然是一部分原因，但是根本上還是由于圖像優(yōu)化方法在用于視頻處理時(shí)，其只是處理當(dāng)前幀的信息，并沒(méi)有考慮到前面數(shù)幀的明暗對(duì)當(dāng)前幀的影響。

一個(gè)視頻中連續(xù)的兩幀圖像（圖略）。經(jīng)過(guò)前面所述的算法處理之后的結(jié)果（圖略）。

可以明顯看出，近處草地在處理后的前后兩幀中的亮度出現(xiàn)了較大的變化。

對(duì)另外一個(gè)含有400 幀圖像視頻進(jìn)行處理，發(fā)現(xiàn)其同樣出現(xiàn)嚴(yán)重的閃爍現(xiàn)象，記錄各幀的灰度映射曲線，其結(jié)果，如圖4 所示。

圖4 處理視頻的灰度映射曲線Fig.4 Gray Mapping Curve to Process Video

圖4 中可以看出，（0～120）范圍內(nèi)的灰度級(jí)在所有幀中映射后的結(jié)果變化并不是太大，而高于120 以后的灰度級(jí)的變化要比（0～120）的灰度級(jí)變化大的多。

我們可以從上述分析中得到這樣的結(jié)論：在處理視頻時(shí)，由于算法只是針對(duì)單幀圖像進(jìn)行優(yōu)化，并沒(méi)有考慮各幀之間的聯(lián)系，這是造成視頻處理后閃爍的主要原因，而這種閃爍在不同的視頻場(chǎng)景中，會(huì)反映在灰度映射曲線某個(gè)范圍內(nèi)在前后幾幀中變化很大。

4 視頻閃爍抑制方法

為了保證處理時(shí)不向圖像引入原本不存在的信息，在盡可能保留原圖像信息的前提下，讓人眼感知更多的圖像信息，之前的圖像優(yōu)化方法采用了灰度級(jí)全局保序、局部不倒序的原則。在解決處理視頻閃爍問(wèn)題時(shí)，我們同樣采用這一原則。

從上述原因分析中我們可以得到，運(yùn)用算法處理視頻時(shí)，當(dāng)兩幀圖像的灰度映射曲線存在較大差異時(shí)，會(huì)出現(xiàn)較為嚴(yán)重的閃爍現(xiàn)象，而兩幀圖像的灰度映射曲線接近時(shí)，這種閃爍相對(duì)較輕。所以，在處理閃爍時(shí)，我們總是希望能夠使得當(dāng)前處理的視頻幀的灰度映射關(guān)系和它的前一幀差別不大。

運(yùn)用第二節(jié)所述的方法，我們處理視頻時(shí)，可以得到當(dāng)前幀的灰度映射關(guān)系，記為curr_map，存儲(chǔ)前一幀的灰度映射關(guān)系并記為prev_map，兩者的差值記為diff，diff的計(jì)算表達(dá)式為：

我們希望diff的絕對(duì)值盡可能的小，因此我們對(duì)當(dāng)前幀的curr_map 進(jìn)行調(diào)節(jié)，如式（5）所示：

式中：k—調(diào)節(jié)灰度映射關(guān)系差異大小的系數(shù)，當(dāng)k=0 時(shí)，當(dāng)前幀的灰度映射關(guān)系與前一幀完全相同，當(dāng)k=1 時(shí)，當(dāng)前幀的映射關(guān)系就是通過(guò)第二節(jié)所述方法計(jì)算得到的映射關(guān)系。為了在視頻閃爍和人眼的信息感知之間做一個(gè)折中，將的值選為0.5。

5 實(shí)驗(yàn)結(jié)果

根據(jù)前面介紹的抑制圖像閃爍的方法，對(duì)上節(jié)提到的含有400 幀圖像的視頻重新進(jìn)行了優(yōu)化處理，得到處理后的每幀圖像的灰度均值，如圖5 所示。

圖5 視頻做抑制閃爍處理后每幀灰度均值Fig.5 The Gray Level of Every Frame after the Video is Treated with Inhibition Scintillation

而根據(jù)第二節(jié)提到的方法進(jìn)行優(yōu)化處理的視頻每幀的均值，如圖6 所示。

圖6 視頻未做抑制閃爍處理的每幀灰度均值Fig.6 The Gray Level of Every Frame without the Video being Treated with Inhibition Scintillation

圖像的灰度均值可以反映一幅圖像的總體亮度情況。圖8中視頻各幀的均值變化顯然比圖9 中的視頻各幀均值變化的平緩，也就是說(shuō)經(jīng)過(guò)閃爍抑制處理后的視頻的總體亮度變化的更平緩，這樣視頻就不會(huì)出現(xiàn)劇烈閃爍的現(xiàn)象。

圖4 中的連續(xù)兩幀圖像經(jīng)過(guò)原始算法經(jīng)過(guò)第二節(jié)所述算法處理后出現(xiàn)了閃爍現(xiàn)象。在經(jīng)過(guò)閃爍抑制處理后，其結(jié)果如圖7所示。從兩幅圖像中可以看出，近處的草地上的灰度值已經(jīng)十分接近，在視頻中該幀附近也看不到明顯的閃爍現(xiàn)象。

圖7 連續(xù)兩幀圖像閃爍抑制的效果Fig.7 Effect of Consecutive Frame Image Scintillation Inhibition

［1］Kobus Barnard，Brian Funt.Investigations into Multi－scale Retinex［J］.Vision and Technology，1999：9－17.

［2］黃凱奇，王橋.基于人眼視覺(jué)特性的多尺度彩色圖象增強(qiáng)算法［J］.中國(guó)圖像圖形學(xué)報(bào)，2003，8（11）：1242－1246.（Huang Kai－qi，Wang Qiao.Multiscale color image enhancement algorithm based on human visual properties［J］.China Journal Of Graphics，2003，8（11）：1242－1246.）

［3］吳穎謙，方濤，李聰亮.一種基于小波分析和人眼視覺(jué)特性的圖像增強(qiáng)方法［J］.數(shù)據(jù)采集與處理，2003，18（1）：17－21.（Wu Ying－qian，F(xiàn)ang Tao，Li Cong－liang.An image enhancement method based on wavelet analysis and human visual characteristic［J］.Data Acquisition and Processing，2003，18（1）：17－21.）

［4］劉勛，吳錦，郝穎明，等.面向人眼視覺(jué)的圖像增強(qiáng)方法［J］.計(jì)算機(jī)工程，2012，38（2）：234－236.（Liu Xun，Wu Jin，Hao Ying－ming，etc.Image enhancement method facing the human eye visual［J］.Computer Engineering，2012，38（2）：234－236.）

［5］Ji.T.L，Sundareshan M.K，Roehrig H.Adaptive image contrast enhancement based on human visual properties ［J］.IEEE Transaction on Medical Imaging，1994，13（4）：573－586.

［6］Peter G.J.Barten.Contrast sensitivity of human eye and its effects on image quality［M］.Knegsel：HV press，1999.