面向人眼探測識別的視頻優(yōu)化方法研究

吳 錦，范曉鵬，朱 楓

（1.中國科學(xué)院 研究生院，北京 100049；2.中國科學(xué)院 沈陽自動化研究所，遼寧 沈陽 110016）

1 引言

在探測識別的過程中，成像設(shè)備獲取圖像用于人眼探測識別。觀察者總是希望能夠從圖像中獲取盡量多的信息以提高探測識別的成功率。因此，國內(nèi)外學(xué)者提出了各種各樣增強圖像的方法，如直方圖均衡，Retinex 算法[1]等。近些年來，也有學(xué)者通過基于人眼視覺系統(tǒng)的研究提出了一些方法圖像增強的方法[2－3]。在先前的研究中也提出了一種基于人眼視覺系統(tǒng)的圖像優(yōu)化方法[4]，以使圖像中信息最大限度的為人眼感知，并進行了一定的改進。

這些方法在用于單幅圖像的增強和優(yōu)化中能夠獲得較好的結(jié)果，但是在用于視頻或連續(xù)的序列圖像處理時就會出現(xiàn)圖像閃爍的現(xiàn)象。尤其是在實時性要求比較高的情況下，這種閃爍對人眼探測識別會造成很大的影響。究其原因，是因為這些方法在處理視頻或序列圖像時，只是對當前幀進行處理，并沒有考慮之前各幀灰度級情況對當前幀的影響，造成圖像中的景物可能在前后幀的處理過程中出現(xiàn)很大的灰度級跳變，從而產(chǎn)生圖像閃爍現(xiàn)象。

首先簡要介紹作者在之前研究中提出的面向人眼探測識別的圖像優(yōu)化方法，然后分析其在用于視頻優(yōu)化時出現(xiàn)圖像閃爍的具體原因，然后提出一種能夠抑制這種閃爍而又使人眼能夠獲得盡量多圖像信息的方法。

2 面向人眼探測識別的圖像優(yōu)化方法簡介

圖像優(yōu)化后用于目標探測識別時，人們總是希望在優(yōu)化圖像的過程中不改變原始圖像的信息，這樣可以避免因優(yōu)化后的圖像因破壞原始圖像信息而對探測識別的成功率造成影響。之前提出的方法就是在盡量不丟失圖像原始信息的前提下，按照人眼視覺特性，對圖像進行優(yōu)化以期望使人眼獲得的信息最大化。

在沒有先驗知識的情況下，可以將圖像按照相鄰像素的灰度值是否相同的標準進行區(qū)域分割，把圖像分成各個相互鄰接的區(qū)域，而圖像中的信息就蘊含在這些區(qū)域之中。然而根據(jù)人眼視覺系統(tǒng)的臨界可見偏差特性（Just Noticeable Difference：JND）[5]可知，相鄰區(qū)域之間的差值只有達到一定的閾值之后才能被人眼很好的區(qū)分，如果這個差值很小，那么觀察者在觀察的過程中很可能將其視為同一區(qū)域。如果圖像中存在著大量的這樣的區(qū)域，那么圖像中的信息就不能被人眼很好的感知。人眼的JND 特性曲線，如圖1 所示。

圖1 人眼JND 特性曲線Fig.1 Human Eye JND Characteristic Curve

基于這樣的分析，我們將圖像按照上述原則進行圖像分割后，按照區(qū)域相鄰、灰度級從低到高及灰度級差值最小的原則建立圖像中灰度級之間最小相鄰關(guān)系表。然后對在圖像中不相鄰而最小相鄰關(guān)系表中相鄰的各灰度進行合并，從而得到在不改變圖像原始信息的前提下，表示圖像所需的最少灰度級個數(shù)。

為了使相鄰的區(qū)域能夠被人眼很好的分辨，我們根據(jù)文獻[6]中提到的視覺心理學(xué)函數(shù)結(jié)合人眼臨界可見偏差特性，建立灰度級映射表。人眼視覺心理學(xué)函數(shù)的表達式如式（1）所示：

式中：p—信號s的探測概率；β的值可以通過式（2）求得：

式中：k—經(jīng)驗值，通常取3。α的值可以通過式（3）求得：

式中：S0—臨界可見偏差的閾值。

人眼視覺心理學(xué)函數(shù)曲線，如圖2 所示。

圖2 人眼視覺心理學(xué)函數(shù)曲線Fig.2 Human Visual Psychology Function Curve

得到灰度級映射關(guān)系表后，我們就可以將原始圖像的各像素通過灰度映射得到符合人眼觀察要求的圖像。這一部分內(nèi)容文獻[4]中有詳細描述。

但是，人眼分辨灰度級的個數(shù)總是有限的，這一點可以從人眼的臨界可見偏差特性得到。當表示一幅圖像所需的最小灰度級個數(shù)高于人眼可分辨的灰度級個數(shù)時，根據(jù)上述方法進行灰度映射勢必會造成一些信息仍然很難被人眼所感知。這樣，我們?yōu)榱吮ＷC那些之前更容易被人眼感知的信息能更好的發(fā)揮作用，將原來不易被人眼感知的信息壓縮，以獲得更大的映射空間用于原來易于人眼觀察的信息。

當表示圖像所需的灰度級個數(shù)高于人眼能夠分辨的個數(shù)時，根據(jù)最小相鄰關(guān)系表，我們提出了兩種不同的壓縮方式，一種是以最小相鄰的灰度級中區(qū)域鄰接的次數(shù)，另一種是以最小相鄰區(qū)域中鄰接區(qū)域的鄰接長度。通過這些方法，將表示圖像所需的灰度級數(shù)壓縮到人眼能夠分辨的個數(shù)，然后在根據(jù)上述方法進行灰度級映射，得到輸出圖像。算法實施的過程，如圖3 所示。

圖3 算法實施過程Fig.3 Algorithm Implementation Process

3 視頻閃爍原因分析

上述方法在用于單幅圖像時可以獲得很好的視覺效果，但是用于視頻優(yōu)化時，視頻圖像經(jīng)常出現(xiàn)閃爍現(xiàn)象。原始視頻中由于場景的明暗變化可能造成閃爍固然是一部分原因，但是根本上還是由于圖像優(yōu)化方法在用于視頻處理時，其只是處理當前幀的信息，并沒有考慮到前面數(shù)幀的明暗對當前幀的影響。

一個視頻中連續(xù)的兩幀圖像（圖略）。經(jīng)過前面所述的算法處理之后的結(jié)果（圖略）。

可以明顯看出，近處草地在處理后的前后兩幀中的亮度出現(xiàn)了較大的變化。

對另外一個含有400 幀圖像視頻進行處理，發(fā)現(xiàn)其同樣出現(xiàn)嚴重的閃爍現(xiàn)象，記錄各幀的灰度映射曲線，其結(jié)果，如圖4 所示。

圖4 處理視頻的灰度映射曲線Fig.4 Gray Mapping Curve to Process Video

圖4 中可以看出，（0～120）范圍內(nèi)的灰度級在所有幀中映射后的結(jié)果變化并不是太大，而高于120 以后的灰度級的變化要比（0～120）的灰度級變化大的多。

我們可以從上述分析中得到這樣的結(jié)論：在處理視頻時，由于算法只是針對單幀圖像進行優(yōu)化，并沒有考慮各幀之間的聯(lián)系，這是造成視頻處理后閃爍的主要原因，而這種閃爍在不同的視頻場景中，會反映在灰度映射曲線某個范圍內(nèi)在前后幾幀中變化很大。

4 視頻閃爍抑制方法

為了保證處理時不向圖像引入原本不存在的信息，在盡可能保留原圖像信息的前提下，讓人眼感知更多的圖像信息，之前的圖像優(yōu)化方法采用了灰度級全局保序、局部不倒序的原則。在解決處理視頻閃爍問題時，我們同樣采用這一原則。

從上述原因分析中我們可以得到，運用算法處理視頻時，當兩幀圖像的灰度映射曲線存在較大差異時，會出現(xiàn)較為嚴重的閃爍現(xiàn)象，而兩幀圖像的灰度映射曲線接近時，這種閃爍相對較輕。所以，在處理閃爍時，我們總是希望能夠使得當前處理的視頻幀的灰度映射關(guān)系和它的前一幀差別不大。

運用第二節(jié)所述的方法，我們處理視頻時，可以得到當前幀的灰度映射關(guān)系，記為curr_map，存儲前一幀的灰度映射關(guān)系并記為prev_map，兩者的差值記為diff，diff的計算表達式為：

我們希望diff的絕對值盡可能的小，因此我們對當前幀的curr_map 進行調(diào)節(jié)，如式（5）所示：

式中：k—調(diào)節(jié)灰度映射關(guān)系差異大小的系數(shù)，當k=0 時，當前幀的灰度映射關(guān)系與前一幀完全相同，當k=1 時，當前幀的映射關(guān)系就是通過第二節(jié)所述方法計算得到的映射關(guān)系。為了在視頻閃爍和人眼的信息感知之間做一個折中，將的值選為0.5。

5 實驗結(jié)果

根據(jù)前面介紹的抑制圖像閃爍的方法，對上節(jié)提到的含有400 幀圖像的視頻重新進行了優(yōu)化處理，得到處理后的每幀圖像的灰度均值，如圖5 所示。

圖5 視頻做抑制閃爍處理后每幀灰度均值Fig.5 The Gray Level of Every Frame after the Video is Treated with Inhibition Scintillation

而根據(jù)第二節(jié)提到的方法進行優(yōu)化處理的視頻每幀的均值，如圖6 所示。

圖6 視頻未做抑制閃爍處理的每幀灰度均值Fig.6 The Gray Level of Every Frame without the Video being Treated with Inhibition Scintillation

圖像的灰度均值可以反映一幅圖像的總體亮度情況。圖8中視頻各幀的均值變化顯然比圖9 中的視頻各幀均值變化的平緩，也就是說經(jīng)過閃爍抑制處理后的視頻的總體亮度變化的更平緩，這樣視頻就不會出現(xiàn)劇烈閃爍的現(xiàn)象。

圖4 中的連續(xù)兩幀圖像經(jīng)過原始算法經(jīng)過第二節(jié)所述算法處理后出現(xiàn)了閃爍現(xiàn)象。在經(jīng)過閃爍抑制處理后，其結(jié)果如圖7所示。從兩幅圖像中可以看出，近處的草地上的灰度值已經(jīng)十分接近，在視頻中該幀附近也看不到明顯的閃爍現(xiàn)象。

圖7 連續(xù)兩幀圖像閃爍抑制的效果Fig.7 Effect of Consecutive Frame Image Scintillation Inhibition

［1］Kobus Barnard，Brian Funt.Investigations into Multi－scale Retinex［J］.Vision and Technology，1999：9－17.

［2］黃凱奇，王橋.基于人眼視覺特性的多尺度彩色圖象增強算法［J］.中國圖像圖形學(xué)報，2003，8（11）：1242－1246.（Huang Kai－qi，Wang Qiao.Multiscale color image enhancement algorithm based on human visual properties［J］.China Journal Of Graphics，2003，8（11）：1242－1246.）

［3］吳穎謙，方濤，李聰亮.一種基于小波分析和人眼視覺特性的圖像增強方法［J］.數(shù)據(jù)采集與處理，2003，18（1）：17－21.（Wu Ying－qian，F(xiàn)ang Tao，Li Cong－liang.An image enhancement method based on wavelet analysis and human visual characteristic［J］.Data Acquisition and Processing，2003，18（1）：17－21.）

［4］劉勛，吳錦，郝穎明，等.面向人眼視覺的圖像增強方法［J］.計算機工程，2012，38（2）：234－236.（Liu Xun，Wu Jin，Hao Ying－ming，etc.Image enhancement method facing the human eye visual［J］.Computer Engineering，2012，38（2）：234－236.）

［5］Ji.T.L，Sundareshan M.K，Roehrig H.Adaptive image contrast enhancement based on human visual properties ［J］.IEEE Transaction on Medical Imaging，1994，13（4）：573－586.

［6］Peter G.J.Barten.Contrast sensitivity of human eye and its effects on image quality［M］.Knegsel：HV press，1999.