面向視頻偵查的偏色視頻快速校正方法研究

于 彤，孫 鵬，2，郎宇博，2，高宇杰

(1.中國刑事警察學(xué)院聲像資料檢驗技術(shù)系， 遼寧沈陽 110854; 2.遼寧網(wǎng)絡(luò)安全執(zhí)法協(xié)同創(chuàng)新中心， 遼寧沈陽 110854; 3.山西省公安廳科技處， 山西太原 031400)

0 引言

視頻偵查技術(shù)即根據(jù)視頻記錄的客觀事實，結(jié)合時間與空間的邏輯關(guān)系，鎖定與案件相關(guān)的目標(biāo)物體，是案件偵破的重要手段之一[1]。近年來，視頻采集設(shè)備日益普及，為視頻偵查工作提供便利的同時，也極大提升了這種新型偵查手段在辦案中的應(yīng)用。目前，視頻偵查主要依靠技術(shù)人員考量、篩選目標(biāo)信息，借助人眼進(jìn)行跨攝像頭搜尋、追蹤目標(biāo)物。但人為進(jìn)行影像資料篩選的方式，不僅無法實現(xiàn)犯罪目標(biāo)的實時監(jiān)控，還會因人類視覺感知系統(tǒng)本身帶有的主觀性導(dǎo)致錯誤的研判。隨著計算機技術(shù)的發(fā)展，依據(jù)目標(biāo)物固有特征，利用計算機進(jìn)行目標(biāo)自動檢索、追蹤的方法很好地解決了上述問題，而顏色特征因其較好的魯棒性成為自動檢測技術(shù)利用的主要特征之一。然而，現(xiàn)實中，受到相機感光設(shè)備、白平衡設(shè)置，以及視頻獲取環(huán)境光照角度變化的復(fù)雜性等因素的影響，視頻不可避免的會出現(xiàn)偏色、曝光不足以及曝光過度等問題，嚴(yán)重影響了利用顏色特征進(jìn)行目標(biāo)追蹤的準(zhǔn)確性。為解決該問題，幫助偵查人員或自動檢測機制更加迅速的定位嫌疑目標(biāo)，需要對偏色視頻進(jìn)行預(yù)處理，即引入顏色恒常算法用于偏色視頻幀的校正。

早期的顏色恒常性算法[2-3]一般用于全局校正，主要分為兩大類：第一類由基于圖像底層特征的算法組成，如Land和McCann提出的Retinex[4]算法、以retinex算法為基礎(chǔ)的灰度世界(Grey-world)算法、Weijer等人提出的灰度邊緣(Grey-edge)算法[5]等；第二類為基于圖像信息學(xué)習(xí)的方法，如Forsyth提出的色域映射(Gamut mapping)算法[6]，以及基于統(tǒng)計學(xué)理論和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的算法等?，F(xiàn)今全局算法越來越多的被用于偏色視頻幀的局部分析，并提出了一系列改進(jìn)算法，如基于層級分割的顏色恒常性算法[7]、基于小波變換的模糊圖像增強算法[8]、基于偏色校正和信息損失約束的圖像增強算法[9]等。

公安工作中，多需要處理復(fù)雜光照環(huán)境下拍攝的視頻，且要求算法的處理速度較快。綜合考慮以上因素，本文以運行速度較快、處理效果較好的SSR算法為基礎(chǔ)，提出一種基于SSR算法的偏色視頻快速校正方法，用于視頻偵查過程中偏色視頻的顏色校正預(yù)處理。實驗結(jié)果證明，該方法能快速實現(xiàn)視頻的顏色校正，為后續(xù)工作提供便利。

1 基于SSR算法的偏色視頻快速校正

1.1 SSR算法

SSR算法是一種運行速度較快、物理意義明確的顏色恒常算法，其通過對目標(biāo)點中心區(qū)域內(nèi)的像素值加權(quán)得到目標(biāo)像素點的灰度值，權(quán)重的比例大小由環(huán)繞函數(shù)確定。SSR算法的圖像增強過程與人眼的視網(wǎng)膜和大腦皮層中神經(jīng)元對外界物體感知的生理學(xué)模型十分相似，決定權(quán)重的環(huán)繞函數(shù)類似于自然視覺科學(xué)中常被用于模擬單個神經(jīng)元反應(yīng)的高斯差分函數(shù)。SSR算法能實現(xiàn)銳化加強、顏色恒定、動態(tài)范圍壓縮等一系列優(yōu)化處理。圖1為SSR算法的流程圖。

圖1 SSR算法流程圖

使用該算法處理時，將偏色視頻幀假設(shè)為空間平滑視頻幀。設(shè)輸入偏色視頻幀為S(x,y)，其由反射光視頻幀R(x,y)和入射光視頻幀L(x,y)兩部分組成，由此推出SSR算法公式：

S(x,y)=R(x,y)L(x,y)

(1)

Retinex算法的物理模型如下圖所示：

圖2 Retinex算法物理模型

圖3 不同尺度函數(shù)SSR的視頻幀處理效果

入射光照射在反射物體上，通過物體的反射光線進(jìn)入人眼成像，由公式(1)可得到物體特有的反射系數(shù)R(x,y)，即：

R(x,y)=S(x,y)/L(x,y)

(2)

為了便于計算，對公式兩邊分別取log,得到：

(3)

其中r(x,y)為Retinex算法的理想輸出結(jié)果。為了進(jìn)行更合理的光照估計，SSR算法對視頻幀每一點的像素值進(jìn)行加權(quán)[10]：

L′(x,y)=F(x,y)*S(x,y)

(4)

“*”表示卷積運算，F(xiàn)(x,y)是環(huán)繞函數(shù)，可推得：

r′(x,y)=log (S(x,y))-log [F(x,y)*S(x,y)]

(5)

從公式(5)可以看出，反射光圖像與光照空間無關(guān)，因此可以借助該式去除光照對視頻幀的影響。常見的環(huán)繞函數(shù)有：

(6)

(7)

(8)

實踐證明，高斯函數(shù)具有更好的校正效果，遂選用公式(8)中的環(huán)繞函數(shù)以保證校正結(jié)果具有較高質(zhì)量。公式(8)中的常數(shù)c是高斯函數(shù)標(biāo)準(zhǔn)偏差，c的選擇會直接影響圖像增強效果，控制圖像細(xì)節(jié)信息的保留度。圖3為原規(guī)頻幀、選用不同高斯函數(shù)標(biāo)準(zhǔn)差的SSR算法校正幀以及不同C值所對應(yīng)的函數(shù)圖像。

經(jīng)過大量實驗發(fā)現(xiàn)，c取值在[60-100]范圍內(nèi)時顏色校正效果較好，且觀察上圖可知，圖(c)中的參數(shù)c實現(xiàn)了動態(tài)壓縮和色彩保真之間的平衡，遂本文c取80。

1.2 基于SSR的偏色視頻快速校正

設(shè)輸入偏色視頻為V(ti)，i=(1,2,3…N)，將視頻解析成視頻幀輸入計算模型，用SSR算法對偏色視頻幀進(jìn)行處理，即：

V′(ti)=SSR(V(ti))

(9)

經(jīng)本文算法處理得到的結(jié)果為：

r′(ti)=log(V(ti))-log[F(ti)*V(ti)]

(10)

對于灰度視頻幀來說，直接對灰度值做上述處理即可。對于彩色視頻幀，首先將視頻幀分解為R、G、B三幅灰度視頻幀，分別做上述處理，最后合成彩色視頻幀。

圖5 實驗所用視頻

方法流程圖如圖4所示。SSR算法的運行速度較快，將其應(yīng)用于視頻監(jiān)控系統(tǒng)的實時色彩校正，不僅能在較短的時間內(nèi)完成色彩校正的任務(wù)，還能輸出較理想的結(jié)果。再將校正后的視頻用于依靠人眼或計算機自動檢索的后續(xù)視頻偵查工作，就能最大程度避免因偏色帶來的誤導(dǎo)，使案件偵破得以順利進(jìn)行。

圖4 基于SSR的偏色視頻快速校正流程圖

2 仿真實驗

2.1 實驗環(huán)境與對象

(1)實驗環(huán)境

PC：HP Pavilion Notebook；操作系統(tǒng)：Windows家庭中文版；仿真編譯環(huán)境：Matlab 2016b。

(2)實驗對象

如表1所示，實驗對象及其基本屬性。實驗視頻來自于實際案件中采集的監(jiān)控視頻，如圖5所示可以看到受到環(huán)境光照與成像設(shè)備的共同影響，視頻出現(xiàn)了較嚴(yán)重的偏色現(xiàn)象，原本藍(lán)色車輛呈現(xiàn)偏黃的顏色。

2.2 實驗結(jié)果

在充分考慮相鄰幀間相關(guān)性的基礎(chǔ)上，設(shè)本文算法校正后的第一幀為參考幀，計算不同算法得到的校正幀與參考幀的偏色程度。偏色程度計算在CIE1976Lab色彩空間上進(jìn)行，利用計算得到的兩視頻幀間的色差[11]作為評價偏色程度的標(biāo)準(zhǔn)。色差[11]是用數(shù)值的方法表示兩種顏色在感觀上的區(qū)別，色差越小，則兩種顏色越接近。

表1 實驗對象及其基本屬性

首先將圖像從RGB空間轉(zhuǎn)換到Lab空間，轉(zhuǎn)換包括兩步：第一步是從24 bit真彩的RGB空間轉(zhuǎn)換到XYZ空間，XYZ空間是一種設(shè)備無關(guān)的“過渡”顏色空間；第二步將XYZ空間轉(zhuǎn)換到Lab空間。若兩種顏色都按L、a、b標(biāo)定，則兩視頻幀之間的色差ΔE可用公式(11)計算[11]。

(11)

式中，明度差：

ΔL=L1-L2

(12)

色度差：

Δa=a1-a2Δb=b1-b2

(13)

對實驗樣本用本文方法進(jìn)行處理，部分實驗結(jié)果如圖6所示。

圖6 本文方法處理結(jié)果圖

為了綜合評價本文算法的顏色恒常校正效果，本文選取了Grey-world算法、多尺度Retinex(MSR)以及Grey-edge算法分別對實驗樣本進(jìn)行偏色校正并比較其與參考幀的色差和時間效率，結(jié)果如表2所示。

2.3 結(jié)果分析

實驗樣本中，不同視頻幀分別處于不同的光照條件下，目標(biāo)物因夜晚光照不足、路燈顏色偏黃以及周圍車輛燈光影響等原因而呈現(xiàn)出與真實情況不同的顏色。圖6的(c～l)為不同視頻幀經(jīng)本文算法得到的校正結(jié)果圖。從圖6所列舉的視頻幀校正結(jié)果可以看出，經(jīng)本文方法校正后的視頻幀，亮度明顯提升，目標(biāo)物的顏色更接近正常拍攝視頻中目標(biāo)物原本顏色(藍(lán)色)，且校正后得到的視頻幀保真度較高，未造成視頻幀失真等情況。且從表2的數(shù)據(jù)比較圖可以發(fā)現(xiàn)，在校正效果上，除MSR算法外，其余算法得到的角度誤差均大于SSR算法，但SSR算法的時間效率優(yōu)于MSR算法，實戰(zhàn)中對時間效率要求不高時，MSR算法和SSR算法均為較優(yōu)選擇；在時間效率上，除White-patch算法外，SSR算法的時間效率最高。但從偏色校正的結(jié)果看，經(jīng)White-patch算法校正過的視頻幀亮度提升較小，偏色校正效果較差，且相對SSR算法的時間優(yōu)勢不明顯，綜合校正質(zhì)量和時間效率，SSR算法最佳。

表2 不同算法比較

3 結(jié)語

隨著視頻偵查技術(shù)在公安領(lǐng)域逐漸普及，影像資料的質(zhì)量對偵查工作產(chǎn)生了極大的影響，對視頻進(jìn)行正確的預(yù)處理有助于公安人員提高偵查效率，把握最佳破案時機。針對視頻偵查中遇到的視頻偏色問題，本文提出了一種基于SSR算法的偏色視頻快速校正方法，針對公安實戰(zhàn)中遇到的視頻經(jīng)過大量實驗選定合理的高斯函數(shù)標(biāo)準(zhǔn)差，然后將實驗所用視頻解析成視頻幀后逐幀輸入校正，最后將校正后的視頻幀重組成視頻輸出。該算法運行速度較快，能夠?qū)崿F(xiàn)偏色視頻實時校正的目的，且較好的糾正了視頻偏色現(xiàn)象，對后續(xù)偵查工作的順利開展具有重要意義。但本文的方法仍然是選用單一的顏色恒常算法處理偏色視頻，在面對場景不斷變化的偏色視頻時往往效果不佳，因此，針對不同場景信息進(jìn)行顏色恒常算法的自適應(yīng)選擇將在下一步研究中進(jìn)行。