一種適應(yīng)光照多變的夜間前景提取方法

葉慎飛　汪志成　張志君

摘 要：夜間前景提取是智能監(jiān)控的必要處理過程，也是新時代下店鋪防盜的高效手段。提出了一種在強弱光多變下具有檢測魯棒性的動態(tài)目標(biāo)自動提取算法。在亮度通道上利用直方圖均衡技術(shù)根據(jù)設(shè)置參數(shù)自適應(yīng)灰度增幅，結(jié)合Canny邊緣圖像進行差分處理，最后給出前景提取算法。實驗結(jié)果表明：在強弱光不同光照環(huán)境下，該方法可以很好的削弱不同光照對前景提取帶來的多噪聲、過度曝光等影響，提高前景對比度，相比其他方法，顯示效果清晰完整，并滿足實時性要求。

關(guān)鍵詞：前景提取;直方圖均衡;邊緣圖像;差分處理

中圖分類號：TP751.1????? 文獻標(biāo)識碼：A

A Night Foreground Extraction Method Suitable for Changing Light

YE Shen-fei，WANG Zhi-cheng，ZHANG Zhi-jun

（East China University of Technology， Nanchang， Jiangxi 330013，China）

Abstract：Nighttime foreground extraction is a necessary process for intelligent monitoring and an efficient means of anti-theft for shops in the new era. A dynamic target automatic extraction algorithm with robust detection under strong and weak light is proposed. On the brightness channel， the histogram equalization technique is used to adaptively increase the gray scale according to the set parameters， and the differential processing is performed in conjunction with the Canny edge image. Finally， the foreground extraction algorithm is given. The experimental results show that： under different light environments with strong and weak light， this method can well reduce the effects of different noise on the foreground extraction， such as multiple noise and overexposure， and improve the foreground contrast. Compared with other methods， the display effect is clear and complete. And meet the real-time requirements.

Key words：foreground extraction; histogram equalization; edge image; difference processing

目前大部分店鋪相對較小，夜間自我防護能力普遍較差，普通監(jiān)控?zé)o法滿足數(shù)據(jù)化、智能化管理，智能監(jiān)控成為主流。動態(tài)目標(biāo)提取是當(dāng)前店鋪安防行業(yè)的研究熱點，它的主要作用是跟蹤有位置變化的物體進行數(shù)據(jù)特征計算，最后達到主動預(yù)警的目的，已有不少學(xué)者對此進行了研究。

葛鯤鵬[1]在紅外視頻幀基礎(chǔ)上利用三幀差分法進行人體目標(biāo)檢測，但目標(biāo)距離太遠容易漏檢，且前景區(qū)域易造成空洞;譚康霞[2]也是在紅外下利用HOG特征和SVM分類器進行夜間人體檢測，但距離遠的目標(biāo)也會出現(xiàn)漏檢誤檢的情況，且計算量大無法滿足視頻實時性;徐傳鐸[3]在紅外下利用高斯混合背景建模和背景減除法進行夜間人體檢測，但計算量大與多目標(biāo)模型成正比，對于移動速度慢的目標(biāo)，檢測不是太靈敏;張運楚等[4]利用改進的近似中值濾波雙尺度背景模型對夜間人體進行檢測，但對光照較敏感易造成誤檢;張晟[5]利用改進的直接差分法結(jié)合Meanshift算法能夠有效地檢測夜間渡口監(jiān)控的船舶，去除水面上的“鬼影”區(qū)域，但不能對船只完整的提取。師樂等[6]結(jié)合自適應(yīng)高斯模型和轉(zhuǎn)換HSV顏色模型方法提取人體輪廓，易受膚色及光照影響，不適合夜間提取。Seba Susan等[7]利用圖像直方圖的最大非擴展熵分區(qū)對夜間前景進行分割，但在復(fù)雜的光照條件下魯棒性不高。M.Sivagami等[8]利用粒子群優(yōu)化技術(shù)進行背景建模，并結(jié)合背景減除法提取前景，對背景要求比較高且實際情況下背景得不到及時更新。Dariusz Frejlichowski等[9]利用高斯混合模型背景建模，使用Haar和HOG描述符進行前景提取跟蹤，像素點級運算實時性是個很大的挑戰(zhàn)。Y.Mary Reeja等[10]利用幀差法提取前景，然后通過判別魯棒局部三元圖案（DRLTP）提取邊緣進行車輛檢測，使用場景局限性較大，對非剛性行人提取效果較差。

上述方法在夜間光照壞境較為理想的情況下提取效果較好，但在弱光環(huán)境下像素點信息缺失造成的噪聲問題，強光下過度曝光，細節(jié)丟失問題，對前景提取造成了極大的影響。其中大部分是利用紅外結(jié)合輔助光源進行提取，硬件壽命、成本問題較大且易受有霧、雨等復(fù)雜環(huán)境影響，其余方法只能夠在特定條件下提取運動目標(biāo)前景，實時性還需提升。

利用視頻幀的亮度通道圖像數(shù)據(jù)及其邊緣數(shù)據(jù)做差運算，對像素點亮度信息進行求余增加對比度的特點改善基于局部直方圖均衡的前景提取方法，流程如圖1所示。

本方法主要包括亮度提升處理、提取前預(yù)處理及優(yōu)化以及前景提取三部分，各部分內(nèi)容如下：

（1） 亮度提升處理：轉(zhuǎn)換到Y(jié)crcb顏色空間，針對其中的亮度分量Y進行局部直方圖均衡，提升視頻幀亮度。

（2） 提取前預(yù)處理及優(yōu)化：利用Canny算法，修改相關(guān)參數(shù)進行視頻幀輪廓檢測，并與其亮度通道圖進行做差運算，保留輪廓區(qū)域特征值及其他像素點反轉(zhuǎn)值，增加圖像對比度及清晰度。

（3） 前景提?。涸诓罘謭D像的基礎(chǔ)上，利用改進的Vibe算法進行動態(tài)前景檢測，修改有關(guān)參數(shù)，改善提取效果。

主要創(chuàng)新點是利用Ycrcb顏色空間下Y通道輪廓特征數(shù)據(jù)進行做差運算，并通過改進的Vibe算法提取動態(tài)前景，很好的提升了輪廓與背景對比度，削弱了影響檢測的噪聲，最終方法在強弱光變化下具有一定的魯棒性。

1 亮度提升處理

1.1 顏色空間轉(zhuǎn)換

人眼觀察事物對于本身所反射的光照亮度更加敏感，而計算機中傳輸?shù)腞GB格式圖片由三色疊加呈現(xiàn)，把顏色模型轉(zhuǎn)換成Ycrcb格式更適合人眼感知，也可更好的針對性處理。Ycrcb顏色模型其中Y代表亮度，cr、cb代表顏色分量，并且是數(shù)字信號，抗干擾能力強噪聲積累少，因此更適合夜間視頻幀的亮度提升實驗。

1.2 局部直方圖均衡

針對Y通道圖像，首先根據(jù)尺寸分成若干個M*M=10*10大小的圖塊;對每一個圖塊進行直方圖均衡統(tǒng)計出每個灰度級離散數(shù)據(jù)，然后進行累積分布得到連續(xù)的曲線函數(shù)CDF（i）即每個灰度級占有比例構(gòu)建局部映射函數(shù)m（i），對CDF（i）求導(dǎo)得Hist（i），m（i）的導(dǎo)數(shù)S就是對比度增幅，反應(yīng)的是對像素點亮度增強權(quán)重：

S=m′（i）=Hist（i）×255M×M（1）

局部直方圖均衡容易出現(xiàn)曝光現(xiàn)象，原因是夜間圖像的直方圖在灰度級為0附近過高，導(dǎo)致映射函數(shù)變化幅度大，相應(yīng)的增強幅度增大。因此，為了防止過增強，利用對比度限制進行進一步優(yōu)化，針對局部圖塊，當(dāng)亮度增率S超過設(shè)定的閾值T后會平均到各灰度級上，消除增幅函數(shù)“尖峰”區(qū)域，允許最大增幅Smax=T+L。經(jīng)過多次實驗，將T值設(shè)為6.0，夜間圖像效果最好，局部圖塊之間邊界過度最自然，最后的直方圖均衡的計算公式為：

圖2為在復(fù)雜光照環(huán)境下亮度提升效果。圖2（a） 展示了弱光下亮度提升效果，通過觀察窗簾、人像可以看出前背景對比度及細節(jié)紋理提升效果明顯，但提升較不均勻，局部色差、斑點問題存在。圖2（b）可以看出在多強光環(huán)境下提升效果更好，削弱了過度曝光現(xiàn)象，但存在一定的光暈現(xiàn)象。

2 提取前預(yù)處理及優(yōu)化

2.1 Canny邊緣檢測

（1）利用高斯平滑濾波去除多余噪聲，式（3）表示高斯濾波核Hij的計算過程，它的大小決定了去噪性能。經(jīng)過實驗，針對夜間監(jiān)控視頻幀將sigma=1.4、尺寸大小設(shè)置為3×3效果較好。

Hij=12πσ2exp-（i-（k+1））2+（j-（k+1））22σ2;1≤i，j≤（2k+1）（3）

2）利用邊緣點與鄰域像素點灰度值變化幅度大的特征檢測物體輪廓，本實驗利用3×3 Sobel算子模板在上節(jié)圖像的垂直方向和水平方向上作卷積運算得值GxGy，由此利用公式（4）計算邊緣梯度大小G及方向θ：

G=G2x+G2yθ=arctanGyGx（4）

3）輪廓特征優(yōu)化。夜間圖像灰度變化集中，檢測輪廓粗亂，需要非極大值抑制進行精細，去除邊緣附近因噪點而導(dǎo)致的誤檢測，利用線性插值保留邊緣處最大值。紋理檢測造成的偽邊緣是我們不需要的，利用滯后閾值進行進一步優(yōu)化。經(jīng)過實驗，minVal=30，maxVal=50最為合適，效果如圖3所示：

圖3為室內(nèi)外亮度提升后輪廓提取效果。從圖3（a）可以看出主體輪廓提取清晰完整，但亮度提升階段遺留下的斑點問題導(dǎo)致出現(xiàn)很多白噪點，且輪廓集中區(qū)域提取的比較錯亂。圖3（b）中大體輪廓也提取的較完整，但環(huán)境復(fù)雜，重疊區(qū)域輪廓特征不能夠直接辨別物體信息。

2.2 自適應(yīng)優(yōu)化

自適應(yīng)過程如下：在弱光下，黑色聯(lián)通域占大部分，前景稍亮部分處于灰度水平，可以很好的反轉(zhuǎn)檢測。在強光下，前景像素值接近白色，強光附近處于灰度水平，可很好的削弱過曝光，凸顯前景。效果如圖4所示：

利用邊緣提取圖像與亮度通道Y圖像作差運算，結(jié)果圖具備如下特點：

1）提取的輪廓像素值得到保留;

2）接近黑色和白色區(qū)域像素值發(fā)生反轉(zhuǎn);

3）其它灰度像素值不變。

由圖4（a）可以看出，弱光環(huán)境下人像輪廓以邊緣檢測階段的白色凸顯，黑色反轉(zhuǎn)成白色人像內(nèi)部信息得到了很好的填充，膚色信息不變更好的增加了人像與背景的對比度。圖4（b）中經(jīng)過自適應(yīng)優(yōu)化削弱了多個強光源下所帶來的椒鹽噪聲等，同時削弱了光暈現(xiàn)象使得強光附近細節(jié)區(qū)域更加清晰，總體增加了清晰度及對比度。

3 前景提取

Vibe算法使用一幀即可初始化背景模型，很好的滿足了監(jiān)控視頻下突發(fā)情況的實時性。當(dāng)t=0時，即第一幀背景模型BKM0初始化公式如下：

BKM0=f0（xi，yi）|（xi，yi）∈NG（x，y）（5）

其中f0（xi，yi）表示當(dāng)前點的像素值，NG（x，y）表示空域上相鄰點的像素值。

提取過程如下：判定某一點時存儲隨機的其若干個領(lǐng)域點像素值，建立模型樣本集N，用逐像素遍歷的方式建模速度很慢，所以這里利用了python對數(shù)組的批量操作特性來實現(xiàn);計算當(dāng)前點與每個樣本點的歐式距離，小于閾值R則歸其為判定點的近似樣本點;若近似樣本點個數(shù)大于閾值T時，則判定點為背景反之為前景。本實驗參數(shù)設(shè)置為：N=20、R=20、T=2。

由于采用了運動物體的像素初始化樣本集容易產(chǎn)生拖影效果。為了解決這一問題考慮從其背景更新策略入手。保守策略會引起必要的死鎖反應(yīng)，Blind策略檢測不出移動幅度小的物體，并都會產(chǎn)生一定的拖影現(xiàn)象。本實驗結(jié)合了保守策略與前景點計數(shù)方法，在保守策略的基礎(chǔ)上如果同一點連續(xù)N次檢測為前景點，則最終修改為背景點。

當(dāng)前點被判定為背景點時，設(shè)定1/φ的概率更新背景模型樣本值，同時利用像素值的空間傳播性也以1/φ的概率去更新其鄰域點的模型樣本值，這讓當(dāng)前點的背景模型得到了領(lǐng)域相似點模型值得補充，很好的消除拖影現(xiàn)象。當(dāng)前點被判定為前景點的次數(shù)達到N次歸類為背景點后，以上述同樣的概率設(shè)定去進行更新。

在更新模型樣本值時采取的是隨機方式，這樣可以保證背景模型平滑的生命周期，由此一個樣本值在時刻t不被更新的概率是 （N-1）/N，假設(shè)時間是連續(xù)的，那么在dt的時間過去后，樣本值仍然保留的概率是：

P（t，t+dt）=N-1N（t+dt）-t（6）

由公式（6）可以看出背景模型中的樣本值是否被替換與時間沒有關(guān)系，隨機進行樣本值更新是行的通的。鑒于本實驗中要提取的前景動作幅度小，有限的移動范圍，將參數(shù)概率設(shè)置為1/φ=1/32最為合適。

4 實驗結(jié)果分析

通過修改基于Ycrcb顏色模型的局部直方圖均衡算法的相關(guān)參數(shù)，亮度提升在亮度、顏色、噪聲上達到了出色的平衡，接著通過Canny邊緣檢測和本文提出的自適應(yīng)優(yōu)化后，對比度、清晰度在強弱光不理想的光照環(huán)境下都能得到很好的增強，局部細節(jié)紋理更加清晰，能夠很好的適應(yīng)光照多變環(huán)境及后期的前景提取。

最終效果如圖5所示?？梢钥闯鲈谖⒐饣蚨鄰姽獾裙庹詹焕硐氕h(huán)境下，經(jīng)過圖像自適應(yīng)優(yōu)化后前景提取內(nèi)容較充實，實時性滿足監(jiān)控需求，且不受前景動作速度、幅度的影響都能夠?qū)χ黧w輪廓很好的提取，沒有出現(xiàn)拖影現(xiàn)象，但“鬼影”區(qū)域還是無法徹底消除。

圖6為其他算法在弱光下的最終效果圖，可以看出（a）只能檢測到前景的大體輪廓;（b）只能檢測

到動作幅度大的頭部區(qū)域，且存在拖影;（c）前景較能很好的檢測出來，但拖影現(xiàn)象嚴重;（d）提取前景內(nèi)容空洞，噪點、拖影現(xiàn)象存在。

圖7為其他算法在多強光環(huán)境下前景提取效果，可以看出（a）提取前景內(nèi)部空洞，提取效果不明顯;（b）只能對前景進行大概標(biāo)記，無法準確識別出具體輪廓;（c）效果與本文方法相似，但背景更新慢易出現(xiàn)拖影現(xiàn)象;（d）對更新背景要求高，多光照下背景像素值多變化，易誤檢。

綜上，本方法無論在弱光下還是強光或多個光照下，都能對前景進行快速準確的提取，削弱前景因動作速度、幅度產(chǎn)生的拖影等問題。

5 結(jié) 論

利用智能算法進行優(yōu)化，使得普通可見光攝像頭也可進行夜間監(jiān)控，硬件成本較低且使用壽命也比主流的紅外攝像頭長。對前景提取的研究為攝像頭被動監(jiān)控向主動式監(jiān)控發(fā)展，從“看得見”到“看得懂”，在智慧城市、雪亮工程等國家政策的推動下為下一代AI監(jiān)控奠定了理論基礎(chǔ)。后期準備利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對提取到的前景視頻幀進行訓(xùn)練，讓監(jiān)控系統(tǒng)自動識別偷盜行為，這將大大提高店鋪的防盜能力。

參考文獻

[1] 葛鯤鵬. 基于紅外圖像的人體檢測跟蹤與類別判定[D].長沙：國防科學(xué)技術(shù)大學(xué)，2016.

[2] 譚康霞. 基于車載紅外圖像的行人檢測方法研究[D].南京：東南大學(xué)，2018.

[3] 徐傳鐸. 夜間模式下基于人體姿態(tài)的安全監(jiān)控研究[D].上海：東華大學(xué)，2017.

[4] 張運楚，陳永福，楊紅娟.夜間弱光環(huán)境下運動目標(biāo)的檢測[J].山東建筑大學(xué)學(xué)報，2016，31（2）：119-124.

[5] 張晟. 渡口監(jiān)控視頻中的船舶檢測研究[D].大連海事大學(xué)，2016.

[6] 師樂，湯汶，萬韜阮，等.復(fù)雜背景下的人體輪廓提取算法[J].科學(xué)技術(shù)與工程，2019，19（9）：138-142.

[7] SUSAN S， SINGH R， KUMAR A， et al. Segmentation of dark foreground objects by maximum non-extensive entropy partitioning[J]. International Journal of Applied Research on Information Technology and Computing， 2018， 9（1）： 67-71.

[8] GAMI M， REVATHI T， JEGANATHAN L. An optimised background modelling for efficient foreground extraction[J]. International Journal of High Performance Computing and Networking， 2017， 10（1-2）： 44-53.

[9] LICHOWSKI D， GO'S? CIEWSKA K， FORCZMA'N? SKI P， et al. Application of foreground object patterns analysis for event detection in an innovative video surveillance system[J]. Pattern Analysis and Applications， 2015， 18（3）： 473-484.

[10]REEJA Y M， LATHA T. Moving vehicle detection and tracking using discriminative robust local ternary pattern edge extraction for traffic surveillance[J]. Asian Journal of Research in Social Sciences and Humanities， 2016， 6（10）： 1796-1806.