視頻偵查中背景重構(gòu)方法研究

楊洪臣劉 松魏 東孟思瑞

（1 中國刑事警察學院 遼寧 沈陽 110035；2 深圳市公安局 廣東 深圳 518000）

視頻偵查中背景重構(gòu)方法研究

楊洪臣1劉 松1魏 東2孟思瑞1

（1 中國刑事警察學院 遼寧 沈陽 110035；2 深圳市公安局 廣東 深圳 518000）

為實現(xiàn)大數(shù)據(jù)偵查模式下視頻偵查中偵查目標快速檢索，利用計算機視頻處理技術(shù)實現(xiàn)對海量視頻中偵查目標的快速定位。現(xiàn)有的目標檢測方法主要包含光流法、相鄰幀差法和背景差法。其中背景差法在能較好實現(xiàn)背景重構(gòu)的情況下能夠快速準確實現(xiàn)視頻中目標的檢索。針對視頻偵查中背景重構(gòu)方法進行了研究，并取得了較好的效果。

視頻偵查 背景自適應 背景重構(gòu)

1 研究背景

據(jù)有關(guān)資料統(tǒng)計，地級市、行政區(qū)一般每個城市需要規(guī)劃安裝10～20萬個攝像機，而省會級、一線城市視經(jīng)濟發(fā)達程度、地域面積可上至50萬個以上；縣級市、行政區(qū)規(guī)劃的攝像機數(shù)量也多為1～2萬個。如此數(shù)量的攝像頭產(chǎn)生大量的視頻，要依靠人眼從眾多的攝像監(jiān)控中找出偵查目標，費事費力，如大海撈針。如何針對涉案的海量視頻進行摘要壓縮、對象檢索、快速定位嫌疑目標、目標信息自動提取等智能分析技術(shù)是目前急需解決的問題[1]。

本文就實現(xiàn)視頻自動識別中的重點難點問題，背景自適應問題展開研究。在視頻偵查中，從海量視頻監(jiān)控中提取重要偵查信息，就需要對運動目標實現(xiàn)運動檢測，而運動檢測的方法主要包含三種：光流法、相鄰幀差法和背景差法[2]1568。

光流法可以不提取視頻背景，直接對運動目標檢測，但是其運算量較大，在低配置硬件條件下很難實現(xiàn)實時性；相鄰幀差法實現(xiàn)相對簡單，在目標低速運動條件下對運動目標的檢測有一定效果，但是仍然存在殘影現(xiàn)象，而在目標高速運動條件下對運動目標檢測則會出現(xiàn)疊影現(xiàn)象，處理結(jié)果并不是很理想；而背景差法通過重構(gòu)視頻背景，再將視頻幀與重構(gòu)背景相減實現(xiàn)運動目標提取。背景差法對運動目標的提取相對完整準確且運算速度較快，故在運動目標檢測中得到廣泛應用。本文針對背景差法的重點問題——視頻背景重構(gòu)及更新展開研究。

2 現(xiàn)有背景重構(gòu)算法

背景自適應算法大致可以分為兩類。第一類是基于圖像建模的方法，通過調(diào)整所建模型的參數(shù)實現(xiàn)背景的自適應；而第二類是通過一定規(guī)則對圖像的像素灰度進行歸類更新，實現(xiàn)背景的自適應。

第一類背景自適應方法中，主要方法先由Friedman和Russell提出將圖像分為前景、背景和陰影，將圖像像素灰度的分布用前景、背景及陰影三者高斯分布加權(quán)予以刻畫，這種方法中僅僅用三個高斯分布就刻畫了復雜的圖像，準確性難以保證[2]1569；于是后來又有人提出了用K個高斯分布來刻畫背景圖像的像素分布的方法改進，該方法雖然增強了圖像刻畫的準確性，但是卻存在算法計算量大，硬件依賴性高以及不能檢測陰影的缺點；接著又有人提出了一種混合模型檢測算法，提高了算法運算速度并能一定程度上檢測運動陰影。之后也不斷有人提出各種更優(yōu)更新的基于圖像建模的背景自適應算法，各有優(yōu)缺點。

第二類背景自適應方法先是由Long和Yang提出[2]1570，他們假設(shè)某一像素在一段較長時間內(nèi)穩(wěn)定性最強的值，即某一像素值出現(xiàn)頻次最多的值為這一點背景值，該方法在有前景干擾的情況下，往往會留下前景陰影；之后有人通過引入光流場的方法把前景物體干擾予以消除，但卻提高了算法的復雜度，也增加了背景提取時間；隨后，又有人提出可以假設(shè)背景像素灰度出現(xiàn)率總大于50%的值為這點像素灰度值，但如果背景像素值出現(xiàn)小于50%，這種方法就會發(fā)生錯誤；在此之后還有人提出基于偏微方程的背景提取方法，效果不錯但是算法復雜，參數(shù)設(shè)置不好掌握。

總體來說，第二類背景重構(gòu)算法需要對過去一段時間內(nèi)圖像幀進行統(tǒng)計，有一定時延，不如第一類算法背景重構(gòu)來得迅速，但是第二類背景重構(gòu)算法背景提取與前景是否有運動目標無關(guān)，不容易產(chǎn)生混同現(xiàn)象。

3 視頻背景重構(gòu)方法

3.1 提出假設(shè)

本文算法主要受Long和Yang，以及Gloyer提出的背景自適應方法啟發(fā)，一是假設(shè)一段時間內(nèi)某點像素灰度值出現(xiàn)頻次最多的值為該點背景灰度值[3]；二是在背景更新策略上通過比較固定長度時間段內(nèi)像素灰度分布穩(wěn)定性來決定是否更新。

3.2 算法設(shè)計

本文算法主要由背景重構(gòu)和背景更新兩個步驟組成。如圖1所示，初始背景重構(gòu)后每隔一段時間對視頻像素灰度值采樣分析當前視頻穩(wěn)定性并與上一次采樣分析結(jié)果比較，如果當前幀樣分析結(jié)果顯示本次采樣視頻像素灰度分布更加穩(wěn)定，將本次采樣數(shù)據(jù)保存下來，并覆蓋上次采樣數(shù)據(jù)，再根據(jù)本次采樣數(shù)據(jù)重構(gòu)新的背景，實現(xiàn)背景更新。

圖1 背景更新算法流程圖

3.2.1 背景重構(gòu)策略

背景重構(gòu)算法主要是通過抽取視頻中n幀并統(tǒng)計各個像素點在這n幀中的分布情況，將每ξ灰度值歸為一類。這里我們首先討論在t0時間段第一次背景重構(gòu)策略，更新中背景重構(gòu)同理。

步驟1：對抽取n幀圖像進行歸類。

從t0時間段視頻中抽取n幀圖像，記為(f01,f02,…f0i,…f0n)。設(shè)定第i幀(x,y)處像素值為f0i(x,y)，于是對i幀(x,y)處進行灰度歸類，存在下式：

式(1)中將像素灰度值以ξ作為一級進行歸類，同時取像素灰度所屬區(qū)間中間值作為該像素灰度值。當ξ∈{ξ|10≤ξ≤25,ξ∈Z}時，灰度歸類結(jié)果比較理想（本文取ξ=15）。

步驟2：n幀(x,y)處像素灰度經(jīng)過步驟1灰度分類后的得到的灰度值存儲在數(shù)組GRAY中，有

對數(shù)組中各類灰度值進行統(tǒng)計，如式(2)所示，ni代表第i類灰度值個數(shù)，p代表頻數(shù)不為0的灰度類別個數(shù)。

對于有(n1,n2,…,ni,…,np)

取(n1,n2,…,ni,…,np)的最大值nmax，如式（3）所示，其中下標max為n幀中(x,y)像素灰度分類命中頻次最高的灰度類。

取graymax(x,y)作為(x,y)像素在背景重構(gòu)中的灰度值。

3.2.2 背景更新方法

背景更新主要根據(jù)當前時間段t內(nèi)取n幀圖像中像素(x,y)灰度分布數(shù)據(jù)和之前各時間段決策出的像素(x,y)灰度最穩(wěn)定分布數(shù)據(jù)進行穩(wěn)定性比較，如果t時間段內(nèi)n幀數(shù)據(jù)更為穩(wěn)定，將其更新為像素(x,y)灰度最穩(wěn)定分布數(shù)據(jù)。具體的穩(wěn)定性比較主要依據(jù)像素(x, y)灰度分布的方差及p值的大小，我們假設(shè)一段時間內(nèi)像素(x,y)灰度分布方差S(x,y)和p越小，該段時間內(nèi)像素(x,y)灰度分布越穩(wěn)定。式(4)、式(5)分別是灰度平均值與灰度分布方差計算公式。

當t時間段內(nèi)S（x,y）和p值比當前像素(x,y)灰度最穩(wěn)定數(shù)據(jù)的S0（x,y）和p0（x,y）小時，我們對像素（x,y）灰度最穩(wěn)定數(shù)據(jù)更新，有：

像素(x,y)灰度最穩(wěn)定數(shù)據(jù)更新完成后，利用3.2.1節(jié)背景重構(gòu)算法對像素(x,y)進行背景重構(gòu)，完成背景更新。

3.3 實驗結(jié)果比較及分析

根據(jù)Long和Yang的方法我們選取視頻初始100幀進行背景重構(gòu)計算，可以得到如圖2的背景，可以看到通過前述方法，重構(gòu)出來的背景受前景干擾，出現(xiàn)前景陰影，效果并非理想。圖3是通過像素灰度歸類后重構(gòu)出的背景，雖然圖片部分區(qū)域有失真現(xiàn)象，但可以看到其受前景干擾較小，效果比較理想（對于失真，在后期二值化時可以消除所以不是背景重構(gòu)主要考慮因素）。

圖2 傳統(tǒng)基于灰度統(tǒng)計的背景重構(gòu)圖

圖3 基于灰度分類統(tǒng)計的背景重構(gòu)圖

在圖2陰影部分隨機取一像素A分析其在100幀中灰度分布規(guī)律，可以發(fā)現(xiàn)像素A灰度分布如圖4所示，雖然其中53幀的灰度值分布在188～208之間，但是在這段灰度中分布較為離散，灰度為188的幀出現(xiàn)10次。而在0～255的灰度空間內(nèi)，該像素灰度為34的幀出現(xiàn)了13次，最終導致像素A在背景重構(gòu)中灰度值為34，并沒有落在背景灰度本身屬于的188～208這個區(qū)間內(nèi)，導致該點的重構(gòu)產(chǎn)生了偏差。

圖3是經(jīng)過背景歸類后重構(gòu)出來的背景圖像，對同一像素A分析，在相同100幀內(nèi)我們將像素A灰度值進行歸類，每隔ξ個灰度級分為一類（實驗表明ξ=10～25時可以較好重構(gòu)背景）。圖5是在ξ=15時像素A在100幀中的灰度分布情況，經(jīng)灰度歸類后，像素A灰度值在188處命中43次，落在背景灰度188～208的區(qū)間類。所以通過灰度歸類重構(gòu)出的背景效果較為理想，基本還原了背景圖像，如圖3所示。

圖4 未進行灰度分類情況下A點灰度分布圖

圖5 進行灰度分類情況下A點灰度分布圖

在背景重構(gòu)中Long和Yang指出一段時間內(nèi)灰度最穩(wěn)定的值為背景的灰度值[2]1570，受這一思想的啟發(fā)，我們不妨假設(shè)在多個段時間內(nèi)，取灰度最穩(wěn)定的值為背景灰度值。在t1時間段內(nèi)我們?nèi)?00幀并統(tǒng)計各像素灰度分布，同樣的在t2時間段內(nèi)我們再取100幀并統(tǒng)計各像素灰度分布，再比較t1、t2對應像素的分布情況，假如t1時間段內(nèi)某像素點的分布更穩(wěn)定，就將t1時間段該像素灰度覆蓋t2時間段中對應像素灰度，類似的在t3再取100幀又與t2中的像素灰度進行比較，隨著比較次數(shù)的增加，每個像素100幀中的灰度分布就會趨于穩(wěn)定，就假設(shè)灰度分布穩(wěn)定的時間段受前景干擾較少，該時間段灰度值重構(gòu)出的背景更趨于真實背景。運用上訴背景更新策略，經(jīng)多次背景更新后，像素A點在經(jīng)過的時間中最為穩(wěn)定的100幀灰度值被選保留下來，如圖8，可以看到像素A的灰度分布主要集中在184～199區(qū)間內(nèi)，較第一次背景重構(gòu)時更加集中，可以更好地刻畫像素A處背景灰度值，這也是在圖6中像素A處前景干擾消失的原因。可以看到，經(jīng)過多次背景更新策略處理后重構(gòu)出的背景（圖6）較之前重構(gòu)出的背景（圖2）前景干擾明顯減弱，同時較之前灰度歸類后重構(gòu)出的背景（圖3）圖像更為細膩。

在經(jīng)過多次背景更新策略處理后，每個像素100幀的灰度分布都是在一定時間內(nèi)最為集中的，基于此我們重構(gòu)背景得到了較好的結(jié)果。如果進一步將像素的灰度分布集中化，是否能將背景重構(gòu)效果進一步提升。于是我們對經(jīng)過多次背景更新策略處理后得到的像素灰度進行歸類，使像素灰度分布更為集中。圖9是100幀中像素A經(jīng)過ξ=15灰度歸類后得到的灰度分布圖，可以看到此刻像素A的灰度分布主要集中在187.5，比灰度歸類前更為集中。灰度歸類后重構(gòu)背景如圖7所示，可以看到圖7受前景干擾比圖6更小，而圖像的細膩度上比圖3有顯著提升，與圖6無顯著差別。

綜上，基于像素灰度歸類的背景重構(gòu)自適應算法在背景自適應上有較好的效果。

圖6 多次重構(gòu)后未灰度分類背景重構(gòu)圖

圖7 多次重構(gòu)且灰度分類后背景重構(gòu)圖

圖8 多次重構(gòu)后未灰度分類A點灰度分布圖

圖9 多次重構(gòu)且灰度分類后A點灰度分布圖

4 總結(jié)

本文提出了一種基于灰度歸類的背景自適應算法，在無相對靜止的物體干擾下，能夠較快且準確地重構(gòu)出實時背景，進而通過背景幀差法快速定位目標，為公安視頻偵查領(lǐng)域?qū)崿F(xiàn)視頻中快速檢索目標提供了基礎(chǔ)。實現(xiàn)海量視頻快速檢索目標，減少了人力投入并提高了效率和準確率，為案件偵破爭取到了有利時機。因此，本文提出的視頻偵查中背景快速準確的重構(gòu)算法研究，對公安視頻偵查工作具有重要的理論和應用價值。

[1]曾玉林,米源.淺析公安視頻偵查信息化系統(tǒng)的設(shè)計[J].電子世界,2013(19):124.

[2]侯志強,韓崇.基于像素灰度歸類的背景重構(gòu)算法[J].軟件學報,2005(9):1568-1576.

[3]齊美彬,王倩,蔣建國,等.基于背景像素值頻次最高假設(shè)的背景重構(gòu)算法[J].中國圖象圖形學報,2008 (4):723-728.

（責任編輯：孟凡騫）

TP391.4

A

2095-7939（2016）04-0016-04

10.14060/j.issn.2095-7939.2016.04.003

2016-11-15

楊洪臣（1964-），男，吉林梨樹人，中國刑事警察學院聲像資料檢驗技術(shù)系主任、教授，主要從事聲像資料檢驗研究。