基于DSP的鐵路智能視頻監(jiān)控系統(tǒng)的研究

楊貴，蔡啟仲，楊敏，徐銘武

（1.廣西科技大學(xué)電氣與信息工程學(xué)院；2.深圳市普祿科視頻技術(shù)有限責(zé)任公司）

基于DSP的鐵路智能視頻監(jiān)控系統(tǒng)的研究

楊貴1，2，蔡啟仲1，楊敏1，徐銘武1

（1.廣西科技大學(xué)電氣與信息工程學(xué)院；2.深圳市普祿科視頻技術(shù)有限責(zé)任公司）

針對(duì)鐵路復(fù)雜環(huán)境的視頻運(yùn)動(dòng)目標(biāo)檢測(cè)易受影響的情況，采用TMS320DM8168 DSP處理器，提出一種融合三幀差法和自適應(yīng)的VIBE改進(jìn)算法，采用SUSAN邊緣檢測(cè)算子、形態(tài)學(xué)算子處理、中值濾波后處理進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，并轉(zhuǎn)化成HSV空間模型，將圖像處理算法移植到DM8168平臺(tái)上，在鐵路沿線復(fù)雜的場(chǎng)景下，能夠?qū)崟r(shí)地準(zhǔn)確檢測(cè)出視頻中運(yùn)動(dòng)目標(biāo)，有效地消除空洞和鬼影，實(shí)現(xiàn)良好的魯棒性。

運(yùn)動(dòng)目標(biāo)檢測(cè)；DM8168處理器；DSP；VIBE改進(jìn)算法；SUSAN邊緣檢測(cè)；HSV空間

0 引言

隨著現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)快速發(fā)展，鐵路視頻監(jiān)控也越來(lái)越智能化，運(yùn)動(dòng)目標(biāo)檢測(cè)是實(shí)現(xiàn)智能視頻監(jiān)控的關(guān)鍵部分，運(yùn)動(dòng)目標(biāo)檢測(cè)的目的就是從視頻圖像序列中將運(yùn)動(dòng)區(qū)域從背景視頻圖像中識(shí)別、分割和提取出來(lái)，以便后續(xù)的跟蹤運(yùn)動(dòng)目標(biāo)，運(yùn)動(dòng)目標(biāo)檢測(cè)效果有三個(gè)衡量標(biāo)準(zhǔn)。（1）魯棒性。光照變化、運(yùn)動(dòng)目標(biāo)狀態(tài)的變化，部分遮擋引起目標(biāo)不規(guī)則變形和全部遮擋引起目標(biāo)暫時(shí)消失等情況的變化。（2）準(zhǔn)確性。誤檢和漏檢情況。（3）實(shí)時(shí)性。對(duì)視頻流的實(shí)時(shí)處理，這就要求對(duì)核心算法不能太復(fù)雜，處理速度必須要超過(guò)正常的視頻碼率。而在鐵路沿線現(xiàn)場(chǎng)復(fù)雜環(huán)境下，易受白天光照、天氣變化和晚上的燈光影響，要想同時(shí)達(dá)到運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)時(shí)、準(zhǔn)確和魯棒性一直是鐵路智能視頻監(jiān)控的難點(diǎn)，從現(xiàn)場(chǎng)的視頻圖像中實(shí)時(shí)準(zhǔn)確的檢測(cè)出運(yùn)動(dòng)目標(biāo)，分析視頻監(jiān)控畫面運(yùn)動(dòng)目標(biāo)是否是非法的行人入侵，從而實(shí)現(xiàn)一種智能的視頻入侵監(jiān)控系統(tǒng)，本文采用TMS320DM8168 DSP作為系統(tǒng)視頻圖像處理器，并在視頻圖像運(yùn)動(dòng)目標(biāo)檢測(cè)算法上，基于一種融合三幀差法和自適應(yīng)的VIBE改進(jìn)算法，首先采用SUSAN邊緣檢測(cè)算子初步提取運(yùn)動(dòng)目標(biāo)大概輪廓，確定運(yùn)動(dòng)目標(biāo)輪廓區(qū)域，只對(duì)區(qū)域內(nèi)的像素點(diǎn)進(jìn)行改進(jìn)的三幀差和VIBE算法前景匹配和檢測(cè)，對(duì)檢測(cè)出來(lái)的運(yùn)動(dòng)目標(biāo)進(jìn)行相關(guān)的中值濾波和形態(tài)學(xué)后處理，以減少空洞和鬼影現(xiàn)象，并轉(zhuǎn)化成HSV空間模型減少光照的影響，把相關(guān)核心算法移植到DM8168平臺(tái)上。該系統(tǒng)具有抗干擾性強(qiáng)、功耗低、實(shí)時(shí)性、準(zhǔn)確性等優(yōu)點(diǎn)，能夠有效地實(shí)時(shí)準(zhǔn)確檢測(cè)出視頻圖像中運(yùn)動(dòng)目標(biāo)，在鐵路智能視頻監(jiān)控中得到很好現(xiàn)場(chǎng)應(yīng)用。

1 整體的硬件平臺(tái)及算法移植

1.1 系統(tǒng)硬件平臺(tái)

基于TI公司的 TMS320DM8168是異構(gòu)多核SOC片上系統(tǒng)，它內(nèi)部集成了一個(gè)1.0GHz浮點(diǎn)型C674x的DSP，一個(gè)1.2GHz V7架構(gòu)的Cortex-A8的ARM,一個(gè)高清視頻圖像協(xié)處理器HDVPSS和三個(gè)高清視頻圖像協(xié)處理器HDVICP。DSP是處理數(shù)據(jù)運(yùn)動(dòng)目標(biāo)檢測(cè)算法運(yùn)算，ARM是負(fù)責(zé)各個(gè)處理器之間的任務(wù)調(diào)度、消息通信、數(shù)據(jù)讀取和存儲(chǔ)控制。HDVPSS是視頻采集、縮放、去噪、顯示作用，HDVICP是視頻編解碼功能。外圍芯片的EMAC是DM8168處理器與外圍網(wǎng)絡(luò)傳輸模塊，TVP5158是4通道的視頻采集解碼芯片，實(shí)現(xiàn)模擬視頻信號(hào)到數(shù)字信號(hào)的轉(zhuǎn)化，完成相關(guān)視頻圖像的數(shù)字化處理。整個(gè)硬件系統(tǒng)圖如圖1。

圖1 硬件系統(tǒng)圖

1

1.2 系統(tǒng)算法移植

本文采用TMS3208168硬件系統(tǒng)平臺(tái)，由TI公司提供的DVRRDK開(kāi)發(fā)環(huán)境，在系統(tǒng)平臺(tái)上移植Uboot啟動(dòng)程序，通過(guò)仿真器將二進(jìn)制文件燒寫到Nand Flash中，設(shè)置 DM8168Nand Flash啟動(dòng)方式，啟動(dòng)Uboot初始化和加載內(nèi)核，移植Linux系統(tǒng)，修改和配置內(nèi)核，生成uImage內(nèi)核鏡像，燒寫到Nand Flash的Kernel分區(qū)，加載TVP5158視頻解碼芯片、HDVICP、HDVPSS、HDMI控制器的驅(qū)動(dòng)程序，完成整個(gè)系統(tǒng)算法的移植。整個(gè)系統(tǒng)軟件結(jié)構(gòu)框圖如圖2。

圖2 軟件結(jié)構(gòu)圖

2 前景檢測(cè)改進(jìn)算法

在智能視頻監(jiān)控系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的常用算法有三種，幀間差分法、背景差分法和光流法。幀間差分法檢測(cè)結(jié)果容易產(chǎn)生空洞。如果運(yùn)動(dòng)目標(biāo)速度快，也會(huì)造成重影。背景差分法需要消耗大量的內(nèi)存，對(duì)于局部像素突變的干擾，檢測(cè)效果也不理想。光流法該方法的計(jì)算復(fù)雜度高，對(duì)硬件的要求高很難做到實(shí)時(shí)檢測(cè)，而且易受到環(huán)境噪聲的影響。結(jié)合工作之中針對(duì)以上算法的優(yōu)缺點(diǎn)，使用了一種基于視覺(jué)的背景提取算法（VIBE），VIBE算法的研究方法是給一幀圖片中每個(gè)像素點(diǎn)建立一個(gè)樣本集，采樣該像素點(diǎn)的過(guò)去時(shí)刻的像素值及其周圍鄰居點(diǎn)像素值填充樣本集。對(duì)之后的視頻幀圖片每一個(gè)新的像素值和對(duì)應(yīng)該點(diǎn)的樣本集進(jìn)行比較來(lái)判斷是否屬于背景點(diǎn)，在此過(guò)程中，以一定的概率更新樣本集以適應(yīng)背景環(huán)境的變化，ViBe算法具有計(jì)算量小速度快的優(yōu)點(diǎn)，但是對(duì)鬼影、背景干擾的消除以及光照變化的未做太多考慮。本文針對(duì)這一類問(wèn)題提出融合三幀差法和自適應(yīng)的VIBE改進(jìn)算法。

2.1 背景初始化

傳統(tǒng)的VIBE算法用第一幀圖像初始化背景模型容易生成鬼影，改進(jìn)算法采用三幀差法，用當(dāng)前幀與像素模型作對(duì)比得到的差分圖,后一幀與像素模型作對(duì)比得到得到的差分圖，再對(duì)兩個(gè)結(jié)果去交集得到公共部分。三幀差法的原理如圖。Ik-1為視頻第k-1幀圖像,Ik為第k幀圖像,M（x）為所建立的像素模型,由幀差法可得到第k-1幀和第k幀的的差分圖像dk-1和dk,再dk-1和dk做與運(yùn)算,得到了最終的二值圖像Dk。改進(jìn)的三幀差法的原理系統(tǒng)圖如圖3。

圖3 三幀差法分析圖

再采用SUSAN邊緣檢測(cè)算子初步提取運(yùn)動(dòng)目標(biāo)大概輪廓，確定運(yùn)動(dòng)目標(biāo)輪廓區(qū)域，只對(duì)區(qū)域內(nèi)的像素點(diǎn)進(jìn)行前景匹配和檢測(cè)。SUSAN邊緣檢測(cè)是基于灰度特征提取方法，通過(guò)圓形模板在圖像上移動(dòng)，比較圓形模板內(nèi)部像素點(diǎn)與背景模板中心的像素的灰度值，若圓形模板中像素灰度值與模板中心灰度值差值小于一定閾值，則就認(rèn)為該點(diǎn)與中心模板有相同的灰度值，把相同灰度值的區(qū)域集合在一起，組成灰度值相似區(qū)域USAN。USAN區(qū)域判定方式為：

公式（1）中c（r,r0）為USAN區(qū)域判定函數(shù)，（Ir）是模板中心灰度像素值，（Ir0）是模板其他位置像素值，t是灰度閾值取3/4MAX，MAX是模板中心最大USAN，r0是圓形模板的半徑。

2.2 運(yùn)動(dòng)目標(biāo)檢測(cè)

在運(yùn)動(dòng)目標(biāo)輪廓區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，采用改進(jìn)的自適應(yīng)VIBE算法，第2幀開(kāi)始計(jì)算每個(gè)像素點(diǎn)像素值與背景模型同一位置像素點(diǎn)N幀像素值的差的絕對(duì)值，將結(jié)果和預(yù)設(shè)的閾值R相比，如果小于R則說(shuō)明找到一個(gè)匹配；統(tǒng)計(jì)上述小于R的匹配數(shù)目，如果匹配數(shù)目大于設(shè)定的匹配數(shù)目閾值，就判斷此像素點(diǎn)是背景點(diǎn)，否則就判為前景點(diǎn)。

公式（2）中FR（V（x））以x為圓中心，R為半徑區(qū)域，N表示以FR（V（x））圓區(qū)域與背景輪廓區(qū)域的交集，當(dāng)N大于一定閾值Rmin時(shí)，則判斷x是背景點(diǎn)。自適應(yīng)參數(shù)R是可調(diào)節(jié)的范圍在（15，25）之間，自適應(yīng)參數(shù)R值守根據(jù)現(xiàn)場(chǎng)環(huán)境變化情況來(lái)確定，如果現(xiàn)場(chǎng)環(huán)境比較復(fù)雜就適當(dāng)把R值調(diào)大些，現(xiàn)場(chǎng)背景環(huán)境沒(méi)有突發(fā)變化就把R值調(diào)小些，VIBE背景模型原理圖如圖4。

圖4 VIBE背景建模

2

2.3 背景模型更新

VIBE算法中背景樣本的更新利用了像素點(diǎn)的空間傳播特性及樣本的更新與時(shí)間無(wú)關(guān)，這是一種無(wú)記憶的更新策略。當(dāng)一個(gè)像素點(diǎn)被判別為背景時(shí)，有1/φ的概率更新模型樣本集，同時(shí)也有1/φ的概率更新它的鄰居點(diǎn)的模型樣本值。

3 圖像后續(xù)處理

經(jīng)過(guò)檢測(cè)目標(biāo)圖像中存在陰影、空洞、噪聲，為得到更好的運(yùn)動(dòng)目標(biāo)提取和跟蹤，必須對(duì)檢測(cè)目標(biāo)圖像進(jìn)行后續(xù)相關(guān)處理，算法后續(xù)處理包括轉(zhuǎn)化HSV空間模型、中值濾波、形態(tài)學(xué)算子，能夠有效地消除陰影、噪聲和空洞。

3.1 HHSSVV空間模型

將陰影部分的像素值和背景像素值進(jìn)行比較，若兩個(gè)共同部分的灰度值和色彩同時(shí)小于該閾值，那么認(rèn)為該像素點(diǎn)為陰影。

公式（3）中的 P（x,y）是圖像點(diǎn)（x,y）的陰影像素點(diǎn)模板，QH（x,y）、QS（x,y）、QV（x,y）是坐標(biāo)（x,y）當(dāng)前像素值的 H、S、V 分量，與 BH（x,y）、BS（x,y）、BV（x,y）是坐標(biāo)（x,y）背景像素值的H、S、V分量，如果前像素點(diǎn)判定為陰影，則該像素點(diǎn)背景圖像設(shè)為0，否則不做處理。

3.2 中值濾波

中值濾波是非線性信號(hào)處理方法，既中值濾波是一種非線性濾波器，可以克服線性濾波器的不能處理圖像細(xì)節(jié)模糊的難點(diǎn)，中值濾波對(duì)濾去脈沖干擾和圖像噪聲效果很好。

3.3 形態(tài)學(xué)處理

形態(tài)學(xué)處理是用一定的形態(tài)結(jié)構(gòu)元素去提取圖像中對(duì)應(yīng)的形狀。圖像經(jīng)過(guò)形態(tài)學(xué)濾波后可以有效地消除圖像中的噪聲和空洞現(xiàn)象，常用形態(tài)學(xué)有開(kāi)和閉運(yùn)算，本文采用閉運(yùn)算即先采用膨脹后進(jìn)行腐蝕操作，實(shí)驗(yàn)表明能夠有效消除噪聲和空洞。

4 測(cè)試結(jié)果分析

本文是針對(duì)鐵路沿線環(huán)境下的系統(tǒng)研究，整個(gè)系統(tǒng)是在Linux集成開(kāi)發(fā)環(huán)境下進(jìn)行的，將算法移植到DM8168開(kāi)發(fā)平臺(tái)上，將系統(tǒng)運(yùn)用在鐵路沿線上測(cè)試效果如圖 5、6。

圖5 行人檢測(cè)

圖6 行人檢測(cè)

上圖分別是第88幀和第135幀時(shí)，在鐵路沿線場(chǎng)景下非法行人闖入鐵軌時(shí)檢測(cè)效果，可以看出在用傳統(tǒng)的VIBE算法檢測(cè)出的非法行人檢測(cè)效果存在很多鬼影和噪聲，而采用本文融合三幀差法和自適應(yīng)改進(jìn)BE算法檢測(cè)出來(lái)的行人效果良好，鐵路沿線行人檢測(cè)效果如圖 7、8。

上述兩組圖分別是采用本文的融合三幀差法和自適應(yīng)VIBE算法檢測(cè)出來(lái)的效果，都是采用白天和晚上不同的環(huán)境背景下檢測(cè)出來(lái)的鐵路沿線非法行人入侵，從圖中可以看到在鐵路沿線實(shí)際場(chǎng)景下，不論白天還是晚上檢測(cè)出來(lái)效果都是很好的，從實(shí)際效果得出本文改進(jìn)的融合三幀差法和自適應(yīng)VIBE算法適合鐵路智能視頻監(jiān)控。

5 結(jié)語(yǔ)

本文提出一種基于TMS320DM8168 DSP作為系統(tǒng)視頻圖像處理器的開(kāi)發(fā)平臺(tái)，結(jié)合鐵路沿線的現(xiàn)場(chǎng)復(fù)雜環(huán)境進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，采用一種融合三幀差法和自適應(yīng)的VIBE改進(jìn)算法，并通過(guò)SUSAN邊緣檢測(cè)算子初步提取運(yùn)動(dòng)目標(biāo)輪廓，通過(guò)中值濾波和形態(tài)學(xué)處理得到消除鬼影、空洞和噪聲的良好效果，轉(zhuǎn)化成HSV空間模型使得的圖像具有抗光照影響。最后把改進(jìn)運(yùn)動(dòng)目標(biāo)檢測(cè)算法移植到DM8168開(kāi)發(fā)平臺(tái)上，使整個(gè)系統(tǒng)在鐵路智能視頻監(jiān)控中得到很好應(yīng)用。

圖7 行人檢測(cè)

圖8 行人檢測(cè)

[1]劉吉.鐵路綜合視頻監(jiān)控系統(tǒng)的應(yīng)用及發(fā)展趨勢(shì)探討.自動(dòng)化與儀器儀表,2016.

[2]馬健康.鐵路綜合視頻監(jiān)控系統(tǒng)的視頻檢索應(yīng)用探討.中國(guó)鐵路.2014.

[3]王加梁.基于計(jì)算機(jī)技術(shù)的智能視頻監(jiān)控系統(tǒng)探討[J].電子測(cè)試,2013,(07)：100-101.

[4]Braga N，Ulisses G，John J．Object-based Image Analysis Using Multiscale Connectivity[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(6)：892-907．

[5]Valera M，Velastin S．Intelligent Distributed Surveillance Systems：A Review[C]．Proceedings of IEEE Conference on Vision Image and Signal Processing，2005，152(2)：192-204．

[6]James Smailes,Ron Ries,Dr.Thomas Raslear.Trespass on Railroad Rights-of-Way[J].Research results,2007.6(19)

[7]Vidal R，Avinash U．Optical Flow Estimation and Segmentation of Multiple Moving Dynamic Textures[C]．Proceedings of 2005 IEEEComputer Society Conference on Computer Vision and Pattern Recognition，2005：516-521．

[8]Ying W,Juanjuan L,Di W.A particle filter Tracking Algorithm based on SIFT Feature Matching[C].Control and Decision Conference(CCDC),2012：1450-1454.

[9]謝虎.無(wú)線通信技術(shù)在鐵路綜合視頻監(jiān)控系統(tǒng)的應(yīng)用.中國(guó)鐵路，2012.

[10]Marco P.daSilva.Automated Railroad Infrastructure Trespass Detection System Performance Guidelines,American Railway Engineering and Maintenance-of-Way Association 2008 Annual Conference,Salt Lake CIty,UT,September 21-24,2008.

[11]孔令鑫.高速鐵路高清視頻監(jiān)控系統(tǒng)解決方案.中國(guó)鐵路.2014.

[12]寧娟.鐵路綜合視頻監(jiān)控系統(tǒng)方案設(shè)計(jì).鐵道通信信號(hào).2010.

[13]梁磊.基于DSP的遠(yuǎn)程視頻監(jiān)控系統(tǒng)研究.無(wú)線互聯(lián)科技.2016.

[14]陳梅.視頻監(jiān)控技術(shù)在鐵路系統(tǒng)的應(yīng)用和發(fā)展.鐵路通信信號(hào)工程技術(shù).2009.

[15]王楠.鐵路視頻監(jiān)控應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì).中國(guó)安防，2010.

[16]張衡.基于視頻的青藏鐵路災(zāi)害自動(dòng)預(yù)警系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn).北京：北京大學(xué)，2008.

[17]楊葉梅.基于改進(jìn)光流法的運(yùn)動(dòng)目標(biāo)檢測(cè).計(jì)算機(jī)與數(shù)學(xué)工程，2011.

[18]楊丹，余孟澤.車輛視頻檢測(cè)及陰影去除.計(jì)算機(jī)工程與設(shè)計(jì)，2011.

Railway Intelligent Video Monitoring System Based on DSP

YANG Gui1，2,CAI Qi-zhong1,YANG Min1,XU Min-Wu1
（1.School of Electrical and Information Engineering,Guangxi University of Technology,Liuzhou 545006；2.Shenzhen Puluke Video Technology Co.,Ltd.,Shenzhen,Guangdong 518068）

For the video moving target detection in complex environment of railway is easily affected by the situation,adopts TMS320DM8168 DSP processor,presents a fusion of the three frame difference method and adaptive VIBE algorithm,uses SUSAN edge detection operator,mor?phological processing,median filtering and moving target detection,and transformed into a HSV space model,the image processing algo?rithm is transplanted to the DM8168 platform,along the railway complex scene,can accurately detect moving objects in video,effectively eliminate the empty and the phantom of the opera,to achieve good robustness.

1007-1423（2017）22-0080-05

10.3969/j.issn.1007-1423.2017.22.019

楊貴（1989-），男，湖北人，碩士研究生，研究方向?yàn)榍度胧较到y(tǒng)與自動(dòng)化裝置

蔡啟仲（1956-），男，教授，碩士生導(dǎo)師，研究方向?yàn)榍度胧较到y(tǒng)與自動(dòng)化裝置

2017-03-14

2017-07-15

Moving Object Detection;DM8168 Processor;DSP;VIBE Improved Algorithm;SUSAN Edge Detection;HSV Space