基于FPGA+DM6467智能監(jiān)控系統(tǒng)設(shè)計(jì)

趙 攀，盧 彬

(重慶郵電大學(xué)，a.通信新技術(shù)應(yīng)用研究所;b.重慶信科設(shè)計(jì)有限公司，重慶 400065)

隨著科技的發(fā)展，智能視頻監(jiān)控系統(tǒng)已普遍應(yīng)用于軍事、交通、商業(yè)、農(nóng)業(yè)、醫(yī)學(xué)等領(lǐng)域。傳統(tǒng)的監(jiān)控系統(tǒng)多數(shù)基于PC，由工作人員定時(shí)定點(diǎn)對(duì)監(jiān)控視場(chǎng)進(jìn)行控制，其不但實(shí)時(shí)性差，而且不具備智能性，使得應(yīng)用具有局限性。

近年來，隨著高速數(shù)字信號(hào)處理器的出現(xiàn)，以嵌入式系統(tǒng)為依托、以網(wǎng)絡(luò)為通信平臺(tái)的智能視頻處理系統(tǒng)成為研究的熱點(diǎn)。筆者設(shè)計(jì)了用FPGA作為視頻預(yù)處理器，用TMS320DM6467(簡(jiǎn)稱DM6467)作為視頻主處理器，結(jié)合運(yùn)動(dòng)目標(biāo)檢測(cè)法和目標(biāo)跟蹤法的智能視頻監(jiān)控系統(tǒng)。本系統(tǒng)和其他視頻處理系統(tǒng)相比，具有體積小、功耗低、運(yùn)行穩(wěn)定、便于擴(kuò)展等技術(shù)優(yōu)勢(shì)，有著廣泛的應(yīng)用前景。

1 系統(tǒng)總體方案

本系統(tǒng)是基于FPGA+DM6467的智能視頻監(jiān)控系統(tǒng)，它主要包括視頻采集、視頻預(yù)處理、目標(biāo)檢測(cè)與跟蹤、網(wǎng)絡(luò)傳輸、客戶端播放、報(bào)警系統(tǒng)等模塊。如圖1所示，攝像頭在前端進(jìn)行視頻采集，F(xiàn)PGA對(duì)采集圖像進(jìn)行預(yù)處理，并將其結(jié)果存放在SDRAM中，DM6467從SDRAM中提取圖像進(jìn)行智能目標(biāo)檢測(cè)與跟蹤，然后通過網(wǎng)絡(luò)將視頻數(shù)據(jù)發(fā)送到客戶端進(jìn)行播放，當(dāng)檢測(cè)到異常事件時(shí)，自動(dòng)開啟報(bào)警系統(tǒng)及時(shí)地發(fā)出警告。

圖1 總體設(shè)計(jì)圖

2 系統(tǒng)硬件設(shè)計(jì)

本系統(tǒng)的硬件主要由客戶端和監(jiān)控終端兩部分組成，客戶端硬件設(shè)計(jì)是由高配置的計(jì)算機(jī)組成，視頻終端則主要由視頻采集模塊和視頻處理模塊組成。系統(tǒng)終端硬件設(shè)計(jì)圖如圖2所示。

圖2 系統(tǒng)終端硬件設(shè)計(jì)圖

視頻采集模塊采用攝像機(jī)和高達(dá)800萬門Xilinx Virtex－4 FPGA處理器。攝像機(jī)采用CMOS的方式采集數(shù)據(jù)，通過A/D轉(zhuǎn)換器TV5158將采集數(shù)據(jù)傳遞給FPGA處理器，F(xiàn)PGA處理器支持YCbCr/HDMI/HDSDI/VGA多種高清視頻輸入接口，并采用時(shí)分復(fù)用提高多路信號(hào)的輸入，利用DMA方式傳輸數(shù)據(jù)到DDR2中供DM6467使用，F(xiàn)PGA處理器的視頻預(yù)處理能力提高了監(jiān)控系統(tǒng)的實(shí)時(shí)性。

視頻處理模塊采用TI DM6467T芯片作為核心處理器，該芯片集成了高性能的TMS320C64x+DSP內(nèi)核和1個(gè)ARM926EJ－S內(nèi)核，內(nèi)置2組獨(dú)立的HDVICP協(xié)處理器單元，時(shí)鐘頻率達(dá)到1 GHz，能夠以5800 MI/s(百萬條指令/秒)的速度處理信息。其中DSP主要負(fù)責(zé)算法對(duì)視頻數(shù)據(jù)的處理，ARM主要負(fù)責(zé)與外設(shè)的通信，并將DSP處理后的數(shù)據(jù)通過網(wǎng)絡(luò)發(fā)送到監(jiān)控中心，它們之間也是通過DDR2進(jìn)行數(shù)據(jù)交互的，而DDR2緩存實(shí)行兩級(jí)緩存的方式，提高了系統(tǒng)的時(shí)效性。另外DM6467T還包含豐富的外設(shè)，例如USB、以太網(wǎng)接口、硬盤等，不僅擴(kuò)展了系統(tǒng)的緩存，還為數(shù)據(jù)的傳輸和存儲(chǔ)提供了可靠性。

3 系統(tǒng)軟件設(shè)計(jì)

本系統(tǒng)的軟件客戶端采用流媒體播放器和socket通信，監(jiān)控端則采用移植在DM6467平臺(tái)上的Linux系統(tǒng)作為開發(fā)環(huán)境。圖3所示是視頻的采集、檢測(cè)、跟蹤、播放模塊的軟件流程設(shè)計(jì)。采集模塊主要負(fù)責(zé)視頻的采集和存儲(chǔ)，并響應(yīng)客戶端的云臺(tái)控制;檢測(cè)模塊則采用背景模型建立分割目標(biāo)的方法進(jìn)行檢測(cè)，目標(biāo)跟蹤則根據(jù)檢測(cè)結(jié)果進(jìn)行物體主動(dòng)輪廓跟蹤法進(jìn)行跟蹤，并將結(jié)果發(fā)送給客戶端播放。

4 系統(tǒng)算法設(shè)計(jì)及實(shí)現(xiàn)

4.1 運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)常用的方法有幀間差分法、背景減除法、光流法［1－6］，但其對(duì)于背景比較復(fù)雜的場(chǎng)景不適用，因而本文采用核密度估計(jì)(KDE)法來檢測(cè)運(yùn)動(dòng)物體。它是基于圖像在時(shí)間域和空間域上的馬爾可夫性，利用歷史幀數(shù)據(jù)來估計(jì)當(dāng)前幀像素的概率密度，通過閾門值來判斷當(dāng)前像素為運(yùn)動(dòng)前景物體或背景的。

核密度估計(jì)通過加權(quán)平均中心點(diǎn)位于采樣值的局部函數(shù)來估計(jì)未知的密度分布。從理論上講，只要有足夠多的樣本數(shù)，它可漸進(jìn)收斂于任何形式的密度函數(shù)。給定某像素特征空間的一個(gè)樣本集{x1，x1，…，xN}，觀測(cè)值xt的密度分布用P(xt)來估計(jì)，公式為

圖3 系統(tǒng)軟件設(shè)計(jì)圖

式中:權(quán)值ai=，Kh=K(t/h)為核函數(shù)，h 表示窗寬或帶寬，其中樣本容量N→∞ ，帶寬N→0。

在實(shí)際應(yīng)用中，核函數(shù)的選取對(duì)估計(jì)結(jié)果影響不大，但核帶寬h的選取更為重要。帶寬h過小，估計(jì)偏差過高，估計(jì)得到的密度函數(shù)不夠光滑，容易受到噪聲影響;帶寬h過大容易造成過光滑，從而丟失重要信息。

本文采用常見的高斯密度函數(shù)作為核函數(shù)，采用相鄰兩幀樣本的灰度絕對(duì)差的中間位數(shù)作為背景估計(jì)的帶寬。假設(shè)局部分布服從N(μ，h2)高斯分布，那么(xixi+1)的絕對(duì)差值將服從高斯分布N(μ，2h2)。所以有高斯分布的對(duì)稱行及樣本中位數(shù)的定義，可得h=m/(0.68。其中，m為樣本中(x1－xi+1)的絕對(duì)值中位數(shù)。

運(yùn)動(dòng)目標(biāo)檢測(cè)如圖4所示。

4.2 運(yùn)動(dòng)目標(biāo)跟蹤

目標(biāo)跟蹤算法實(shí)質(zhì)上就是基于區(qū)域、特征、模型的圖像匹配問題［7］，考慮到區(qū)域匹配和特征匹配的精確性問題，本文采用基于動(dòng)態(tài)輪廓snake模型的跟蹤算法，它不僅適用于復(fù)雜的環(huán)境，而且具有良好的穩(wěn)健性。

式中:α為曲線的連續(xù)性控制參數(shù)，β為曲線的光滑性控制參數(shù)，Xs和Xss分別為X(s，t)對(duì)s的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。

外部能量函數(shù)Eext=γEimage(X(s，t))由圖像的灰度、邊緣等特征獲得。對(duì)于I(x，y)一般采用以下圖像能量函數(shù)

式中:Gσ(x，y)為標(biāo)準(zhǔn)差為σ的二維高斯函數(shù)，▽為梯度算法。為了使能量函數(shù)最小，snake必須滿足歐拉方程，即αX"(s，t)－βX?(s，t)－▽Eext=0 。能量平衡方程可視為驅(qū)動(dòng)力的平衡方程 Fint+Fext=0 。其中，F(xiàn)int=αX"(s，t)－ βX?(s，t)，控制著曲線的特性;Fext=－▽Eext，將活動(dòng)輪廓吸引到目標(biāo)輪廓，snake在內(nèi)力Fint的吸引驅(qū)動(dòng)下向目標(biāo)輪廓移動(dòng)，而外力Fext在保持snake拓?fù)湫缘耐瑫r(shí)，隨著snake的移動(dòng)變化，最終達(dá)到內(nèi)外力之和等于零，這時(shí)，snake就停留在目標(biāo)輪廓上。

目標(biāo)跟蹤結(jié)果如圖5所示。

5 結(jié)論

本文針對(duì)以往監(jiān)控系統(tǒng)的不足，結(jié)合目標(biāo)檢測(cè)跟蹤算法和嵌入式技術(shù)，設(shè)計(jì)了智能監(jiān)控系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)具有良好的穩(wěn)定性和穩(wěn)健性，可廣泛應(yīng)用于遠(yuǎn)程家居監(jiān)控、交通監(jiān)控、社區(qū)安防監(jiān)控等方面，為物聯(lián)網(wǎng)的發(fā)展奠定了基礎(chǔ)。

［1］HARITAOGLU I D H，DAVIS L.W4:Realtime surveillance of people and their activities［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):809－830.

［2］WREN C R，AZARBAYEJANI A.Pfinder:real－time tracking of the human body［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):780－785.

［3］陳鋒強(qiáng).復(fù)雜場(chǎng)景下運(yùn)動(dòng)物體檢測(cè)與跟蹤算法的研究［D］.上海:上海交通大學(xué)，2008.

［4］龔光魯，錢敏平.應(yīng)用隨機(jī)過程教程及在算法和智能計(jì)算中的隨機(jī)模型［M］.北京:清華大學(xué)出版社，2004.

［5］劉亞，艾海舟，徐光佑.一種基于背景模型的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤［J］.信息與控制，2002，31(7):315－319.

［6］丁忠校.視頻監(jiān)控圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)方法綜述［J］.電視技術(shù)，2008，32(5):72－76.

［7］滕游，董輝，俞立.基于DSP的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)設(shè)計(jì)［J］.浙江工業(yè)大學(xué)學(xué)報(bào)，2009，37(6):607－609.