基于DSP多源視頻配準(zhǔn)的網(wǎng)絡(luò)監(jiān)控設(shè)計(jì)

任思陽(yáng)

摘要：針對(duì)低照度、霧霾情況下的視頻信息有限，實(shí)時(shí)性要求高等問(wèn)題，提出基于DSP的嵌入式實(shí)時(shí)視頻配準(zhǔn)和網(wǎng)絡(luò)編碼傳輸方案。該系統(tǒng)以DM642開發(fā)板為硬件平臺(tái)，使用TI官方DSP/BIOS實(shí)時(shí)嵌入式系統(tǒng)。通過(guò)紅外與可見光攝像頭實(shí)時(shí)采集圖像數(shù)據(jù)，采用基于SURF算法的圖像配準(zhǔn)，計(jì)算Hessian矩陣確定對(duì)應(yīng)匹配點(diǎn)對(duì)，通過(guò)矩陣插值獲得最后配準(zhǔn)圖像。該方法速度快，滿足實(shí)時(shí)配準(zhǔn)需要，在配準(zhǔn)后實(shí)現(xiàn)了H.264算法的實(shí)時(shí)視頻的編碼壓縮、解碼傳輸以及通過(guò)網(wǎng)絡(luò)進(jìn)行發(fā)送。

關(guān)鍵詞：配準(zhǔn)；DM642；H.264編碼；網(wǎng)絡(luò)傳輸

中圖分類號(hào)：TN919.81 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）11-0131-02

視頻監(jiān)控應(yīng)用廣泛，本系統(tǒng)采用H.264 編碼標(biāo)準(zhǔn)，具有抗誤碼率強(qiáng)、壓縮比例大等優(yōu)點(diǎn)，通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸。常見的視頻監(jiān)控在低照度的傍晚、夜間或者霧霾天氣遠(yuǎn)距離觀察情況下，作用距離和觀察效果受氣候影響較大，如果能將紅外與可見光的圖像信息進(jìn)行配準(zhǔn)，增加了所包含的信息量。本系統(tǒng)提出基于SURF算法做圖像配準(zhǔn)，首先用SURF算子得到特征點(diǎn)，然后計(jì)算兩幅圖Hessian矩陣跡的正負(fù)性比較異同號(hào)來(lái)匹配興趣點(diǎn)，然后通過(guò)多項(xiàng)式變換求出變換矩陣，最后通過(guò)插值法獲得最終配準(zhǔn)圖像。

1 系統(tǒng)的硬件及工作流程設(shè)計(jì)

DSP的VP1、VP2視頻端口通過(guò)兩片視頻解碼芯片和可見光與紅外攝像機(jī)獲得數(shù)據(jù)。輸入的模擬信號(hào)經(jīng)A/D轉(zhuǎn)換，形成兩路BT.656格式的數(shù)字信號(hào)，單幀視頻圖像經(jīng)SURF算法實(shí)現(xiàn)圖像配準(zhǔn)，得到的配準(zhǔn)結(jié)果再由H.264壓縮算法處理，經(jīng)EMAC模塊接到片外網(wǎng)絡(luò)芯片，通過(guò)網(wǎng)口傳送到PC機(jī)，在IE瀏覽器中看到通過(guò)網(wǎng)絡(luò)傳給PC的配準(zhǔn)視頻，完成整個(gè)過(guò)程。

1.1 存儲(chǔ)器模塊

在DSP工作過(guò)程中，有3級(jí)存儲(chǔ)模塊，L1、L2與SDRAM模塊。本系統(tǒng)中使用了兩片64位數(shù)據(jù)寬度的SDRAM，用來(lái)作為DSP片內(nèi)存儲(chǔ)的外擴(kuò)。

1.2 雙通道輸入輸出模塊

視頻雙通道輸入模塊是對(duì)輸入的PAL制式視頻通過(guò)雙通道同時(shí)序標(biāo)定并A/D轉(zhuǎn)換。從VP1與VP2端口得到的模擬信號(hào)分別在SAA 7113H內(nèi)部經(jīng)過(guò)A/D 轉(zhuǎn)換、亮度、色度分離之后，轉(zhuǎn)換成BT.656標(biāo)準(zhǔn)數(shù)據(jù)流， 輸入到處理任務(wù)單元中進(jìn)行視頻數(shù)據(jù)的配準(zhǔn)和單幀編碼。

1.3 以太網(wǎng)模塊

在DM642內(nèi)部集成三大網(wǎng)絡(luò)模塊。EMAC控制模塊：EMAC控制模塊是DSP內(nèi)核與MDIO模塊的通信控制，通過(guò)DSP的存儲(chǔ)器傳輸控制器來(lái)讀取L1、L2與外部存儲(chǔ)器的數(shù)據(jù)并且支持百兆的全雙工數(shù)據(jù)傳輸。

2 系統(tǒng)的軟件設(shè)計(jì)

2.1 數(shù)據(jù)流程框圖（如圖1所示）

兩片解碼芯片的BT656標(biāo)準(zhǔn)圖像數(shù)據(jù)被采集到輸入緩存Cache， 由色差信號(hào)重采樣分離為YUV 4∶2∶0格式。在任務(wù)處理單元，先對(duì)兩幀圖像進(jìn)行快速配準(zhǔn)，對(duì)配準(zhǔn)后的單幀視頻圖像進(jìn)行H.264標(biāo)準(zhǔn)編碼壓縮，發(fā)送壓縮后的文件到網(wǎng)絡(luò)單元并同時(shí)建立網(wǎng)頁(yè)Java文件。同時(shí)序，壓縮數(shù)據(jù)發(fā)送到編碼器，編碼器產(chǎn)生一個(gè)YUV 4∶2∶0 的圖像，送到輸出任務(wù)模塊。轉(zhuǎn)換成YUV 4∶2∶2格式的圖像送至SAA7121H編碼處理并顯示。

2.1.1 視頻配準(zhǔn)： 特征提取

特征點(diǎn)檢測(cè)需要計(jì)算矩形區(qū)域內(nèi)像素和，通過(guò)三個(gè)加減法就可以計(jì)算出這幅圖像中任意矩形的像素和，這是SURF算法中重要的一步。在計(jì)算SURF算法中重要的Hessian矩陣的ΔH的值，計(jì)算公式如下：

用Hessian矩陣求出極值，在27個(gè)鄰域空間內(nèi)采取對(duì)比法，當(dāng)前區(qū)域內(nèi)極大值要比26個(gè)領(lǐng)域范圍內(nèi)相似度都高，將此點(diǎn)作為特征點(diǎn)。SURF 算法具有旋轉(zhuǎn)因子不變性，計(jì)算得到Haar小波的響應(yīng)系數(shù)，在60°的扇形區(qū)域內(nèi)求x和y方向上的系數(shù)之和，構(gòu)建向量中最長(zhǎng)向量的方向?yàn)樘卣鼽c(diǎn)主方向。確定向量主方向后，構(gòu)造一個(gè)以特征點(diǎn)為中心、邊長(zhǎng)為 20δ、主方向的正方形子區(qū)域，把所有矢量V連在一起就得到了64維的向量描述子。

2.1.2 特征的匹配

在SURF算法中計(jì)算了Hessian矩陣的行列式，將兩個(gè)Hessian的跡比較，同號(hào)則有相似的對(duì)比度，異號(hào)則不相似，放棄后續(xù)的計(jì)算，節(jié)省算法運(yùn)行的時(shí)間。在特征匹配后，選用多項(xiàng)式積變換法作為配準(zhǔn)的變換模型，可用（2）式得到變換模型：

得到的特征點(diǎn)對(duì)后，采用最近鄰域法完成變換矩陣的插值運(yùn)算，該算法結(jié)構(gòu)簡(jiǎn)單，插值速度快，滿足視頻圖像實(shí)時(shí)配準(zhǔn)的需要。

2.2 DSP/BIOS嵌入式實(shí)時(shí)操作系統(tǒng)

系統(tǒng)采用TI官方推出的RF-5框架來(lái)結(jié)合SURF配準(zhǔn)算法與H.264標(biāo)準(zhǔn)編解碼庫(kù)。DSP/BIOS實(shí)時(shí)內(nèi)核大體由三部分組成：多線程RTOS內(nèi)核；實(shí)時(shí)分析工具；芯片支持庫(kù)。利用開發(fā)程序?qū)SP及片上資源初始化， 外部存儲(chǔ)器接口模塊的CE0和CE1兩頁(yè)設(shè)置為高速緩存讀取，建立和啟動(dòng)雙通道BT656數(shù)字采集和回放通道。

3 系統(tǒng)調(diào)試與試驗(yàn)結(jié)果

實(shí)驗(yàn)在霧霾天進(jìn)行拍攝，場(chǎng)景包含近處的屋頂、積雪、遠(yuǎn)處的街道與霧霾后面的高樓。紅外相機(jī)能夠拍攝到具有顯著特征的高樓建筑，但圖像背景模糊，可見光圖像中近景清楚，但遠(yuǎn)景物體看不見?？梢姽庖曨l源如圖2，紅外視頻源如圖3所示。

在配準(zhǔn)效果圖中，既可以看見可見光視頻源中的白色積雪，也能看見遠(yuǎn)處?kù)F霾后的高樓群，達(dá)到了比較好的配準(zhǔn)效果。經(jīng)顯示屏回顯的配準(zhǔn)傳輸視頻如圖4，經(jīng)以太網(wǎng)傳輸?shù)呐錅?zhǔn)視頻如圖5可見。

4 結(jié)語(yǔ)

本文對(duì)基于DSP硬件平臺(tái)的RTOS內(nèi)核的嵌入式配置，H.264圖像壓縮算法的應(yīng)用，完成多源視頻配準(zhǔn)以太網(wǎng)傳輸監(jiān)控的分析研究并實(shí)現(xiàn)了多源視頻的配準(zhǔn)壓縮編碼、解碼和以太網(wǎng)傳輸。endprint

參考文獻(xiàn)

[1]朱婧雅，王中元. 基于相似場(chǎng)景的低照度監(jiān)控圖像增強(qiáng)[J].計(jì)算機(jī)應(yīng)用與軟件，2015，32（01）：203-205+210.

[2]劉衛(wèi)光，郭師紅，周利華. 紅外與可見光圖像實(shí)時(shí)配準(zhǔn)融合系統(tǒng)[J].紅外技術(shù)，2004，（05）：66-71.

[3]章為川，程冬，朱磊. 基于各向異性高斯核的多尺度角點(diǎn)檢測(cè)[J].電子測(cè)量與儀器學(xué)報(bào)，2012，26（01）：37-42.

[4]劉永峰. 基于遠(yuǎn)程視頻監(jiān)控的嵌入式系統(tǒng)的研究與設(shè)計(jì)[D].國(guó)防科學(xué)技術(shù)大學(xué)，2005.

[5]黃如昌，李國(guó)星. 基于DSP的多路視頻信號(hào)采集模塊設(shè)計(jì)[J].中國(guó)科技信息，2017，（11）：74-75.

[6]劉波，趙于前，劉彬旭. 基于SURF特征與邊緣信息的圖像配準(zhǔn)[J].中國(guó)醫(yī)學(xué)物理學(xué)雜志，2011，28（06）：3000-3003+3024.

Abstract：Aiming at the problem of limited video information and high real-time requirement under low illumination and haze conditions， a real-time video registration and network coding transmission scheme based on DSP is proposed. The system uses DM642 development board as the hardware platform， and uses TI official DSP/BIOS real-time embedded system. The image data are collected in real time by infrared and visible camera. Image registration based on SURF algorithm is used to calculate Hessian matrix to determine the corresponding matching points. Finally， the final registration image is obtained through matrix interpolation. The method is fast and real-time registration. After registration， the real-time video coding， compression， decoding and transmission of H.264 algorithm and the transmission through the network are realized.

Key Words：Registration；DM642；H.264 coding；network transmissionendprint