基于樹莓派與ROS系統(tǒng)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)研究

周 鳳王 利

（1.綏化學(xué)院信息工程學(xué)院 黑龍江綏化 152061；2.北京市回龍觀中心校 北京 102200）

視頻監(jiān)控系統(tǒng)是目前安全領(lǐng)域不可或缺的組成部分，在交通、倉儲(chǔ)、銀行、物流等領(lǐng)域都有著廣泛的應(yīng)用。隨著計(jì)算機(jī)軟硬件技術(shù)的進(jìn)步，目前的監(jiān)控系統(tǒng)已經(jīng)以數(shù)字化設(shè)備為主導(dǎo)，遠(yuǎn)程網(wǎng)絡(luò)技術(shù)越來越穩(wěn)定[1]。但是隨著監(jiān)控設(shè)備數(shù)量的不斷增多，監(jiān)控范圍的不斷增大，監(jiān)控環(huán)境需求越來越復(fù)雜，對(duì)監(jiān)控設(shè)備的要求也相應(yīng)提高。

網(wǎng)絡(luò)無線化需求。目前，視頻監(jiān)控設(shè)備主流方案多數(shù)仍然采用RJ45接口聯(lián)接攝像頭與主控電腦等網(wǎng)絡(luò)設(shè)備，需要進(jìn)行網(wǎng)絡(luò)布線，一是硬件成本相對(duì)較高，二是需要對(duì)布線進(jìn)行布局。

監(jiān)控移動(dòng)化需求。有些環(huán)境區(qū)域不適合做大量固定監(jiān)控設(shè)備布置，需要以機(jī)器人等形式實(shí)現(xiàn)巡邏式監(jiān)控。

功能擴(kuò)展性需求[2]?？梢愿鶕?jù)需要，靈活地設(shè)置監(jiān)控終端數(shù)量，根據(jù)網(wǎng)絡(luò)具體情況實(shí)時(shí)調(diào)整圖像壓縮算法，或者加入人臉識(shí)別、動(dòng)作識(shí)別等功能。

本文提出一種以嵌入式設(shè)備為基礎(chǔ)的無線網(wǎng)絡(luò)監(jiān)控系統(tǒng)，硬件采用樹莓派主控設(shè)備及高清攝像頭，軟件采用Linux、ROS和OpenCV等開源軟件平臺(tái)，構(gòu)建分布式的網(wǎng)絡(luò)監(jiān)控系統(tǒng)，能夠無線傳輸監(jiān)控視頻數(shù)據(jù)，構(gòu)建簡(jiǎn)單靈活，功能擴(kuò)展性強(qiáng)。

一、硬件組成-基于Raspberry Pi

系統(tǒng)硬件組成結(jié)構(gòu)圖如圖1所示。攝像頭主控系統(tǒng)采用微型電腦樹莓派（RaspberryPi）。樹莓派至今已經(jīng)經(jīng)過3代機(jī)型更新迭代，具有成本低、接口全、功能強(qiáng)、功耗低等突出優(yōu)勢(shì)[3]。樹莓派系統(tǒng)帶有Linux內(nèi)核操作系統(tǒng)，并可以通過板載wifi模塊直接與網(wǎng)絡(luò)設(shè)備或者上位機(jī)直接聯(lián)接。使用樹莓派研發(fā)監(jiān)控系統(tǒng)，已經(jīng)無需關(guān)心底層硬件具體設(shè)計(jì)，可以大幅度減少研發(fā)成本。并且，采用樹莓派作為主控系統(tǒng)，可以無成本地將此監(jiān)控系統(tǒng)移植到移動(dòng)設(shè)備，并且可以在移動(dòng)設(shè)備上聯(lián)接多個(gè)視頻采集設(shè)備，實(shí)現(xiàn)全景圖像采集。本系統(tǒng)采用2016年2月發(fā)布的樹莓派3B版本，運(yùn)算速度和功能模塊相比較之前版本均有大幅度提升。樹莓派自帶無線網(wǎng)卡，可通過wifi直接聯(lián)網(wǎng)，節(jié)省布線成本。另外，樹莓派也帶有RJ45標(biāo)準(zhǔn)以太網(wǎng)接口，根據(jù)需要也可進(jìn)行有線網(wǎng)絡(luò)連接。

本系統(tǒng)攝像頭采用OV2710，具備1/2.7CMOSSensor3.6mm鏡頭，90度視角，擁有很好的低照度，照度可達(dá)星光級(jí)0.05Lux，拍攝速度快，幀數(shù)在640×480分辨率下可達(dá)120fps，在1280×720分辨率下可達(dá)60fps，在1920×1080全高清分辨率下可達(dá)30fps。

圖1 系統(tǒng)硬件組成結(jié)構(gòu)圖

若在特定環(huán)境下，比如要求監(jiān)控節(jié)點(diǎn)有較大視角范圍，或者移動(dòng)監(jiān)控設(shè)備多方向同時(shí)監(jiān)控等情況，根據(jù)樹莓派具有多個(gè)USB接口的特點(diǎn)，可以直接在樹莓派上聯(lián)接多個(gè)攝像頭，擴(kuò)大監(jiān)控視角。在本系統(tǒng)設(shè)備中，聯(lián)接2個(gè)USB接口的OV2710攝像頭，聯(lián)接后設(shè)備如圖2所示。單個(gè)監(jiān)控節(jié)點(diǎn)多個(gè)攝像頭可同時(shí)采集圖像，如圖3所示，其中，F(xiàn)rame1和Frame2兩個(gè)窗口分別顯示兩個(gè)攝像頭的畫面。

圖2 單個(gè)監(jiān)控節(jié)點(diǎn)聯(lián)接2個(gè)攝像頭（攝像頭1帶有紅外補(bǔ)光燈）

圖3 單個(gè)監(jiān)控節(jié)點(diǎn)2個(gè)攝像頭同時(shí)采集圖像

二、軟件流程-基于ROS及OpenCV

系統(tǒng)軟件采用ROS（RobotOperating System）。ROS系統(tǒng)本質(zhì)上是一個(gè)開源機(jī)器人軟件平臺(tái)，在系統(tǒng)層之上，封裝了多種不同功能的軟件包，比如導(dǎo)航、定位、繪圖、感知等。由于系統(tǒng)是開源的，所有軟件包都是共享使用的，所以可以利用已有的開發(fā)包快速實(shí)現(xiàn)所需功能。使用ROS系統(tǒng)，一方面方便調(diào)用ROS已開發(fā)的開源模塊，能夠最大限度減少研發(fā)成本；另一方面，根據(jù)需求可以將已有的監(jiān)控模塊直接移植到機(jī)器人最小移動(dòng)平臺(tái)上，實(shí)現(xiàn)移動(dòng)監(jiān)控功能。

根據(jù)ROS系統(tǒng)的特性，每個(gè)攝像頭都可以單獨(dú)作為一個(gè)節(jié)點(diǎn)，在ROS中發(fā)布關(guān)于監(jiān)控視頻的話題。并且，在網(wǎng)絡(luò)中，任意一個(gè)上位機(jī)節(jié)點(diǎn)，包括電腦、手機(jī)或平板電腦等設(shè)備，都可以訂閱任意攝像頭節(jié)點(diǎn)的話題，接收到對(duì)應(yīng)的監(jiān)控信息。利用樹莓派的wifi或者以太網(wǎng)接口，可以直接實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)聯(lián)接。

樹莓派結(jié)合ROS系統(tǒng)，就可以直接構(gòu)建出分布式的監(jiān)控系統(tǒng)，無論是固定式的還是移動(dòng)式的，每個(gè)節(jié)點(diǎn)之間都可以相互通信，也可以同時(shí)向設(shè)定服務(wù)器傳輸數(shù)據(jù)，可以根據(jù)需求靈活定制具體實(shí)現(xiàn)形式。

攝像頭控制采用開源的OpenCV跨平臺(tái)視覺庫。在本系統(tǒng)中，在linux系統(tǒng)安裝了v4l驅(qū)動(dòng)和OpenCV2.4.9庫，系統(tǒng)軟件流程如圖4所示，利用OpenCV啟動(dòng)攝像頭，讀取攝像頭圖像數(shù)據(jù)，并可以同時(shí)顯示2個(gè)攝像頭的實(shí)時(shí)圖像。與此同時(shí)，啟動(dòng)ROS系統(tǒng)，將攝像頭的實(shí)時(shí)圖像作為話題發(fā)布出去，同時(shí)，其他訂閱攝像頭圖像話題的節(jié)點(diǎn)都可以接收到對(duì)應(yīng)攝像頭的圖像數(shù)據(jù)。

圖4 軟件流程

圖5為一個(gè)示例，節(jié)點(diǎn)1聯(lián)接兩個(gè)攝像頭，并將兩個(gè)攝像頭的數(shù)據(jù)發(fā)布兩個(gè)話題；節(jié)點(diǎn)2訂閱攝像頭1的話題，即接收攝像頭1 的圖像；攝像頭2的話題沒有被訂閱，如果有需要，所有節(jié)點(diǎn)可以隨時(shí)訂閱。節(jié)點(diǎn)1在發(fā)布兩個(gè)攝像頭數(shù)據(jù)的同時(shí)，也可訂閱其他話題。同樣，節(jié)點(diǎn)2也可根據(jù)需求發(fā)布話題。在視頻監(jiān)控系統(tǒng)中，圖5中的節(jié)點(diǎn)1就是圖2樹莓派帶2個(gè)攝像頭的一套設(shè)備，而節(jié)點(diǎn)2既可以是服務(wù)器、平板電腦、手機(jī)，也可以是其他樹莓派設(shè)備。在每個(gè)樹莓派設(shè)備接入顯示設(shè)備，就可以隨時(shí)隨地查看其它任意節(jié)點(diǎn)圖像?？梢钥闯?，利用ROS系統(tǒng)構(gòu)建的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)為分布式結(jié)構(gòu)，可以根據(jù)需求進(jìn)行各種靈活多樣的設(shè)置。

圖5 節(jié)點(diǎn)關(guān)系

三、基于幀相關(guān)法的智能入侵物監(jiān)測(cè)方法

嵌入式平臺(tái)配套資源非常豐富，也為嵌入式監(jiān)控系統(tǒng)增加了實(shí)現(xiàn)高級(jí)監(jiān)測(cè)功能的可能性。例如，在倉儲(chǔ)環(huán)境中，在無人狀態(tài)下，自動(dòng)分析所監(jiān)測(cè)圖像數(shù)據(jù)，如果有異常情況則自動(dòng)報(bào)警。此功能可以針對(duì)不同需求，應(yīng)用于防盜、防鼠、火災(zāi)監(jiān)控等領(lǐng)域，在無人值守或是攝像頭節(jié)點(diǎn)過多等情況下實(shí)現(xiàn)智能入侵物監(jiān)測(cè)。本系統(tǒng)根據(jù)實(shí)際需求加入了動(dòng)態(tài)監(jiān)測(cè)報(bào)警功能。

對(duì)于同一套監(jiān)控系統(tǒng)，其所采集的視頻圖像中，每一幀的圖像分辨率都是相同的。并且，在沒有外來物侵入時(shí)，相鄰兩幀圖像是完全相同的。針對(duì)這個(gè)特點(diǎn)，動(dòng)態(tài)監(jiān)測(cè)可以通過比較監(jiān)測(cè)視頻中相鄰兩幀圖像的相似程度來實(shí)現(xiàn)。相關(guān)運(yùn)算能直接體現(xiàn)出兩組數(shù)據(jù)的相關(guān)程度，對(duì)相鄰或相近的兩幀圖像進(jìn)行相關(guān)運(yùn)算，相關(guān)性差異明顯大于正常水平的，就可以判斷所監(jiān)控的區(qū)域出現(xiàn)了問題。

在室內(nèi)環(huán)境中，由于光線等原因會(huì)使圖像灰度產(chǎn)生變化，如果直接對(duì)相鄰兩幀圖像進(jìn)行比較，會(huì)存在錯(cuò)誤的判斷。而將圖像進(jìn)行傅里葉變換，將其轉(zhuǎn)入頻域進(jìn)行計(jì)算，將圖像的灰度分布轉(zhuǎn)換為對(duì)應(yīng)的頻率分布，就能消除圖像灰度變化的影響。

設(shè) m(x1,y1)，n(x2,y2)為相鄰兩幀圖像，M(u,v)、N(u,v)分別為其對(duì)應(yīng)的傅里葉變換。則兩幀圖像間的互功率譜為：

其中，φm，φn分別為兩幀圖像的相位角。對(duì)互功率譜相位做傅里葉反變換，就能得到兩幀圖像的互相關(guān)函數(shù)：

在監(jiān)測(cè)畫面正常時(shí)，相鄰幀圖像相似性較為均勻，應(yīng)該沒有明顯峰值。當(dāng)有畫面中出現(xiàn)外來入侵物時(shí)，相鄰幀圖像會(huì)在入侵物位置體現(xiàn)出明顯的相關(guān)性峰值，表示圖像有明顯差別。

四、測(cè)試效果

本系統(tǒng)在測(cè)試時(shí)運(yùn)行穩(wěn)定，圖像清晰，單個(gè)攝像頭在室內(nèi)燈光條件下將圖像發(fā)布，并由另外一臺(tái)電腦訂閱視頻數(shù)據(jù)，監(jiān)控圖像效果如圖6所示。

圖6 單個(gè)攝像頭監(jiān)控畫面

圖7（a）為正常監(jiān)控畫面，并且與圖6為不同幀畫面。將圖6與圖7（a）進(jìn)行互相關(guān)運(yùn)算，結(jié)果如圖7（d）所示，互相關(guān)結(jié)果峰值不超過50。圖7（b）為有入侵物畫面，（c）中入侵物的位置發(fā)生了改變，為了觀察結(jié)果的方便性，這兩幀圖像模擬入侵物移動(dòng)一段時(shí)間間隔的情況。將圖7（a）與（b）做幀相關(guān)運(yùn)算，結(jié)果如圖7（e）所示，在入侵物位置出現(xiàn)明顯峰值。將圖 7（b）和（c）做幀相關(guān)運(yùn)算，結(jié)果如圖 7（f）所示，在兩處有入侵物的畫面都產(chǎn)生了明顯峰值?？梢钥闯?，利用幀相關(guān)方法，可以確定監(jiān)控畫面中是否有入侵物，并能確定入侵物的位置。

圖7 利用幀相關(guān)法檢測(cè)入侵物

(a)正常監(jiān)控畫面；（b）有入侵物畫面；（c）入侵物位置變化；（d）圖 6與（a）互相關(guān)結(jié)果；（e）有無入侵物畫面互相關(guān)結(jié)果；（f）入侵物位置改變互相關(guān)結(jié)果

五、結(jié)束語

樹莓派是接口豐富、功能強(qiáng)大的單板系統(tǒng)，利用樹莓派作為網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)，具有功耗低、擴(kuò)展性強(qiáng)等優(yōu)勢(shì)。并且，一個(gè)樹莓派可以聯(lián)接多個(gè)攝像頭，擴(kuò)大單個(gè)節(jié)點(diǎn)的監(jiān)控視角范圍。使用ROS系統(tǒng)，可以將網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)置為分布式結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)，包括樹莓派、服務(wù)器、平板電腦和智能手機(jī)，都可以發(fā)布和訂閱話題，能根據(jù)功能需求靈活多樣地設(shè)置監(jiān)控系統(tǒng)的結(jié)構(gòu)。利用幀相關(guān)方法，可以結(jié)合嵌入式網(wǎng)絡(luò)監(jiān)控系統(tǒng)，根據(jù)圖像的相關(guān)性，實(shí)現(xiàn)智能入侵物的監(jiān)測(cè)。

[1]王燕飛.基于Web的嵌入式網(wǎng)絡(luò)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電腦知識(shí)與技術(shù)，2017(2):240-241+255.

[2]劉勝楠,汪恭焰,李京,等.嵌入式視頻摘要及智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2017(1):119-122+126.

[3]王曉，蹤琳.基于OpenCV視覺庫的嵌入式視頻處理系統(tǒng)[J].電子質(zhì)量,2017(3):54-59.