基于ＲＦＩＤ時(shí)間戳的智能視覺(jué)監(jiān)控系統(tǒng)

摘要：針對(duì)僅僅依靠模式識(shí)別的監(jiān)控系統(tǒng)存在難以確定判定事件發(fā)生時(shí)間點(diǎn)的問(wèn)題，引入射頻身份識(shí)別（RFID）技術(shù)，討論了一種融入RFID時(shí)間戳的分布式智能視覺(jué)監(jiān)控系統(tǒng)。應(yīng)用XML消息-代理機(jī)制屏幕前端設(shè)備差異，通過(guò)時(shí)間戳進(jìn)行精確視頻探測(cè)，對(duì)目標(biāo)進(jìn)行監(jiān)視控制和信息記錄，提高倉(cāng)儲(chǔ)管理的自動(dòng)化，智能化。

關(guān)鍵詞：智能視覺(jué)監(jiān)控；RFID；分布式；存儲(chǔ)管理

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2009)05-1134-02

Intelligent Visual Surveillance with RFID Timestamp

LING Wen-jian1，2，ZHAO Wei-dong1，2

(1.The Engineering Research Center for Enterprise Digital Technology， Shanghai 200092， China; 2.CAD research centre of Tongji University， Shanghai 201804， China)

Abstract: Simply relying on pattern identification is difficult for the monitoring system to determine the time of event. After integrated of radio frequency identification (RFID) technology， RFID timestamp was used to construct Distributed Intelligent RFID visual monitoring system. Using Message-Agent model screen difference between various front-end equipment. Through the timestamp for accurate video detection， surveillance on the target， it makes storage management automatic and intelligent.

Key words: intelligent visual surveillance; radio frequency identification(RFID); distributed system; storage management

1 引言

計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，促使基于電路交換的閉路電視監(jiān)控系統(tǒng)逐漸被IP寬帶化，數(shù)字高清化的新一代視頻監(jiān)控技術(shù)所取代，其中，智能視頻監(jiān)控技術(shù)尤其得到各國(guó)的重視與關(guān)注。它與傳統(tǒng)監(jiān)控技術(shù)有本質(zhì)的區(qū)別，其主要特點(diǎn)是使用計(jì)算機(jī)圖形圖像等模式識(shí)別技術(shù)，通過(guò)對(duì)攝像機(jī)拍錄到的視頻流進(jìn)行模式識(shí)別，分析和判斷出目標(biāo)及其行為，從而做到既能完成日常管理又能在異常情況發(fā)生時(shí)實(shí)時(shí)告警。

然而，智能視覺(jué)監(jiān)控所使用的模式識(shí)別方法卻不能滿足客觀復(fù)雜場(chǎng)合的應(yīng)用，例如當(dāng)監(jiān)控對(duì)象布局密集，物流進(jìn)出狀況多樣，室外氣象變化復(fù)雜等情況下，僅僅使用計(jì)算機(jī)模式識(shí)別方法，很難把握監(jiān)控目標(biāo)進(jìn)入攝像機(jī)視野的時(shí)間節(jié)點(diǎn)，從而造成漏判誤判的情況發(fā)生[1]。面對(duì)對(duì)監(jiān)控對(duì)象進(jìn)行定位、跟蹤和復(fù)現(xiàn)、數(shù)量統(tǒng)計(jì)、運(yùn)動(dòng)趨勢(shì)估計(jì)、流量疏導(dǎo)等方面的需求，和減少監(jiān)控服務(wù)器處理連續(xù)視頻數(shù)據(jù)的要求，開(kāi)發(fā)一種將RFID（Radio Frequency Identification，射頻身份識(shí)別）技術(shù)與視覺(jué)監(jiān)控技術(shù)相結(jié)合的新型分布式架構(gòu)會(huì)起到良好的作用。使用RFID電子標(biāo)簽數(shù)據(jù)作為視頻數(shù)據(jù)的時(shí)間戳，可以提高視頻監(jiān)控的智能化，減少無(wú)效視頻處理量，同時(shí)降低了網(wǎng)絡(luò)上海量數(shù)據(jù)傳輸?shù)呢?fù)擔(dān)。利用RFID技術(shù)可以批量、快速和非接觸式讀取的特性，新系統(tǒng)尤其適用于對(duì)大批量實(shí)時(shí)監(jiān)控應(yīng)用。

本文介紹一種全新的結(jié)合視頻監(jiān)控的RFID系統(tǒng)的分布式體系架構(gòu)，應(yīng)用該架構(gòu)的智能視覺(jué)監(jiān)控系統(tǒng)，已經(jīng)在某石化企業(yè)實(shí)驗(yàn)性部署。

2 使用RFID時(shí)間戳的智能監(jiān)控系統(tǒng)

2.1 RFID環(huán)境部署

全世界最大的25家倉(cāng)儲(chǔ)公司都利用RFID技術(shù)來(lái)追蹤管理他們的貨物，以達(dá)到在倉(cāng)儲(chǔ)過(guò)程中對(duì)貨物的數(shù)量、狀態(tài)和運(yùn)輸情況得到充分的控制。RFID技術(shù)解決了在運(yùn)動(dòng)過(guò)程中對(duì)貨物的相關(guān)信息進(jìn)行管理的問(wèn)題[2]。

將RFID技術(shù)應(yīng)用到視覺(jué)監(jiān)控中，首先需要讓RFID讀寫器與監(jiān)控用的圖像采集設(shè)備（如IP攝像機(jī)）作用區(qū)域一一對(duì)應(yīng)。通過(guò)RFID讀寫器（Reader）的天線（Antenna）獲取到進(jìn)入監(jiān)控區(qū)域的監(jiān)控對(duì)象所攜帶的電子標(biāo)簽（TAG）上存儲(chǔ)的信息，而讀取到這些標(biāo)簽的所有讀寫器都要與本讀寫器對(duì)應(yīng)的攝像機(jī)進(jìn)行關(guān)聯(lián)存儲(chǔ)和應(yīng)用，通過(guò)讀取到的RFID標(biāo)簽的編號(hào)、數(shù)量、時(shí)間等信息對(duì)監(jiān)控對(duì)象的行動(dòng)進(jìn)行判斷。進(jìn)一步的，當(dāng)通過(guò)讀取到RFID標(biāo)簽的時(shí)間點(diǎn)作為視覺(jué)監(jiān)控系統(tǒng)的時(shí)間戳，可以有效提高搜索特定監(jiān)控對(duì)象的可靠率，進(jìn)行視頻運(yùn)動(dòng)檢測(cè)[3]所需要處理的視頻流大小也會(huì)大幅降低，提升了整個(gè)系統(tǒng)的效率與精確性。

現(xiàn)以某石化公司的某個(gè)倉(cāng)庫(kù)環(huán)境說(shuō)明如下： 鑒于通常倉(cāng)庫(kù)產(chǎn)品具有密集又相對(duì)廉價(jià)的特點(diǎn)，如果我們?yōu)槊總€(gè)產(chǎn)品附帶RFID電子標(biāo)簽的話，產(chǎn)品出廠成本會(huì)大幅度上升，所以我們僅僅使用標(biāo)簽標(biāo)記托盤和叉車來(lái)追蹤貨物，配合視覺(jué)系統(tǒng)，就能完對(duì)倉(cāng)庫(kù)進(jìn)行監(jiān)控。

如圖1所示，在每個(gè)叉車上附帶標(biāo)簽，并在車間和倉(cāng)庫(kù)出入口安裝讀寫器，托盤或叉車經(jīng)過(guò)出入口時(shí)，通過(guò)讀寫器獲取循環(huán)使用的RFID標(biāo)簽，采集到標(biāo)簽信息，使用這些信息及時(shí)間戳精確地提取出攝像頭對(duì)應(yīng)時(shí)刻的視頻流，通過(guò)對(duì)視頻流的分析與標(biāo)簽自身攜帶的數(shù)據(jù)相結(jié)合，匯總出完整的貨物及車輛進(jìn)出情況，進(jìn)而統(tǒng)計(jì)出庫(kù)存等用戶關(guān)心的數(shù)據(jù)，并在異常情況發(fā)生時(shí)進(jìn)行報(bào)警。

2.2 分布式體系的拓?fù)浣Y(jié)構(gòu)

我們使用分布式體系架構(gòu)，它與與中央控制式系統(tǒng)相對(duì)應(yīng)，以便獲取其高擴(kuò)展性，松散偶合，邏輯復(fù)用，業(yè)務(wù)分離的特點(diǎn)[4]。本系統(tǒng)整體拓?fù)浣Y(jié)構(gòu)分為三層模型，如圖2所示，系統(tǒng)分為前端，服務(wù)器端，和客戶端。

系統(tǒng)前端由各種負(fù)責(zé)采集監(jiān)控實(shí)時(shí)信息的硬件設(shè)備組成，IP攝像機(jī)把拍攝到的即時(shí)畫(huà)面通過(guò)數(shù)據(jù)包的形式，發(fā)送到IP承載網(wǎng)中供相關(guān)模塊處理。RFID讀寫器收集來(lái)自RFID天線的信息后進(jìn)行過(guò)濾、壓縮后同樣以數(shù)據(jù)包的形式發(fā)送到IP承載網(wǎng)中，供需要RFID數(shù)據(jù)的模塊處理。

服務(wù)器端由EMS（網(wǎng)元管理服務(wù)器），SMS（流媒體服務(wù)器），CSS（控制信令服務(wù)器），SA（存儲(chǔ)服務(wù)器），RS（用戶驗(yàn)證服務(wù)器）組成。

EMS（網(wǎng)元管理服務(wù)器），負(fù)責(zé)監(jiān)控平臺(tái)模塊、終端IP攝像機(jī)、RFID讀寫器的注冊(cè)，對(duì)各個(gè)已經(jīng)注冊(cè)的對(duì)象在其活躍期間進(jìn)行管理，匯總CSS收到的RFID時(shí)間戳和SMS處理過(guò)的視頻判斷結(jié)果，記錄系統(tǒng)的數(shù)據(jù)庫(kù)。EMS通過(guò)時(shí)鐘同步各個(gè)模塊，使得各個(gè)模塊能夠步調(diào)一致的工作。

SMS（流媒體服務(wù)器），負(fù)責(zé)媒體流分發(fā)，媒體協(xié)議轉(zhuǎn)換等，把從IP攝像機(jī)中獲取的視頻流即時(shí)地發(fā)送到成功訂閱該攝像機(jī)視頻的客戶端，并為SA提供經(jīng)RFID系統(tǒng)確認(rèn)后需存儲(chǔ)的視頻片段。

CSS（信令控制服務(wù)器）用來(lái)下發(fā)從客戶端或EMS發(fā)來(lái)的控制或查詢命令到前端設(shè)備上，并且從前端設(shè)備上收集告警，心跳，注冊(cè)等系統(tǒng)消息，其采集到的RFID原始數(shù)據(jù)經(jīng)過(guò)緩沖過(guò)濾后便是作為事件時(shí)間戳的依據(jù)。

RS（用戶驗(yàn)證服務(wù)器），維護(hù)系統(tǒng)數(shù)據(jù)庫(kù)，配合EMS和CSS進(jìn)行在用戶注冊(cè)或請(qǐng)求服務(wù)時(shí)提供用戶驗(yàn)證服務(wù)，為整個(gè)系統(tǒng)提供權(quán)限控制服務(wù)。

SA（存儲(chǔ)服務(wù)器）是用來(lái)配合RFID時(shí)間戳把有價(jià)值的視頻存儲(chǔ)到磁盤矩陣中，管理著用戶提交的存儲(chǔ)任務(wù)，定期進(jìn)行存儲(chǔ)清理，自動(dòng)優(yōu)化磁盤存儲(chǔ)空間，通過(guò)FTP的方式為用戶提供文件下載功能，并能實(shí)時(shí)視頻回放（VOD）。

客戶端根據(jù)用途的不同，分為監(jiān)控客戶端，供普通用戶檢視，查詢之用，監(jiān)視客戶端沒(méi)有管理系統(tǒng)的權(quán)限，不能對(duì)服務(wù)器端的各模塊進(jìn)行啟動(dòng)/停止等高級(jí)操作，相反的，管理客戶端具有最高權(quán)限，管理員可以通過(guò)其查看系統(tǒng)運(yùn)行信息并對(duì)其進(jìn)行控制。

2.3 服務(wù)器與前端的通信

為了方便各個(gè)模塊之間的標(biāo)準(zhǔn)化通信格式，我們使用了基于XML的消息模型。

由于前端設(shè)備的多樣性，不同廠商生產(chǎn)的前端設(shè)備由于種類用途或特點(diǎn)不同，往往具有紛繁復(fù)雜的接入規(guī)制，造成其融入業(yè)務(wù)邏輯時(shí)帶來(lái)大量通信格式兼容性問(wèn)題，為了避免上層業(yè)務(wù)邏輯受到前端設(shè)備變動(dòng)的影響，我們需要通過(guò)一個(gè)接口程序來(lái)統(tǒng)一各種前端設(shè)備在系統(tǒng)中的體現(xiàn)，使得對(duì)于業(yè)務(wù)邏輯來(lái)說(shuō)，前端的硬件是透明并且高效的。而XML 允許開(kāi)發(fā)人員在 IP網(wǎng)絡(luò)中交換結(jié)構(gòu)化信息而創(chuàng)建消息文檔[6]，系統(tǒng)中模塊在請(qǐng)求其他網(wǎng)元提供數(shù)據(jù)，信令，內(nèi)容時(shí)，這些已經(jīng)被結(jié)構(gòu)化后的XML消息就是最好的載體。通過(guò)使用消息-代理模型，各種前端設(shè)備在系統(tǒng)中被模擬成一個(gè)個(gè)虛擬的代理（Agent）服務(wù)器，從而避免了因協(xié)議不統(tǒng)一而造成的兼容問(wèn)題，從而使得業(yè)務(wù)邏輯和具體硬件規(guī)范相分離[7]，體現(xiàn)了分布式系統(tǒng)高內(nèi)聚，松耦合特點(diǎn)。

系統(tǒng)中各模塊及同類型的多個(gè)模塊都由IP地址和端口地址組成的不同套接字（Socket）唯一標(biāo)識(shí)，模塊間的通信正是通過(guò)發(fā)起套接字會(huì)話，發(fā)送各自生成的XML消息到目地地址，從而了實(shí)現(xiàn)模塊間同步與信息共享等功能[5]。且在偵測(cè)到某個(gè)模塊失去響應(yīng)后，可以由其他同類模塊負(fù)載其任務(wù)，并重啟該崩潰模塊，使其盡快恢復(fù)服務(wù)，所以分布式的設(shè)計(jì)使所有模塊組成一個(gè)有機(jī)且富有彈性的監(jiān)控系統(tǒng)。

如圖3所示為EMS調(diào)用前端的通信過(guò)程，當(dāng)客戶端向IP地址為192.168.0.1，端口號(hào)為8080的EMS發(fā)送啟動(dòng)監(jiān)控命令后，該EMS向自己的用戶認(rèn)證服務(wù)器RS發(fā)送驗(yàn)證請(qǐng)求，當(dāng)RS根據(jù)客戶端發(fā)送來(lái)的報(bào)文內(nèi)容確認(rèn)該用戶具有啟動(dòng)業(yè)務(wù)的權(quán)限后，EMS隨即調(diào)動(dòng)系統(tǒng)中的其他業(yè)務(wù)模塊開(kāi)始進(jìn)行監(jiān)控。通常，服務(wù)器可以通過(guò)IP攝像頭的SDK或其他視頻控制協(xié)議，便可得到IP Camera采集到的原始視頻圖像，經(jīng)過(guò)緩沖處理后EMS便把其轉(zhuǎn)發(fā)到某個(gè)流媒體服務(wù)器SMS，由SMS進(jìn)行進(jìn)一步的處理。與此同時(shí)注冊(cè)在系統(tǒng)中的RFID設(shè)備收到EMS的控制信令后開(kāi)始向其配置的CSS反饋采集到的原始RFID數(shù)據(jù)。

2.4 融合RFID時(shí)間戳的視覺(jué)監(jiān)控實(shí)現(xiàn)

我們通過(guò)CSS獲得RFID信息并由SMS代理視頻服務(wù)，圖4描述了CSS和SMS在EMS的調(diào)度下完成一次智能識(shí)別的流程。

前端的RFID閱讀器開(kāi)始工作首先發(fā)送Access-Request請(qǐng)求到CSS的套接字地址（Socket Address），CSS收到Access-Request后返回Response給RFID閱讀器，閱讀器通過(guò)Response確認(rèn)它連接的CSS正常工作后便開(kāi)始把自己采集到的原始數(shù)據(jù)發(fā)送給該CSS。

由于RFID閱讀器每秒鐘都可能會(huì)閱讀到成千上萬(wàn)的標(biāo)簽，為防止溢出，CSS在端口上監(jiān)聽(tīng)到大量標(biāo)簽信息后便會(huì)進(jìn)行過(guò)濾操作，把臨近時(shí)間點(diǎn)的重復(fù)記錄合并成唯一的一條RFID記錄，該記錄就是我們?cè)谥悄芤曈X(jué)監(jiān)控系統(tǒng)中提取視頻加以判斷的時(shí)間戳。

由于我們使用基于XML消息和代理服務(wù)器為架構(gòu)的系統(tǒng)，所以，該時(shí)間戳在系統(tǒng)中如圖5所示。

EMS收到視頻驗(yàn)證請(qǐng)求后，便著手解析該XML文檔，從中提取時(shí)間戳和RFID閱讀器的IP地址等信息，從而定位需要視頻判斷的時(shí)間和地點(diǎn)。EMS根據(jù)這些信息，調(diào)集SMS為其進(jìn)行視覺(jué)對(duì)象驗(yàn)證。

SMS收到了視覺(jué)驗(yàn)證請(qǐng)求后，調(diào)閱從IP Camera處得到的視頻，從中找出時(shí)間戳前后一定單位時(shí)間內(nèi)（根據(jù)業(yè)務(wù)不同，可人為設(shè)定）的視頻流，通過(guò)計(jì)算機(jī)模式識(shí)別的方法，使用動(dòng)態(tài)圖形圖像算法[8]，判斷經(jīng)過(guò)監(jiān)控區(qū)域中智能托盤上運(yùn)送的貨物狀況，并將這些判定信息作為一個(gè)個(gè)XML屬性添加在發(fā)送來(lái)的XML文檔尾部（如圖6所示），將經(jīng)過(guò)修改的XML消息回送給EMS。

與此同時(shí)，對(duì)應(yīng)RFID時(shí)間戳的視頻流經(jīng)過(guò)動(dòng)態(tài)檢測(cè)后，會(huì)被SMS轉(zhuǎn)發(fā)給SAS，通過(guò)SAS將視頻材料轉(zhuǎn)化為文件，存入視頻磁盤矩陣，供今后用戶下載或點(diǎn)播回放所用。

EMS在收到SMS反饋的XML后，該XML文檔已經(jīng)包涵我們需要的智能視覺(jué)監(jiān)控信息，我們只要對(duì)其解析后分別存入系統(tǒng)數(shù)據(jù)庫(kù)中相應(yīng)的表中，便可記錄一次完整的監(jiān)控流程。

客戶端輕松的通過(guò)檢索數(shù)據(jù)庫(kù)的方式獲得實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，為物流統(tǒng)計(jì)，調(diào)優(yōu)提供了可靠的參考依據(jù)，由于RFID機(jī)制的引入，大大提升了智能視覺(jué)監(jiān)控系統(tǒng)的準(zhǔn)確率，提高了倉(cāng)庫(kù)監(jiān)控的自動(dòng)化與智能程度。

3 結(jié)論

本文主要介紹了如何在智能視覺(jué)監(jiān)控系統(tǒng)中引入射頻身份識(shí)別技術(shù)（RFID），通過(guò)應(yīng)用RFID時(shí)間戳及標(biāo)簽上攜帶的貨物信息，提高監(jiān)控系統(tǒng)的識(shí)別智能性，通過(guò)分布式的體系架構(gòu)，系統(tǒng)中的各個(gè)節(jié)點(diǎn)分別負(fù)責(zé)各自的業(yè)務(wù)，體現(xiàn)了部署靈活和良好的擴(kuò)展移植性能?；赬ML的消息-代理機(jī)制的引入使得具體的硬件設(shè)備和業(yè)務(wù)邏輯分離。系統(tǒng)通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行過(guò)濾，聚合等操作，將海量冗余的原始數(shù)據(jù)轉(zhuǎn)發(fā)為上層需要的事件消息，降低了網(wǎng)絡(luò)負(fù)載的壓力，更好地適應(yīng)了業(yè)務(wù)需求。

由于能源產(chǎn)品需求的長(zhǎng)期高需求和生產(chǎn)成本的增加，對(duì)資產(chǎn)移動(dòng)的全面監(jiān)控可增加生產(chǎn)效率，及時(shí)掌握庫(kù)存，提高設(shè)備使用率，進(jìn)一步減少庫(kù)存周期，大大提升企業(yè)效率。

本架構(gòu)為智能視覺(jué)監(jiān)控技術(shù)開(kāi)辟了一種全新的復(fù)合式的高效解決方案。

參考文獻(xiàn)：

[1] 王素玉，沈蘭蓀.智能視覺(jué)監(jiān)控技術(shù)研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2007，12(9):1506-1508.

[2] Golding P.Performance review of RFID in the supply chain[C].Portugal， VanesaProceedings of the 1st International Workshop on RFID Technology，2007.

[3] 張睿萍.基于運(yùn)動(dòng)檢測(cè)的視頻監(jiān)控系統(tǒng)[J].計(jì)算機(jī)與現(xiàn)代化，2008，158(10):28-30。

[4] 葛瑤，李曉風(fēng).基于.NET分布式系統(tǒng)的模式研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，45(15):45-46.

[5] ZHANG Zheng-bing， LI Zhong-nian.IP-based video lab-monitor system[J].Electronic Imaging and Multimedia Technology，2005，563(22):372-373.

[6] HOAG J E，THOMPSON C W. Architecting RFID middleware[J].Internet Computing，2006，10(5):88-92.

[7] 丁振華，李錦濤，馮波.RFID中間件研究進(jìn)展[J].計(jì)算機(jī)工程，2006，32(21):9-11.

[8] WANG Quan-de， WEN Bi-yang. Multi-Agent Based Intelligent Video Monitoring for Unattended Substation[C].First International Conference on Intelligent Networks and Intelligent Systems，2008.