大規(guī)模數(shù)據(jù)并發(fā)環(huán)境下視頻監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)

趙軍鋒 莊懷東 趙 亮 杜慶偉

(1. 南京軌道交通系統(tǒng)工程有限公司 南京 210019； 2. 南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院南京 210019；3. 中國(guó)電子科技集團(tuán)公司第十四研究所 南京 210019； 4. 軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心 南京 210019)

?

大規(guī)模數(shù)據(jù)并發(fā)環(huán)境下視頻監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)

趙軍鋒1莊懷東2趙 亮3杜慶偉4

(1. 南京軌道交通系統(tǒng)工程有限公司 南京 210019； 2. 南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院南京 210019；3. 中國(guó)電子科技集團(tuán)公司第十四研究所 南京 210019； 4. 軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心 南京 210019)

城市軌道交通綜合監(jiān)控系統(tǒng)中的視頻監(jiān)控子系統(tǒng)與多個(gè)業(yè)務(wù)子系統(tǒng)共處同一個(gè)網(wǎng)絡(luò)環(huán)境中，具有大規(guī)模數(shù)據(jù)并發(fā)特點(diǎn)。首先，介紹視頻監(jiān)控子系統(tǒng)所采取的策略，然后介紹基于訂閱/分發(fā)模型的視頻數(shù)據(jù)規(guī)劃，最后，重點(diǎn)研究視頻分發(fā)過(guò)程中的負(fù)載均衡技術(shù)。在多臺(tái)服務(wù)器工作的條件下，根據(jù)服務(wù)器的性能和負(fù)載等因素，提出一種基于動(dòng)態(tài)測(cè)量的負(fù)載均衡技術(shù)，實(shí)驗(yàn)證明，該負(fù)載均衡技術(shù)可以有效地降低時(shí)延，提高系統(tǒng)的吞吐量，并均衡各個(gè)服務(wù)器的負(fù)載。關(guān)鍵詞 軌道交通；大數(shù)據(jù)；視頻監(jiān)控；訂閱/分發(fā)模型；負(fù)載均衡

視頻監(jiān)控系統(tǒng)(CCTV)是行車單位和客運(yùn)單位重要的輔助系統(tǒng)，很多研究單位開(kāi)發(fā)或提出了相應(yīng)的視頻監(jiān)控系統(tǒng)解決方案，如文獻(xiàn)[1～7]等。筆者課題組正在開(kāi)發(fā)有軌電車綜合調(diào)度與控制系統(tǒng)(TICC)，該系統(tǒng)需要綜合集成眾多的子系統(tǒng)，如環(huán)境與設(shè)備監(jiān)控子系統(tǒng)(BAS)、電力監(jiān)控子系統(tǒng)(SCADA)、乘客信息子系統(tǒng)(PIS)等，很多子系統(tǒng)都具有大規(guī)模數(shù)據(jù)并發(fā)傳輸?shù)奶攸c(diǎn)。視頻監(jiān)控子系統(tǒng)具有以下特點(diǎn)：攝像頭的布置密度大、數(shù)量眾多、高清晰化，導(dǎo)致視頻監(jiān)控子系統(tǒng)本身就具有大規(guī)模數(shù)據(jù)并發(fā)的特點(diǎn)，這對(duì)視頻監(jiān)控子系統(tǒng)提出了很高的性能要求。

視頻數(shù)據(jù)與其他眾多監(jiān)控子系統(tǒng)的數(shù)據(jù)通過(guò)同一個(gè)城域網(wǎng)進(jìn)行數(shù)據(jù)傳輸，其他子系統(tǒng)的數(shù)據(jù)會(huì)對(duì)視頻數(shù)據(jù)產(chǎn)生影響，如果視頻數(shù)據(jù)太多，也會(huì)對(duì)其他監(jiān)控?cái)?shù)據(jù)產(chǎn)生較大影響。因此，必須對(duì)視頻監(jiān)控子系統(tǒng)進(jìn)行良好的設(shè)計(jì)，并進(jìn)行相關(guān)的研究。

1 大規(guī)模數(shù)據(jù)并發(fā)的應(yīng)對(duì)策略

為了應(yīng)對(duì)大規(guī)模數(shù)據(jù)并發(fā)的情況，提出以下策略：

1) 錯(cuò)時(shí)發(fā)送：將實(shí)時(shí)視頻數(shù)據(jù)和歷史視頻數(shù)據(jù)錯(cuò)時(shí)發(fā)送，避免對(duì)網(wǎng)絡(luò)負(fù)載造成較大影響。

2) 視頻數(shù)據(jù)規(guī)劃：通過(guò)良好的視頻數(shù)據(jù)規(guī)劃，盡量減少數(shù)據(jù)的冗余。

3) 數(shù)據(jù)融合和事件判斷的本地化：這是針對(duì)其他子系統(tǒng)的，這些系統(tǒng)的數(shù)據(jù)具有一定的相似性，特別是在沒(méi)有異常事件發(fā)生的情況下，可以采用事件判斷的本地化和數(shù)據(jù)融合等方法減少對(duì)網(wǎng)絡(luò)的占用。

4) 負(fù)載均衡：通過(guò)數(shù)據(jù)的均衡發(fā)送，減少單個(gè)服務(wù)器的負(fù)載情況。

2 視頻數(shù)據(jù)規(guī)劃

當(dāng)前攝像頭廠商提供的例程往往采用直連模式，即將播放屏幕和攝像頭進(jìn)行關(guān)聯(lián)，直接播放視頻，這種方式極易造成信息流的冗余。假設(shè)m個(gè)用戶同時(shí)監(jiān)控相同的n個(gè)攝像頭，那么就需要m×n個(gè)視頻流同時(shí)在網(wǎng)絡(luò)上傳輸，冗余度為m，極大地浪費(fèi)了帶寬。為此系統(tǒng)采用了訂閱/分發(fā)模型[8-9]，形成視頻分發(fā)矩陣，降低視頻數(shù)據(jù)的冗余度。

定義1： 視頻分發(fā)矩陣M1保存了視頻流與客戶端對(duì)應(yīng)關(guān)系的數(shù)據(jù)結(jié)構(gòu)，體現(xiàn)為一個(gè)二維矩陣

(1)

其中cij(i=1…m，j=1…n)表示客戶i對(duì)攝像頭j的訂閱關(guān)系，如果cij=1，表示客戶i對(duì)攝像頭j產(chǎn)生了訂閱，否則cij=0。

定義2： 訂閱/分發(fā)模型定義了一種1對(duì)多的依賴關(guān)系，通過(guò)中介讓多個(gè)訂閱者同時(shí)監(jiān)聽(tīng)某一個(gè)實(shí)時(shí)視頻對(duì)象。當(dāng)視頻對(duì)象產(chǎn)生新數(shù)據(jù)時(shí)，中介會(huì)通知所有訂閱者對(duì)象接收新的視頻數(shù)據(jù)。

在該系統(tǒng)中，由服務(wù)器承擔(dān)中介的角色，對(duì)客戶端的訂閱請(qǐng)求進(jìn)行監(jiān)聽(tīng)，實(shí)時(shí)更改訂閱信息，流程見(jiàn)圖1。

圖1 訂閱/取消訂閱算法流程

訂閱/分發(fā)模型所做的工作其實(shí)就是解耦合[10]。通過(guò)訂閱/分發(fā)模型可將視頻產(chǎn)生者和視頻消費(fèi)者封裝在獨(dú)立的對(duì)象中，它們可以各自獨(dú)立地改變和復(fù)用。這樣，通過(guò)視頻服務(wù)器的一次中轉(zhuǎn)，使得當(dāng)多個(gè)監(jiān)控客戶端監(jiān)控同一臺(tái)攝像機(jī)時(shí)，從車站視頻攝像頭到服務(wù)器之間長(zhǎng)距離的視頻流最多保持一路，可以大大降低視頻數(shù)據(jù)的冗余度以及網(wǎng)絡(luò)帶寬的負(fù)載。

系統(tǒng)保存了所有攝像機(jī)的設(shè)備解碼信息和視頻分發(fā)信息(視頻分發(fā)矩陣)，作為全局信息提供給視頻訂閱分發(fā)服務(wù)使用。

在圖1中，如果要登錄攝像頭，需要將一個(gè)回調(diào)函數(shù)注冊(cè)給指定的攝像頭，一旦登錄成功，攝像頭便利用此函數(shù)向系統(tǒng)返回視頻頭/視頻，系統(tǒng)收到數(shù)據(jù)后才能進(jìn)行相關(guān)的處理?；卣{(diào)函數(shù)定義如下：

void CALLBACK PsDataCallBack(LONG lRealHdle, DWORD dDataType, BYTE*pPcktBuffer, DWORD nPcktSize, void* pUser)

視頻頭對(duì)于播放視頻來(lái)說(shuō)至關(guān)重要，不能丟失，因此把視頻頭事先保存在內(nèi)存數(shù)據(jù)庫(kù)中，用戶在訂閱前需先獲得視頻頭，并將其放置在播放屏幕中。視頻數(shù)據(jù)丟失若干幀影響不大，可以采用效率高的UDP協(xié)議，考慮到實(shí)現(xiàn)的簡(jiǎn)單性，沒(méi)有采用RTP協(xié)議。

服務(wù)器端在處理完畢視頻訂閱(包括相應(yīng)的登錄過(guò)程)后，就可以接收到攝像頭發(fā)送的視頻數(shù)據(jù)，并根據(jù)視頻分發(fā)矩陣，將視頻逐個(gè)發(fā)給每一個(gè)訂閱者。

3 負(fù)載均衡

3.1 架構(gòu)

為保證整個(gè)系統(tǒng)的高性能運(yùn)行，系統(tǒng)部署多臺(tái)服務(wù)器，形成從視頻攝像頭到客戶端的多條路徑。基于此，對(duì)數(shù)據(jù)的傳輸進(jìn)行了負(fù)載均衡研究。負(fù)載均衡是網(wǎng)絡(luò)中用來(lái)在多個(gè)網(wǎng)絡(luò)鏈路或者服務(wù)器之間劃分負(fù)載的一項(xiàng)技術(shù)[11-12]。

首先，需將原有的二級(jí)訂閱模型修改為三級(jí)訂閱模型，即服務(wù)器接收客戶端的訂閱后并不是自己進(jìn)行攝像頭登錄，而是把這個(gè)任務(wù)傳遞給攝像頭所在的車站工控機(jī)，由工控機(jī)進(jìn)行攝像頭登錄和數(shù)據(jù)的采集，并轉(zhuǎn)發(fā)給某個(gè)服務(wù)器，再由服務(wù)器分發(fā)給客戶端。

系統(tǒng)中的負(fù)載均衡架構(gòu)主要包括：負(fù)載均衡控制器(包括測(cè)量器、均衡器、調(diào)度規(guī)則發(fā)放器等)、若干服務(wù)器、車站端的工控機(jī)以及客戶端，如圖2所示。

圖2 負(fù)載均衡架構(gòu)

多臺(tái)服務(wù)器和控制器相連，作為負(fù)載均衡的實(shí)際執(zhí)行者進(jìn)行視頻數(shù)據(jù)的分發(fā)，多臺(tái)服務(wù)器一起提供相同的服務(wù)，可以在增加計(jì)算能力的同時(shí)，減少單點(diǎn)故障的發(fā)生，提供更高的可靠性，同時(shí)獲得最小的時(shí)延和最大的吞吐量。實(shí)時(shí)數(shù)據(jù)庫(kù)的存在可以方便多個(gè)服務(wù)器及時(shí)地同步信息，包括訂閱信息，任何一臺(tái)服務(wù)器都可以接受客戶端的訂閱，并同步到其他服務(wù)器上。

測(cè)量器收集服務(wù)器的狀態(tài)，并向均衡器報(bào)告。均衡器維護(hù)著服務(wù)器的地址列表，根據(jù)搜集的信息規(guī)劃調(diào)度規(guī)則，并通過(guò)發(fā)放器發(fā)給車站工控機(jī)。每條調(diào)度規(guī)則以攝像頭為處理粒度，用于指明具體的轉(zhuǎn)發(fā)方向。

車站工控機(jī)基于接收的調(diào)度規(guī)則，在多個(gè)服務(wù)器之間劃分視頻流向，并將視頻數(shù)據(jù)發(fā)給指定的服務(wù)器，由服務(wù)器進(jìn)行視頻的分發(fā)。

3.2 服務(wù)器的權(quán)值計(jì)算

確定調(diào)度的依據(jù)是進(jìn)行負(fù)載均衡的重要內(nèi)容，調(diào)度的依據(jù)可以規(guī)劃為權(quán)值。在傳統(tǒng)的負(fù)載均衡方案中，基于服務(wù)器性能設(shè)置的權(quán)值是固定不變的，但服務(wù)器的處理能力是隨負(fù)載的改變而動(dòng)態(tài)變化的，使用固定的權(quán)值不能最優(yōu)化均衡負(fù)載。同時(shí)，客戶端請(qǐng)求的類型(除了視頻，還有其他子系統(tǒng)的相關(guān)處理)也是不同的，計(jì)算密集型的請(qǐng)求消耗更多的CPU資源，而帶寬密集型的請(qǐng)求需要更大的帶寬，因此，需要設(shè)置一種更靈活、更準(zhǔn)確的權(quán)值計(jì)算方法。

在異構(gòu)的服務(wù)器環(huán)境中，服務(wù)器的配置不同，性能上也會(huì)有所差異。本文基于如下參數(shù)計(jì)算服務(wù)器的處理能力：CPU頻率、內(nèi)存大小及網(wǎng)卡帶寬，服務(wù)器si的處理能力C(si)為

C(si)=r1C(CPU)+r2C(mem)+r3C(band)

(2)

參數(shù)r表示權(quán)值的相關(guān)系數(shù)，且r1+r2+r3=1，這樣能夠根據(jù)服務(wù)的類型對(duì)處理能力進(jìn)行調(diào)整。服務(wù)器的處理能力越強(qiáng)，說(shuō)明能夠處理的請(qǐng)求越多。

負(fù)載是負(fù)載均衡必須考慮的，許多因素可以影響服務(wù)器的負(fù)載，系統(tǒng)考慮了CPU的利用率、內(nèi)存的利用率和帶寬接入速率。因此，服務(wù)器si的負(fù)載L(si)為

L(si)=r1L(CPU)+r2L(mem)+r3L(band)

(3)

L(si)表示服務(wù)器si負(fù)載的程度，值越大，負(fù)載越重；值越小，負(fù)載越輕；L(CPU)表示CPU的使用率；L(mem)表示內(nèi)存的使用情況；L(band)表示帶寬使用率；參數(shù)r表示服務(wù)的類型對(duì)負(fù)載產(chǎn)生的影響。

基于此，服務(wù)器si當(dāng)前處理能力的計(jì)算公式為

CC(si)=C(si)-L(si)

(4)

其中，CC(si)表示服務(wù)器si當(dāng)前能夠處理客戶端請(qǐng)求的能力，在為每個(gè)服務(wù)器計(jì)算出當(dāng)前處理能力之后，使用式(5)計(jì)算服務(wù)器si當(dāng)前的權(quán)值(設(shè)系統(tǒng)具有k個(gè)服務(wù)器)。

(5)

權(quán)值W(si)表示服務(wù)器si處理能力在服務(wù)器群中的比例，反映了服務(wù)器的重要性。

3.3 實(shí)現(xiàn)

定義3： 視頻轉(zhuǎn)發(fā)矩陣M2是保存了視頻流與服務(wù)器對(duì)應(yīng)關(guān)系的數(shù)據(jù)結(jié)構(gòu)，體現(xiàn)為一個(gè)二維矩陣

(6)

式中，aij表示服務(wù)器si對(duì)攝像頭j的轉(zhuǎn)發(fā)服務(wù)映射關(guān)系，如果aij=1，表示si對(duì)攝像頭j進(jìn)行轉(zhuǎn)發(fā)，否則aij=0。其中，axj(1≤x≤k)組成了視頻流j的轉(zhuǎn)發(fā)向量。

每收到一個(gè)新的訂閱命令，服務(wù)器就會(huì)更新實(shí)時(shí)數(shù)據(jù)庫(kù)中的視頻分發(fā)矩陣。如果服務(wù)器發(fā)現(xiàn)需要登錄攝像頭，則一方面把請(qǐng)求發(fā)給負(fù)載均衡控制器，另一方面將登錄任務(wù)轉(zhuǎn)發(fā)給攝像頭所屬的車站工控機(jī)，由后者登錄和激活攝像頭。

負(fù)載均衡器計(jì)算服務(wù)器的負(fù)載情況，得到服務(wù)器權(quán)值，將權(quán)值最高的作為該視頻流的轉(zhuǎn)發(fā)服務(wù)器。負(fù)載均衡器調(diào)整視頻轉(zhuǎn)發(fā)矩陣，并將視頻流n的轉(zhuǎn)發(fā)向量發(fā)給其所屬的車站工控機(jī)，工控機(jī)即可以根據(jù)轉(zhuǎn)發(fā)向量轉(zhuǎn)發(fā)流量負(fù)載到指定的服務(wù)器。

3.4 實(shí)驗(yàn)和評(píng)估

在3臺(tái)服務(wù)器及12個(gè)高清攝像頭(各有2個(gè)訂閱)的環(huán)境下，采用3種不同的負(fù)載均衡算法進(jìn)行實(shí)驗(yàn)，分別是隨機(jī)算法(每個(gè)視頻流被隨機(jī)地轉(zhuǎn)發(fā)給一個(gè)服務(wù)器)、輪詢算法(每個(gè)視頻流按順序輪流轉(zhuǎn)發(fā)給不同的服務(wù)器)和本文提出的動(dòng)態(tài)負(fù)載均衡算法，分別測(cè)量它們的網(wǎng)絡(luò)吞吐量和傳播時(shí)延。其中時(shí)延是指從工控機(jī)獲得視頻數(shù)據(jù)到視頻到達(dá)客戶端所經(jīng)過(guò)的平均時(shí)間(系統(tǒng)通過(guò)NTP協(xié)議具有同步的時(shí)間)；系統(tǒng)吞吐量是指單位時(shí)間內(nèi)所有客戶端接收到的視頻數(shù)據(jù)的總和。

圖3展示了系統(tǒng)在不同的視頻流個(gè)數(shù)下，使用3種負(fù)載均衡算法處理的平均時(shí)延。在數(shù)據(jù)量較低時(shí)，因?yàn)閷?duì)網(wǎng)絡(luò)的影響不大，所以3種算法具有相似的平均時(shí)延；但當(dāng)數(shù)據(jù)量上升的時(shí)候，因?yàn)閷?duì)網(wǎng)絡(luò)通信產(chǎn)生了較大的影響，而本文提出的算法可確保各個(gè)服務(wù)器都具有較好的負(fù)載均衡性，網(wǎng)絡(luò)中每個(gè)服務(wù)器都不會(huì)有太長(zhǎng)的排隊(duì)等待發(fā)送時(shí)延，所以在整個(gè)系統(tǒng)的平均時(shí)延上具有一定優(yōu)勢(shì)。

圖3 3種負(fù)載均衡算法的平均時(shí)延

圖4展示了在不同的視頻流個(gè)數(shù)下的網(wǎng)絡(luò)吞吐量變化情況，可以看出本文提出的負(fù)載均衡算法與隨機(jī)算法和輪詢算法相比，可以獲得更高的吞吐量。這是因?yàn)楫?dāng)數(shù)據(jù)到達(dá)一定量時(shí)，由于處理不及時(shí)，系統(tǒng)會(huì)產(chǎn)生丟包現(xiàn)象，導(dǎo)致吞吐量有所下降。

圖4 3種負(fù)載均衡算法的吞吐量變化

圖5展示了當(dāng)視頻流個(gè)數(shù)為12時(shí)，在3種不同算法下，3臺(tái)服務(wù)器的CPU利用率情況。在使用隨機(jī)算法的時(shí)候，服務(wù)器的CPU利用率是最不均衡的，而使用本文負(fù)載均衡算法能夠讓各個(gè)服務(wù)器都具有相近的CPU利用率。

圖5 不同負(fù)載均衡算法下的服務(wù)器CPU利用率

4 結(jié)語(yǔ)

首先，針對(duì)視頻監(jiān)控子系統(tǒng)所面臨的大規(guī)模數(shù)據(jù)并發(fā)環(huán)境，提出了應(yīng)對(duì)策略；然后介紹基于訂閱/分發(fā)模型的視頻數(shù)據(jù)規(guī)劃策略，基于這個(gè)策略可以大大減少視頻數(shù)據(jù)流的冗余度，從而減輕對(duì)網(wǎng)絡(luò)負(fù)載的壓力；最后重點(diǎn)研究了視頻分發(fā)的負(fù)載均衡技術(shù)，通過(guò)將視頻流數(shù)據(jù)均勻地轉(zhuǎn)發(fā)到不同的服務(wù)器上，再由服務(wù)器分發(fā)到具體的客戶端，可以大大地緩解服務(wù)器的壓力，并可以降低傳播時(shí)延，提高網(wǎng)絡(luò)吞吐量。

[1] 肖東暉，林立.電力系統(tǒng)統(tǒng)一視頻監(jiān)控平臺(tái)解決方案[J].電力系統(tǒng)自動(dòng)化，2013，37(5)：74-80.

[2] 蔡海燕.基于高清技術(shù)的地鐵視頻監(jiān)控系統(tǒng)的應(yīng)用分析[J].科技視界，2012(26)：85-86.

[3] 凌力.客運(yùn)專線綜合視頻監(jiān)控系統(tǒng)線路監(jiān)控技術(shù)方案研究[J].鐵道通信信號(hào)，2009，45(9)：47-50.

[4] 宋小通.視頻監(jiān)控系統(tǒng)在軌道交通中的應(yīng)用分析[J].科技信息，2013(5)：116-118.

[5] 孟巍.鐵路客運(yùn)專線綜合視頻監(jiān)控系統(tǒng)建設(shè)方案[J].鐵道通信信號(hào)，2007，43(10)：41-43.

[6] 寧娟.鐵路綜合視頻監(jiān)控系統(tǒng)方案設(shè)計(jì)[J].鐵道通信信號(hào)，2010,46(2)：51-52.

[7] 霍亞楠.城市軌道交通視頻監(jiān)視系統(tǒng)建設(shè)方案[J].都市快軌交通，2016，29(4)：102-106.

[8] 宋明，董成文，姚珍富.鐵路綜合視頻監(jiān)控系統(tǒng)中視頻媒體流傳輸模式研究[J].鐵道技術(shù)監(jiān)督，2016，44(2)：45-48.

[9] 萬(wàn)豪，史浩山，林卓.基于訂閱發(fā)布機(jī)制的中間件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J] .計(jì)算機(jī)測(cè)量與控制，2012(9)：2551-2554.

[12] ZHANG Q, Riska A, SUN W, et al.Workload-aware load balancing for clustered web servers[J].IEEE transactions on parallel and distributed systems, 2005,16(3): 219-233.

(編輯：王艷菊)

Research and Implementation of Video Surveillance System in Large Scale Data Concurrent Environment

Zhao Junfeng1Zhuang Huaidong2Zhao Liang3Du Qingwei4

(1. Nanjing Rail Transit System Co., Ltd., Nanjing 210019; 2. College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics, Nanjing 211106; 3. The 14th Research Institute of China Electronic Technology Group Corporation, Nanjing 210019; 4. Collaborative Innovation Center for Novel Software and Industrialization, Nanjing 210019)

The CCTV sub-system in the integrated supervisory and control system of urban rail transport shares the same network environment with other sub-systems and has the characteristics of large-scale data concurrency. The strategy of the CCTV to adapt to the large-scale data concurrency, the distribution model of the CCTV, and the load balancing technology during the process of distribution are introduced in this paper. Based on the performance and load measurements of the multiple servers, a load balancing mechanism is developed in view of a dynamic measurement. It has been proved by the experimental tests that this mechanism can reduce transmits delay, improve system throughput, and balance the load between the servers significantly.

urban rail transit; large data; video surveillance; subscription distribution; load balancing

10.3969/j.issn.1672-6073.2016.06.003

2016-05-09

2016-08-16

趙軍鋒，男，工程師，主要研究方向?yàn)榉植紝?duì)象計(jì)算，42344345@qq.com

U231.7

A

1672-6073(2016)06-0011-05