基于多通信機(jī)制與機(jī)器視覺的智慧小區(qū)視頻監(jiān)控系統(tǒng)

胡 石，王 彬，吳志光

?

基于多通信機(jī)制與機(jī)器視覺的智慧小區(qū)視頻監(jiān)控系統(tǒng)

*胡 石，王 彬，吳志光

(池州職業(yè)技術(shù)學(xué)院機(jī)電技術(shù)系，安徽，池州 247000)

為了有效監(jiān)控小區(qū)內(nèi)的車輛速度，實(shí)現(xiàn)保障小區(qū)業(yè)主人身安全和促進(jìn)城市小區(qū)健康發(fā)展，本文設(shè)計(jì)了一套基于多通信機(jī)制與機(jī)器視覺的智慧小區(qū)視頻監(jiān)控系統(tǒng)。首先，將基于Socket的網(wǎng)口通信與基于RS232的串口通信實(shí)施融合，連接測(cè)速攝像頭與中心服務(wù)器，構(gòu)建起智慧小區(qū)車輛視頻監(jiān)控系統(tǒng)的硬件平臺(tái)。然后，結(jié)合高斯模型、Harris角點(diǎn)定位與RANSAC匹配優(yōu)化方法，設(shè)計(jì)了車輛速度檢測(cè)算子，實(shí)現(xiàn)車輛有無判斷和車輛速度計(jì)算。在Visiual Studio平臺(tái)開發(fā)系統(tǒng)，并對(duì)所提智慧小區(qū)視頻監(jiān)控系統(tǒng)進(jìn)行了測(cè)試，結(jié)果表明：本文提出的智慧小區(qū)視頻監(jiān)控系統(tǒng)，在車速檢測(cè)和系統(tǒng)智能性方面，都優(yōu)于傳統(tǒng)小區(qū)視頻監(jiān)控系統(tǒng)。

智慧小區(qū)；視頻監(jiān)控；多通信機(jī)制；機(jī)器視覺； Harris角點(diǎn)；RANSAC匹配優(yōu)化

0 引言

近年來，隨著城市化進(jìn)程的推進(jìn)，住宅小區(qū)規(guī)模和機(jī)動(dòng)車數(shù)量都有很大增長，住宅小區(qū)內(nèi)機(jī)動(dòng)車數(shù)量也增長迅速，但是，住宅小區(qū)內(nèi)沒有交警巡查或公安電子眼，因此，監(jiān)控小區(qū)內(nèi)機(jī)動(dòng)車的行車速度可以起到保障業(yè)主人身安全的作用。而對(duì)于傳統(tǒng)的小區(qū)車速管理，往往依靠保安巡查和物業(yè)宣傳，這種方式在一定程度上可以起到作用，但是無法實(shí)現(xiàn)小區(qū)的24小時(shí)監(jiān)控，并且人工成本較大，如果采用智能視頻監(jiān)控的方式，不僅可以降低人力、物力成本，還可以調(diào)取相關(guān)視頻，便于后續(xù)管理和糾紛處理。所以，如何以智能化、高效率、低成本的技術(shù)來監(jiān)控小區(qū)機(jī)動(dòng)車速和保障業(yè)主人身安全是具有重要實(shí)際意義的。

目前國內(nèi)研究人員在這一領(lǐng)域已進(jìn)行了深入研究。如李娟等[1]人提出基于GPS的高速公路車速全程監(jiān)控方法，采用GPS和地圖匹配技術(shù)的高速公路車速全程監(jiān)控和管理方法，建立相關(guān)算法的數(shù)學(xué)模型，實(shí)現(xiàn)高速公路車速的全程監(jiān)控，但是GPS相關(guān)檢測(cè)設(shè)備價(jià)格高，導(dǎo)致該方案很難在細(xì)分市場(chǎng)推廣。徐駿驊等人[2]提出了基于邊緣檢測(cè)與模式識(shí)別的車臉識(shí)別算法，基于Lab顏色空間轉(zhuǎn)換與Canny邊緣檢測(cè)，設(shè)計(jì)車輛前臉區(qū)域檢測(cè)機(jī)制，然后基于粗糙集描述和Adaboost分類器，對(duì)車臉特征完成訓(xùn)練，建立強(qiáng)識(shí)別器，準(zhǔn)確識(shí)別車臉，最后基于開源圖像庫Aforge.NET和C#語言實(shí)現(xiàn)算法，開發(fā)出瀑布結(jié)構(gòu)標(biāo)準(zhǔn)軟件系統(tǒng)，但是該系統(tǒng)對(duì)車輛目標(biāo)的識(shí)別，依賴于攝像頭采集角度和正面車臉圖像，在實(shí)際應(yīng)用場(chǎng)景，往往存在檢測(cè)不穩(wěn)定性。朱善瑋等人[3]設(shè)計(jì)一個(gè)基于Haar-like和AdaBoost的車臉檢測(cè)，根據(jù)Haar-like特征的分布情況對(duì)其進(jìn)行歸一化處理，利用歸一化處理后的特征構(gòu)建多個(gè)弱分類器，再利用AdaBoost算法把選出的弱分類器級(jí)聯(lián)為強(qiáng)分類器，最后用強(qiáng)分類器對(duì)車輛圖像的車臉部分進(jìn)行檢測(cè)定位，但是AdaBoost分類器對(duì)帶標(biāo)簽高質(zhì)量樣本數(shù)據(jù)庫的依賴較大，在實(shí)際應(yīng)用場(chǎng)景中，由于車輛實(shí)景圖像采集難度高，樣本庫數(shù)量要求較難達(dá)到，使其訓(xùn)練出來的識(shí)別分類器往往存在不穩(wěn)定性。

在小區(qū)機(jī)動(dòng)車車速檢測(cè)這個(gè)智能交通和智慧城市的大市場(chǎng)中細(xì)分出來的應(yīng)用場(chǎng)景，急需采用人工智能的方法，達(dá)到車速視頻有效監(jiān)控，保障業(yè)主人身安全。對(duì)此，本文提出了基于多通信機(jī)制與機(jī)器視覺的智慧小區(qū)視頻監(jiān)控系統(tǒng)，有效降低成本和穩(wěn)定識(shí)別車輛車速，達(dá)到增強(qiáng)業(yè)主居住安全感的目的。

1 本文智慧小區(qū)視頻監(jiān)控系統(tǒng)設(shè)計(jì)

所提的智慧小區(qū)視頻監(jiān)控系統(tǒng)的預(yù)設(shè)目標(biāo)有2個(gè)：(1) 利用串口通信與網(wǎng)口通信完成監(jiān)控系統(tǒng)的硬件平臺(tái)構(gòu)建；(2) 耦合高斯模型、Harris角點(diǎn)定位與Ransac角點(diǎn)匹配方法，設(shè)計(jì)車速識(shí)別算子，實(shí)現(xiàn)算法對(duì)車輛有無、車輛跟蹤和車速計(jì)算，提高物業(yè)對(duì)于小區(qū)內(nèi)機(jī)動(dòng)車行駛的管控，以低成本高效率高準(zhǔn)確度的保障業(yè)主人身安全。

如圖1(a)所示，為本文系統(tǒng)的架構(gòu)，小區(qū)主干道路面安置磁電感應(yīng)線圈，用來感應(yīng)汽車通過攝像頭監(jiān)控區(qū)域。汽車特征不同于行人，當(dāng)磁電感應(yīng)線圈感應(yīng)到汽車時(shí)，通過轉(zhuǎn)接與RS232串口線，連接于網(wǎng)絡(luò)攝像頭，采集視頻的攝像頭對(duì)當(dāng)下采集圖像（視頻當(dāng)前幀）啟動(dòng)服務(wù)器的車輛識(shí)別程序，對(duì)該圖像進(jìn)行識(shí)別，有效避免時(shí)延問題。RS-232串口標(biāo)準(zhǔn)協(xié)議的全稱是 EIA-RS-232C 標(biāo)準(zhǔn)，其中EIA代表美國電子工業(yè)協(xié)會(huì)，RS代表推薦標(biāo)準(zhǔn)，232是標(biāo)識(shí)號(hào)，通訊接口之一，通常 RS-232 接口以9個(gè)引腳或是25個(gè)引腳的型態(tài)出現(xiàn)[4]。本系統(tǒng)采用這種低成本的通信形式和協(xié)議，完成磁電感應(yīng)線圈與視覺采集單元的連接。socket本質(zhì)是編程接口(API)，對(duì)TCP/IP的封裝，TCP/IP也要提供可供程序員做網(wǎng)絡(luò)開發(fā)所用的接口， HTTP是轎車，提供了封裝或者顯示數(shù)據(jù)的具體形式，Socket是發(fā)動(dòng)機(jī)，提供了網(wǎng)絡(luò)通信的能力[5]。本系統(tǒng)利用Socket網(wǎng)口通行，連接攝像頭采集數(shù)據(jù)與中心服務(wù)器。本智能小區(qū)門禁管理系統(tǒng)借助RS232和Socket這兩種通信方式，發(fā)揮傳輸數(shù)據(jù)和傳遞控制信息的優(yōu)勢(shì)，相比于昂貴的傳感器，本文提出的多通信機(jī)制不僅降低了系統(tǒng)成本，還提高了系統(tǒng)信息傳輸相率。如圖1(b)所示，本系統(tǒng)UI，主要有實(shí)時(shí)視頻圖像采集、車輛定位、車速計(jì)算、車速信息顯示。如圖1(c)所示，硬件平臺(tái)由磁電感應(yīng)線圈、RS232串口線、網(wǎng)絡(luò)攝像頭、Socket網(wǎng)口網(wǎng)線、服務(wù)器構(gòu)成。待檢測(cè)視頻截圖如圖2所示，由圖發(fā)現(xiàn)，視頻視野內(nèi)小區(qū)主干道上存在機(jī)動(dòng)車。所設(shè)計(jì)的系統(tǒng)目的就是為了這些車輛及其速度進(jìn)行監(jiān)控。

圖2 待檢測(cè)圖像

2 車速檢測(cè)算子

為了實(shí)現(xiàn)小區(qū)內(nèi)機(jī)動(dòng)車目標(biāo)的準(zhǔn)確識(shí)別、跟蹤和車速計(jì)算，本文耦合混合高斯建模、Harris角點(diǎn)檢測(cè)和RANSAC策略，構(gòu)成車輛目標(biāo)定位識(shí)別算子，然后處理視頻中的圖像幀序列，計(jì)算前后目標(biāo)移動(dòng)距離與時(shí)間，檢測(cè)出車輛速度，其過程見圖3。

圖3 本文車速檢測(cè)算子的過程

首先需要對(duì)路面行駛的機(jī)動(dòng)車進(jìn)行圖像采集，進(jìn)行混合高斯建模?；旌细咚菇Ｊ前凑崭咚狗植紝?duì)每個(gè)像素建立模型，并通過基于回歸濾波的在線 EM 近似方法對(duì)模型參數(shù)進(jìn)行更新，它能魯棒地克服光照變化、樹枝搖動(dòng)等造成的影響[6]?；旌细咚菇］^為傳統(tǒng)成熟，且數(shù)學(xué)推導(dǎo)公式冗余，本文在這里不再贅述。然后，在高斯建模基礎(chǔ)上，進(jìn)行Harris角點(diǎn)定位，作為車輛定位與移動(dòng)速度計(jì)算的依據(jù)。Harris角點(diǎn)定位[7-8]是依據(jù)自相關(guān)函數(shù)給出的，得出了矩陣M，矩陣M中的特征值是自相關(guān)函數(shù)的一階曲率，如果一階曲率都很高，則認(rèn)為此處為為角點(diǎn)。本系統(tǒng)中的攝像頭實(shí)時(shí)采集小區(qū)視頻，當(dāng)磁電感應(yīng)線圈傳輸信號(hào)至攝像頭時(shí)，系統(tǒng)保存攝像頭當(dāng)前視野圖像，并對(duì)該圖像進(jìn)行識(shí)別（混合高斯模型、Harris角點(diǎn)檢測(cè)等），從而既實(shí)現(xiàn)車速檢測(cè)，又避免視頻實(shí)時(shí)處理的高負(fù)荷計(jì)算量問題，使其較好地滿足實(shí)時(shí)需求。

在進(jìn)行Harris角點(diǎn)檢測(cè)時(shí)，需要計(jì)算基于自相關(guān)函數(shù)的局部圖像灰度變化程度，如下式所示：

式（1）中,代表圖像坐標(biāo)，代表灰度圖窗口移動(dòng)后的自相關(guān)函數(shù)，代表移動(dòng)窗口，代表圖像。接著以矩陣的形式表示：

式（2）中E代表自相關(guān)函數(shù)，,代表圖像坐標(biāo)，代表Harris角點(diǎn)特征值矩陣。接著進(jìn)行Harris角點(diǎn)相應(yīng)函數(shù)：

式（3）中代表角點(diǎn)相應(yīng)函數(shù)值，越大代表角點(diǎn)可能性越大，代表協(xié)方差運(yùn)算，代表和運(yùn)算。在Harris角點(diǎn)定位基礎(chǔ)上進(jìn)行RANSAC運(yùn)算。

隨機(jī)抽樣一致性（RANSAC）算法，可以在一組包含“外點(diǎn)”的數(shù)據(jù)集中，采用不斷迭代的方法，尋找最優(yōu)參數(shù)模型，不符合最優(yōu)模型的點(diǎn)，被定義為“外點(diǎn)”[9-10]。為了獲取最優(yōu)參數(shù)矩陣，需要符合如下條件：

式4中、代表實(shí)際場(chǎng)景圖像角點(diǎn)坐標(biāo)，、代表目標(biāo)圖像角點(diǎn)坐標(biāo)，矩陣代表單應(yīng)性矩陣。

以圖2作為待識(shí)別目標(biāo)，對(duì)其進(jìn)行Harris角點(diǎn)檢測(cè)，結(jié)果如圖4(a)所示，可見，準(zhǔn)確檢測(cè)出了移動(dòng)車輛的Harris角點(diǎn)，再對(duì)移動(dòng)車輛進(jìn)行跟蹤定位，計(jì)算車速，如圖4(b)所示，可見定位準(zhǔn)確，車速計(jì)算結(jié)果為3.4 km/h，在正常速度范圍（5 km/h）內(nèi)，系統(tǒng)顯示“正常”。

圖4 車速檢測(cè)與車輛定位結(jié)果

所設(shè)計(jì)的車速檢測(cè)算子的部分關(guān)鍵代碼如下：

itkRGBImageType::Pointer extractCellRegionItk(itkRGBImageType::Pointer lowResolutionwholeSlideImage)

{int w = lowResolutionwholeSl

ideImage-> GetLargest PossibleRegion().GetSize(0);

int h = lowResolutionwholeSlideImage-> GetLargest PossibleRegion().GetSize(1);

int centerX = static_cast(w/2);

int centerY = static_cast(h/2);

itkRGBImageType::Pointer imageCellRegion = itk RGBImageType::New();

imageCellRegion->SetRegions(lowResolutionwholeSlideImage->GetLargestPossibleRegion());

imageCellRegion->Allocate();

int radiusSq = static_cast(0.9*std::min (centerX, centerY));

radiusSq *= radiusSq;

RGBPixelType whitePixel;

whitePixel.SetRed(246);

whitePixel.SetGreen(247);

whitePixel.SetBlue(239);

itkIndexType idx;

for (int ih = 0; ih < h; ++ih)

{ idx[1] = ih;

for (int iw = 0; iw < w; ++iw)

{ idx[0] = iw;

if ((iw - centerX)*(iw - centerX) + (ih - centerY)*(ih - centerY) < radiusSq)

{imageCellRegion->SetPixel(idx, lowResolutionwholeSlideImage->GetPixel(idx));}

else{imageCellRegion->SetPixel(idx, whitePixel);

return imageCellRegion;}

3 實(shí)驗(yàn)結(jié)果及分析

采用Intel i7 四核CPU，16GB的內(nèi)存，電腦系統(tǒng) Windows 10，借助Visual Studio開發(fā)平臺(tái)對(duì)所提的基于多通信機(jī)制和機(jī)器視覺的智能小區(qū)視頻監(jiān)控系統(tǒng)進(jìn)行實(shí)際應(yīng)用測(cè)試。

為了驗(yàn)證本文智能小區(qū)視頻監(jiān)控的優(yōu)異性能，本文設(shè)立了對(duì)照組，分別為文獻(xiàn)[2]和文獻(xiàn)[3]，對(duì)應(yīng)記為A、B算法。輸入圖像如圖5所示，視野內(nèi)主干道有機(jī)動(dòng)車待識(shí)別，系統(tǒng)功能有包括了視頻采集、車輛定位、車速計(jì)算顯示。然后，利用本文技術(shù)、A組技術(shù)、B組技術(shù)來監(jiān)控圖5中的車輛，分別得到結(jié)果如圖6~圖8所示。由圖發(fā)現(xiàn)，所提監(jiān)控系統(tǒng)具有更高的定位精度，可以完成車輛準(zhǔn)確定位和車速計(jì)算，見圖6。這主要是因?yàn)楸疚牟捎脵C(jī)器視覺算法，實(shí)現(xiàn)系統(tǒng)功能，并基于混合高斯模型建立、Harris角點(diǎn)檢測(cè)匹配和RANSAC匹配優(yōu)化機(jī)制，實(shí)現(xiàn)車輛實(shí)時(shí)定位和車速計(jì)算。而A組技術(shù)采用車輛前臉區(qū)域檢測(cè)機(jī)制，一定程度上解決識(shí)別率問題，但是該系統(tǒng)對(duì)車輛目標(biāo)的識(shí)別，依賴于攝像頭采集角度和正面車臉圖像，在實(shí)際應(yīng)用場(chǎng)景，往往存在檢測(cè)不穩(wěn)定性，如圖7所示，車輛定位正確，車速計(jì)算錯(cuò)誤。而B組技術(shù)利用AdaBoost算法把選出的弱分類器級(jí)聯(lián)為強(qiáng)分類器，但是AdaBoost分類器依賴比較大的帶標(biāo)簽高質(zhì)量樣本數(shù)據(jù)庫，在實(shí)際應(yīng)用場(chǎng)景中由于車輛實(shí)景圖像采集難度高，樣本庫數(shù)量要求較難達(dá)到，訓(xùn)練出來的識(shí)別分類器往往存在不穩(wěn)定性，如圖8所示，車輛定位錯(cuò)誤，車速計(jì)算錯(cuò)誤。

圖5 智能系統(tǒng)與待檢測(cè)原圖

圖6 本文算法的檢測(cè)結(jié)果

圖7 文獻(xiàn)[2]的檢測(cè)結(jié)果

圖8 文獻(xiàn)[3]的檢測(cè)結(jié)果

為了反映所提算法的穩(wěn)定性，將所提系統(tǒng)用于筆者所在小區(qū)進(jìn)行車輛監(jiān)控測(cè)試，時(shí)間從2018-11-25日早上7點(diǎn)開始，至2018-11-27下午5點(diǎn)結(jié)束，對(duì)該時(shí)間段內(nèi)所有車輛進(jìn)行定位與車速測(cè)算，通過調(diào)取監(jiān)控結(jié)果發(fā)現(xiàn)，該系統(tǒng)總共采集了670幅車輛圖像，正確定位數(shù)量為652幅，成功率高達(dá)97.31%，且其運(yùn)行平穩(wěn)。只有在車輛與非機(jī)動(dòng)車輛距離很近、同方向行使時(shí)(12次)，以及大霧天氣(6次)情況下出現(xiàn)過錯(cuò)誤識(shí)別，其余場(chǎng)合均檢測(cè)正確。

4 結(jié)束語

為了智能化監(jiān)控小區(qū)車輛速度，保障業(yè)主安全，本文設(shè)計(jì)并開發(fā)實(shí)現(xiàn)了基于多通信機(jī)制與機(jī)器視覺的智慧小區(qū)視頻監(jiān)控系統(tǒng)。采用磁電感線圈、RS串口線、網(wǎng)絡(luò)攝像頭、Socket網(wǎng)線網(wǎng)口和中央服務(wù)器，以機(jī)器視覺技術(shù)為基礎(chǔ)，組成低成本、高效率的智慧小區(qū)視頻監(jiān)控系統(tǒng)硬件架構(gòu)?；诨旌细咚鼓Ｐ?、Harris角點(diǎn)檢測(cè)和RANSAC計(jì)算，構(gòu)建車速檢測(cè)算子，達(dá)到車輛定位檢測(cè)和車速測(cè)量的目的。用Visual Studio平臺(tái)來實(shí)現(xiàn)本文系統(tǒng)，結(jié)果表明：相比于對(duì)標(biāo)系統(tǒng)，在保證系統(tǒng)功能前提下，本文系統(tǒng)在車輛定位和車速計(jì)算方面具有更高的精度和穩(wěn)定性。

雨天等天氣對(duì)識(shí)別率影響是本文目前研究成果上后續(xù)開展的內(nèi)容，以進(jìn)一步提高本文系統(tǒng)的智能程度與適應(yīng)性。

[1] 李娟. 基于GPS的高速公路車速全程監(jiān)控方法研究[J]. 測(cè)繪工程,2018, 6(2): 63-67.

[2] 徐駿驊. 基于邊緣檢測(cè)與模式識(shí)別的車臉識(shí)別算法[J]. 控制工程,2018, 2(6):126-129.

[3] 朱善瑋. 基于Haar-like和AdaBoost的車臉檢測(cè)[J]. 電子科技, 2018, 11(5): 58-63.

[4] 黃山. 基于無線數(shù)據(jù)通信及微機(jī)接口的單片機(jī)教學(xué)平臺(tái)的研究[D]. 廣州: 華南理工大學(xué), 2018: 52-54.

[5] 陸翔鶯. 基于PCA算法的車臉識(shí)別系統(tǒng)研究[J]. 通訊世界,2018, 27(3): 1042-1045.

[6] 馬平華,徐曉光,夏雯娟. 基于改進(jìn)型Camshift和卡爾曼濾波器的車輛跟蹤算法[J]. 井岡山大學(xué)學(xué)報(bào):自然科學(xué)版,2015, 36(5): 60-65.

[7] 張立亭,黃曉浪,鹿琳琳. 基于灰度差分與模板的Harris角點(diǎn)檢測(cè)快速算法[J]. 儀器儀表學(xué)報(bào),2018,39(2): 218-224.

[8] Wang Z C, Li R, Shao Z H. Adaptive Harris corner detection algorithm based on iterative threshold[J]. Modern Physics Letters B,2017,31(15): 1750181-1750189.

[9] 劉三毛. 基于RGB-D的室內(nèi)場(chǎng)景SLAM方法研究[D]. 長沙:湖南工業(yè)大學(xué), 2017:21-39.

[10] Cheng L, Li M C, Liu Y X. Remote sensing image matching by integrating affine invariant feature extraction and RANSAC[J]. Computers and Electrical Engineering, 2012, 38(4): 1023-1032.

Intelligent Community Video Surveillance Management System based on Multi-Communication Mechanism and MachineVision

*HU Shi, WANG Bing, WU Zhi-guang

( Department of Mechanical and Electrical Technology, Chizhou Vocational Technical College, Chizhou, Anhui 247000, China)

In order to effectively monitor the vehicle speed in the residential area, and realize the purpose of ensuring the personal safety in the residential area, as well as promote the healthy development of the urban residential area, this paper designs a smart residential area video monitoring system based on multi-communication mechanism and machine vision. Firstly, integrating socket-based network communication with RS232-based serial communication, connecting speed measuring camera and central server, the hardware foundation of vehicle video surveillance system of intelligent community is constructed. Then, combining the Gaussian model, Harris corner location and Ransac corner matching method, the vehicle speed detection operator is designed to realize the vehicle judgment and vehicle speed calculation. The system is developed on Visual studio platform, and the video surveillance system of intelligent community is tested, the output results show that this intelligent video surveillance system is superior to the traditional video surveillance system in speed detection and system intelligence.

intelligence community; video surveillance; multi-communication mechanism; machine vision; Harris corner; RANSAC matching

TP391

A

10.3969/j.issn.1674-8085.2019.02.010

1674-8085(2019)02-0052-06

2018-10-15；

2019-01-05

安徽省高校優(yōu)秀拔尖人才培育資助項(xiàng)目(gxyq2017218)；安徽省高等學(xué)校省級(jí)質(zhì)量工程項(xiàng)目(2017sjjd052，2017jxtd079)

*胡 石(1988-)，男，安徽省池州市人，講師，碩士，主要從事模式識(shí)別、圖像處理、視頻監(jiān)控技術(shù)等研究(E-mail: hushi8811@sina.com);

王 彬(1987-)，男，安徽省池州市人，講師，碩士，主要從事模式識(shí)別、智能控制等研究(E-mail: Wangb1987ac@126.com );

吳志光(1979-)，男，安徽省合肥市人，副教授，碩士，主要從事智能控制、計(jì)算機(jī)應(yīng)用等研究(E-mail: Wzg1979prof@126.com).