基于多模式感知技術(shù)在共享單車停放監(jiān)管的研究

張 成 范志恒 魯 駿 吳悅玲

（深圳市金溢科技股份有限公司，廣東 深圳 518000）

0 引言

共享單車以新興交通形態(tài)的形式在城市中發(fā)展，給人們出行帶來便利，共享單車的亂停放、區(qū)域異常聚集以及停車難等停放管理問題日益嚴(yán)重，共享單車停放問題成為廠商以及相關(guān)政府部門亟待解決的問題。

共享單車停放管理方案在實際應(yīng)用中存在很多問題，例如基于GPS、北斗、藍(lán)牙、RFID定位技術(shù)與電子圍欄相結(jié)合的技術(shù)方案，存在定位精度差、無法判斷車頭車尾亂序停放、傾倒以及堆積等亂停放現(xiàn)象，定位模塊消耗大量電能會帶來供電問題?；诨ユi結(jié)構(gòu)實現(xiàn)的技術(shù)方案，由于停放車輛被相互連接到一起，因此車輛移動維護(hù)不便?，F(xiàn)有共享單車管理技術(shù)都不能兼容第三方共享單車進(jìn)行整齊停放管理，也無法對亂停放車輛進(jìn)行現(xiàn)場取證。

該文提出共享單車整齊停放管理方法，采用基于深度學(xué)習(xí)的視頻識別與UWB射頻高精度定位識別技術(shù)相結(jié)合的方法，對共享單車的位置、姿態(tài)等進(jìn)行精準(zhǔn)的停放管理，與停車管理系統(tǒng)相比具有明顯的優(yōu)勢。該系統(tǒng)不僅對停車區(qū)域內(nèi)的車輛位置進(jìn)行停放管理，還實現(xiàn)了對車輛停放姿態(tài)、方向、兩車之間距離的監(jiān)管，同時保存車輛停放現(xiàn)場圖像，為監(jiān)管處罰提供依據(jù)。

1 視頻與射頻雙模識別技術(shù)研究

1.1 視頻識別技術(shù)

共享單車視頻識別技術(shù)通過攝像頭實時采集車輛指定停放區(qū)域的視頻圖像，根據(jù)深度學(xué)習(xí)識別模型，判斷所停放車輛的停放姿態(tài)，并且獲取在指定區(qū)域的車輛位置信息。通過對實時視頻圖像進(jìn)行車輛識別，根據(jù)動態(tài)跟蹤技術(shù)[1]，可以篩選出正在停車過程中的車輛。最終，該模塊會將正在停車過程中的車輛的位置信息與姿態(tài)識別結(jié)果發(fā)送給共享單車停放數(shù)據(jù)處理模塊。

目前深度學(xué)習(xí)物體檢測算法很多[2]，經(jīng)典的深度學(xué)習(xí)物體檢測算法有RCNN（Regions with CNN features）系列、SSD（Single Shot MultiBox Detector）和YOLO（You only Look Once）系列，在這3個系列的模型中，SSD和YOLO是Single Shot檢測器模型，模型的檢測速度更快。SSD在多個feature Map上進(jìn)行多尺度預(yù)測，預(yù)測層是Detector/Classifier，是全卷積，而YOLO是全連接層。如圖1所示。

圖1 Faster R-CNN、SSD、YOLO檢測層示意圖

該項目采用的共享單車檢測模型是SSD目標(biāo)檢測框架，包括sequeezenet-ssd、mobilenetv2-ssd等。預(yù)先設(shè)計的車輛停放姿態(tài)為直立停放、傾倒停放以及車身堆疊3類停車姿態(tài)。車輛停車姿態(tài)如圖2所示。

圖2 共享單車停車姿態(tài)

1.2 射頻UWB定位識別技術(shù)

UWB測距原理一般是雙向飛行時間法TW-TOF（Two Way-time of Flight）。UWB定位方法包括TOA（Time of Arrival）定位、TDOA(Time Difference of Arrival)定位和AOA(Activity On Arrow)定位3種。該文采用TDOA算法定位，TDOA技術(shù)不需要電子標(biāo)簽與定位基站之間往復(fù)通信，只需要定位標(biāo)簽發(fā)射一次UWB信號，工作時間短，功耗低，容易實現(xiàn)更高的定位動態(tài)和定位容量。并且TDOA定位只需要在基站之間進(jìn)行同步，不需要在基站與電子標(biāo)簽之間進(jìn)行時間同步，基站的位置是固定不變的，所以TDOA定位精度會更高。

該定位系統(tǒng)是由安裝在停車區(qū)域4個角的基站、安裝在車身上的電子標(biāo)簽和UWB控制器組成的。由于采用了4個基站同時工作的冗余設(shè)計，因此不受周邊無線通信設(shè)備的影響，抗干擾能力強，保證穩(wěn)定的工作狀態(tài)。TDOA算法原理圖如圖3所示。

圖3 TDOA原理圖

該方法不僅可以定位電子標(biāo)簽的精確位置，還可以通過廣播的報文傳輸電子標(biāo)簽內(nèi)存儲的關(guān)鍵車輛信息，其中關(guān)鍵信息包括共享單車的品牌、共享單車ID等信息。另外，由于共享單車在戶外使用，電子標(biāo)簽采用太陽能充電的方式，可以解決定位模塊消耗大量電能所帶來的供電問題。

1.3 數(shù)據(jù)融合技術(shù)

通過實時接收視頻識別的車輛檢測識別數(shù)據(jù)，以及射頻UWB定位識別定位的電子標(biāo)簽的數(shù)據(jù)，基于視頻檢測中共享單車的車身姿態(tài)數(shù)據(jù)、位置信息數(shù)據(jù)和電子標(biāo)簽的精確位置等數(shù)據(jù)進(jìn)行融合[3]，進(jìn)而判斷該共享單車的停車行為是否符合停車規(guī)范要求。該項目引入了NTP（Network Time Protocol）服務(wù)，保證共享單車視頻識別和射頻UWB定位識別能進(jìn)行時間同步。視頻數(shù)據(jù)與射頻數(shù)據(jù)的關(guān)聯(lián)配準(zhǔn)時序如圖4所示。

圖4 視頻數(shù)據(jù)與射頻數(shù)據(jù)關(guān)聯(lián)配準(zhǔn)時序

該技術(shù)分別實現(xiàn)了視頻和射頻對車輛姿態(tài)的檢測。在共享單車視頻識別技術(shù)中，基于視頻的檢測是通過車輛姿態(tài)檢測模型直接檢測出車輛停放時的車頭方向與停車姿態(tài)；基于射頻的車輛姿態(tài)檢測是在每輛共享單車上分別安裝2臺電子標(biāo)簽，通過2個標(biāo)定的坐標(biāo)位置信息垂直投影到大地坐標(biāo)系中的距離，來判斷車輛的車頭方向與停車姿態(tài)。射頻對車輛姿態(tài)檢測的狀態(tài)包括直立停放與傾倒停放。當(dāng)車輛直立狀態(tài)時，2個電子標(biāo)簽垂直投影到大地坐標(biāo)系中的距離為D1；當(dāng)車輛傾倒?fàn)顟B(tài)時，2個電子標(biāo)簽垂直投影到大地坐標(biāo)系中的距離為D2，通過試驗數(shù)據(jù)可得其判斷共享單車姿態(tài)的閾值為0.38 m，其檢測的方法原理圖如圖5所示。

圖5 UWB姿態(tài)檢測方法原理圖

當(dāng)檢測出的車頭方向與該指定區(qū)域要求的停車車頭方向相反時，即判定為停車車頭顛倒；當(dāng)停車姿態(tài)出現(xiàn)車頭顛倒、車身倒地以及車輛堆疊的情況時，即判定為出現(xiàn)違規(guī)停車；通過電子標(biāo)簽的精確位置數(shù)據(jù)即可以判斷相鄰車輛的停車距離。當(dāng)停車距離過大時，，例如當(dāng)停車距離大于1 m時，即判斷為停車不規(guī)范。

2 系統(tǒng)設(shè)計

該系統(tǒng)采用模塊結(jié)構(gòu)化設(shè)計，主要由3個模塊組成，包括共享單車視頻識別模塊、射頻UWB定位識別模塊和共享單車停放數(shù)據(jù)處理模塊。系統(tǒng)的整體系統(tǒng)構(gòu)成圖如圖6所示。

圖6 整體系統(tǒng)構(gòu)成圖

3 系統(tǒng)軟件設(shè)計

共享單車智能監(jiān)管系統(tǒng)軟件采用分層設(shè)計，主要分為數(shù)據(jù)訪問層、業(yè)務(wù)邏輯層和表示層。數(shù)據(jù)訪問層負(fù)責(zé)獲取硬件數(shù)據(jù)檢測信息，業(yè)務(wù)邏輯層負(fù)責(zé)通過獲取的數(shù)據(jù)判斷業(yè)務(wù)邏輯，表示層主要體現(xiàn)在演示中間件，用來顯示檢測結(jié)果與過程信息。

4 試驗驗證與分析

為了驗證深度學(xué)習(xí)視頻檢測與射頻識別定位技術(shù)的性能，該文在深圳科技園試驗場進(jìn)行了共享單車智能監(jiān)管系統(tǒng)的測試，試驗場景圖如圖7所示。分別進(jìn)行共享單車違停識別的測試和姿態(tài)檢測的測試試驗。采用的測試工具見表1。

表1 測試工具表

圖7 試驗場搭建圖

該文利用3萬張單車樣本訓(xùn)練Mobilenet-SSD模型，訓(xùn)練誤差率0.1，測試集準(zhǔn)確率為98%，深度學(xué)習(xí)視頻檢測效果圖如圖8所示。

圖8 深度學(xué)習(xí)單車檢測效果圖

4.1 定位精度測試

在測試場中，選定長30 m，寬20 m的停車區(qū)域，設(shè)定相機所在位置為該系統(tǒng)的坐標(biāo)原點，通過共享單車智能監(jiān)管設(shè)備對測試場中不同位置的共享單車進(jìn)行定位檢測，每輛車重復(fù)定位5次，去平均值，定位車輛數(shù)量不少與10輛。其定位結(jié)果與全站儀測量的定位數(shù)據(jù)進(jìn)行對比。試驗結(jié)果見表2。通過測試，智能監(jiān)管設(shè)備的定位精度在0.2 m范圍內(nèi)。

表2 共享單車智能監(jiān)管設(shè)備定位精度

4.2 違停識別測試和單車姿態(tài)測試

通過在測試場地內(nèi)劃定電子圍欄為停車區(qū)域，設(shè)定相機所在位置為坐標(biāo)原點，通過共享單車智能監(jiān)管設(shè)備定位單車的位置，以電子圍欄為依據(jù)判定單車的違停狀態(tài)（非違停車輛狀態(tài)In，違停車輛狀態(tài)Out）以及姿態(tài)測試。

針對違停識別測試，樣本車輛依次放在停車區(qū)域內(nèi)、停車區(qū)域外不同位置；針對姿檢測試中車輛傾倒?fàn)顟B(tài)、直立狀態(tài)進(jìn)行不同位置測試。每個車輛重復(fù)測試5 次，測試車輛總數(shù)不少于20 輛，總共100 組數(shù)據(jù)。選取前20 組測試數(shù)據(jù)見表3。

表3 共享單車智能監(jiān)管設(shè)備違停識別檢測與姿態(tài)檢測

通過計算，測試的違停識別準(zhǔn)確率為96%，姿態(tài)檢測準(zhǔn)確率為97%。

5 結(jié)論

該文將視頻深度學(xué)習(xí)技術(shù)和UWB射頻識別定位技術(shù)相結(jié)合，實現(xiàn)了對共享單車的智能監(jiān)管，單車定位精度達(dá)到亞米級，單車違停識別率為96%，姿態(tài)檢測準(zhǔn)確率為97%。采用該文方法能夠解決共享單車亂停放、入欄停車不規(guī)范、停放不整齊、不兼容第三方共享單車等問題，可以滿足共享單車精準(zhǔn)監(jiān)控的技術(shù)需求。