基于多目視覺的農(nóng)村公路視頻巡查技術(shù)研究

文/王剛、于麗麗

1 前言

隨著農(nóng)村公路里程的增長，人們對公路養(yǎng)護(hù)管理的需求也越來越高，由此存在“養(yǎng)護(hù)難度大，養(yǎng)護(hù)資金不足，技術(shù)力量薄弱”等問題，需引入新技術(shù)、新方法，充分且合理地結(jié)合現(xiàn)有方法形成自動化、智能化、便捷化、高效化的先進(jìn)手段[1]。但目前農(nóng)村公路道路巡查方式大多還處于人工巡查階段，其自動化、信息化、智能化水平較低。另外，現(xiàn)有的道路檢測設(shè)備以道路檢測車為主，存在需要人員跟蹤檢測、檢測成本高、檢測范圍小、檢測效率受交通狀況制約等缺陷。而隨著多目視覺技術(shù)的發(fā)展，其應(yīng)用領(lǐng)域越來越多，將多目視覺用于道路檢測已成為道路檢測的新的發(fā)展方向[2]。

2 架構(gòu)設(shè)計

基于多目視覺的農(nóng)村公路視頻巡查采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)結(jié)合高性能的顯卡技術(shù)、分布式架構(gòu)和大數(shù)據(jù)等信息化手段，其方案的落地實(shí)施可以解決目前區(qū)域面積大、道路里程長和管養(yǎng)經(jīng)費(fèi)較低的農(nóng)村公路的道路監(jiān)測、管樣難等問題?？傮w來看，本方案的道路巡檢采用便攜式的多目攝像頭，應(yīng)用高性能GPU服務(wù)器進(jìn)行數(shù)據(jù)視頻分析，并結(jié)合分布式架構(gòu)搭建基于多目視覺的農(nóng)村公路視頻巡查系統(tǒng)，將巡查分析結(jié)果通過多種形式直觀的展現(xiàn)在用戶面前，形成方便的巡檢、智能的分析、直觀的展示等農(nóng)村公路道路巡檢服務(wù)[3]。系統(tǒng)總體規(guī)劃如圖1 所示。

圖1 多目視覺的農(nóng)村公路視頻巡查系統(tǒng)規(guī)劃圖

多目攝像頭的視頻通過4G、5G 傳輸技術(shù)將視頻回傳到視頻分析平臺進(jìn)行巡檢視頻分析，然后通過文件服務(wù)器和Web 服務(wù)器將分析結(jié)果展示到用戶界面上。另外，目前分布式服務(wù)和分布存儲技術(shù)的發(fā)展也為系統(tǒng)的搭建部署提供了技術(shù)支撐，縮短了系統(tǒng)開發(fā)時間，保障了系統(tǒng)研發(fā)質(zhì)量[4]。

3 硬件設(shè)計

3.1 硬件系統(tǒng)組成

該多目視覺系統(tǒng)硬件系統(tǒng)主要由中央控制系統(tǒng)和其附屬系統(tǒng)組成，其組成架構(gòu)關(guān)系如下圖所示：

圖2 目視覺系統(tǒng)組成架構(gòu)圖

3.1.1 存儲系統(tǒng)：支持雙SD 卡槽，單卡最大支持256GB，對沒有5G/4G 信號的偏遠(yuǎn)地區(qū)進(jìn)行巡檢視頻實(shí)地存儲，巡檢完畢后將存儲視頻上傳到視頻分析平臺進(jìn)行病害和軌跡等信息的分析。

3.1.2 電源系統(tǒng)：支持供電時長為24h 正常工作的電池、車載點(diǎn)煙器供電線和12V 輸入的座充設(shè)備等。

3.1.3 WIFI 模 塊：采 用802.11a/b/g/n 標(biāo) 準(zhǔn)，支持WIFI 熱點(diǎn)，設(shè)備連接就近WIFI 后可通過電腦和移動設(shè)備對設(shè)備進(jìn)行控制。

3.1.4 5G/4G 模塊：安裝SIM 卡槽，支持中國電信、中國移動、中國聯(lián)通三家運(yùn)營商的六種移動通信制式。

3.1.5 中央控制系統(tǒng)：中央系統(tǒng)采用實(shí)時操作系統(tǒng)，完成所有的控制功能。控制系統(tǒng)負(fù)責(zé)和各個外設(shè)模塊，如WIFI 模塊、定位模塊、存儲模塊等的通信交互和控制，同時支持用戶的軟件接口，設(shè)備也支持GPS 和北斗的雙模定位模塊等[5]。

3.2 深度攝像頭

農(nóng)村公路視頻巡檢系統(tǒng)需要對農(nóng)村公路的病害信息、地理位置信息進(jìn)行分析采集。在分析農(nóng)村公路的病害信息和附屬設(shè)施時，相關(guān)工作人員需要對病害（坑槽、橫縫、縱縫等）的面積、長度和深度等情況進(jìn)行分析，以便獲得道路病害的確切分析數(shù)據(jù)。

基于以上需求，巡檢設(shè)備攝像頭采用深度攝像頭。深度攝像頭除了能夠獲取平面圖像以外，還可以獲得拍攝對象的深度信息（三維位置和尺寸信息）。目前，深度攝像頭主要分為TOF、結(jié)構(gòu)光和多目視覺技術(shù)。其中，TOF 技術(shù)其傳感器芯片成本高，結(jié)構(gòu)光技術(shù)通過分析結(jié)構(gòu)光投射器投射的光點(diǎn)、光條信息構(gòu)建物體的深度信息，容易受戶外的光照影響。經(jīng)過成本分析和戶外巡檢等需求分析，設(shè)備的深度攝像頭采用多目視覺技術(shù)。利用雙目立體視覺成像原理，在巡檢設(shè)備上安裝多個攝像頭，獲取同一時鐘下的多個畫面，使用多目視覺的成像原理對多個畫面進(jìn)行深度分析。多目視覺的方案不容易受到環(huán)境光線的干擾，適合室外環(huán)境，且成本較低，適合農(nóng)村公路巡檢需求[6]。

4 平臺設(shè)計

4.1 視頻分析平臺

視頻分析平臺首先將巡檢視頻逐幀分割為圖片，然后對每幀圖片使用目標(biāo)檢測算法找到存在的橫向裂縫、縱向裂縫、網(wǎng)狀裂縫和坑槽等公路病害，結(jié)合GPS 定位系統(tǒng)的經(jīng)緯度信息和公路里程樁號對病害位置進(jìn)行定位，最后將檢測出的包含病害的圖片和經(jīng)緯度信息等上傳服務(wù)器，實(shí)現(xiàn)對農(nóng)村公路路況巡檢視頻的自動化分析。本方案的路況檢測分為兩個關(guān)鍵的子任務(wù)：

4.1.1 目標(biāo)的識別和分類。目標(biāo)的識別和分類基于深度學(xué)習(xí)模型，采用mmdetection 框架的Faster R-CNN 網(wǎng)絡(luò)的目標(biāo)檢測算法來實(shí)現(xiàn)。目標(biāo)檢測算法分別兩個階段：第一個階段首先對目標(biāo)進(jìn)行識別和定位，即識別出目標(biāo)和目標(biāo)大概位置信息；第二個階段識別出目標(biāo)的類別和精準(zhǔn)位置信息。能識別的常見路面病害一般為路面坑槽、網(wǎng)狀裂縫、縱向裂縫和橫向裂縫等[7]。

4.1.2 目標(biāo)的三維尺寸計算。通過對多目攝像頭同一時鐘下采集的多幅視頻圖片進(jìn)行深度分析，獲取目標(biāo)的面積、長度和深度信息。

4.2 Web 應(yīng)用服務(wù)平臺

Web 應(yīng)用服務(wù)平臺面向用戶，其包含的主要功能如下：

4.2.1 病害管理模塊

實(shí)現(xiàn)病害上報和病害的處置，待養(yǎng)護(hù)完成后由養(yǎng)護(hù)人員將養(yǎng)護(hù)結(jié)果包括其養(yǎng)護(hù)圖片信息進(jìn)行反饋，查看病害的養(yǎng)護(hù)情況閉合度。

4.2.2 巡檢管理模塊

通過DFS(分布式文件系統(tǒng)）實(shí)現(xiàn)對巡檢視頻上傳和存儲，并通過web 接口實(shí)現(xiàn)與視頻分析平臺的交互。視頻分析平臺采用深度學(xué)習(xí)和多目視覺技術(shù)對巡檢視頻進(jìn)行分析，識別農(nóng)村公路里程、空間地理信息和病害信息等（包括病害的類別、位置信息尺寸信息）。模塊通過和視頻分析平臺的業(yè)務(wù)交互獲取農(nóng)村公路巡檢分析結(jié)果，通過地圖信息等對農(nóng)村公路的空間位置信息、視頻信息、里程信息和病害信息等進(jìn)行多維度展示[8]。

4.2.3 統(tǒng)計模塊管理

在統(tǒng)計模塊中實(shí)現(xiàn)對農(nóng)村公路里程信息、病害信息和養(yǎng)護(hù)信息的多維度統(tǒng)計，方便農(nóng)村公路養(yǎng)護(hù)和監(jiān)管人員從宏觀上完成農(nóng)村公路路資路產(chǎn)盤點(diǎn)和病害養(yǎng)護(hù)情況監(jiān)管[9]。

4.2.3.1 道路信息的規(guī)劃數(shù)據(jù)和巡查數(shù)據(jù)的對比統(tǒng)計，實(shí)現(xiàn)對農(nóng)村公路規(guī)劃數(shù)據(jù)和巡查數(shù)據(jù)里程偏差統(tǒng)計。

4.2.3.2 從時間維度上對農(nóng)村道路病害上報信息進(jìn)行統(tǒng)計，以便相關(guān)人員查看農(nóng)村公路病害信息。

4.2.3.3 從時間維度上對農(nóng)村養(yǎng)護(hù)信息進(jìn)行統(tǒng)計，以便相關(guān)人員查看農(nóng)村公路的養(yǎng)護(hù)維護(hù)情況。

5 結(jié)語

通過應(yīng)用本研究成果可較大程度地提高農(nóng)村公路養(yǎng)護(hù)巡檢工作效率，節(jié)約成本。其與傳統(tǒng)人工檢測相比較，效率提高3 倍以上；與專業(yè)檢測車比較，節(jié)約成本超過50%，無論是工作效率、工作質(zhì)量、工作成本都有了大幅度的提高[10]。另外，由于研究采用人工智能技術(shù)，隨著巡檢視頻采樣本的增多，其病害識別準(zhǔn)確率也會大幅度提高。