薛紅軍 陳 瑜 * 林海鵬 謝 斌
(1.南通市公路事業(yè)發(fā)展中心,江蘇南通 226000;2.華設(shè)設(shè)計(jì)集團(tuán)股份有限公司,江蘇南京 210000)
當(dāng)前我國公路交通信息化建設(shè)逐步向智能化轉(zhuǎn)型升級(jí),公路交通作為江蘇公路交通運(yùn)輸體系的重要組成部分。公路養(yǎng)護(hù)是保障公路運(yùn)輸正?;闹匾画h(huán),改變公路養(yǎng)護(hù)巡查的技術(shù)手段、開展公路智能養(yǎng)護(hù)巡查智能終端示范應(yīng)用顯得格外重要?!丁笆濉眹覒?zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》中指出,加快視頻、地圖及行業(yè)應(yīng)用數(shù)據(jù)等人工智能海量訓(xùn)練資源庫和基礎(chǔ)資源服務(wù)公共平臺(tái)建設(shè),建設(shè)支撐大規(guī)模深度學(xué)習(xí)的新型計(jì)算集群。公路路側(cè)堆積物是國省干線上較為常見的一種路面異常事件,經(jīng)常出現(xiàn)在集鎮(zhèn)、廠礦工地等附近的公路上,主要包括農(nóng)作物、建筑材料、生活垃圾等,不僅產(chǎn)生公路交通安全隱患,還會(huì)嚴(yán)重影響公路衛(wèi)生環(huán)境。及時(shí)發(fā)現(xiàn)和清理公路路側(cè)堆積物污染,對(duì)于提高公路通行能力、保障公路通行安全、改善公路通行環(huán)境具有重要意義。
本文以南通市公路養(yǎng)護(hù)巡查業(yè)務(wù)為案例進(jìn)行研究。南通市路網(wǎng)目前已形成以“八橫十縱”為主、總里程約1 800 km的普通干線公路網(wǎng)。截至2019年末,南通市建成視頻監(jiān)控設(shè)施189套,密度為2 km/套,之前建設(shè)的97路攝像機(jī)清晰度為200 萬pix,現(xiàn)在建設(shè)的為400 萬pix。未來,南通市將會(huì)繼續(xù)在國省干線沿線布設(shè)大量視頻監(jiān)控設(shè)施。
目前對(duì)這類公路污染物的發(fā)現(xiàn)主要依靠各級(jí)公路網(wǎng)管理部門通過人工的方式進(jìn)行巡查,即路網(wǎng)管理人員在公路監(jiān)控中心對(duì)接入的公路監(jiān)控視頻畫面進(jìn)行人工輪巡,通過人眼觀察的方式發(fā)現(xiàn)視頻中發(fā)生的公路路面異常,或派遣巡查車輛上路進(jìn)行巡查,現(xiàn)場查驗(yàn)沿途的路側(cè)堆積物事件。人工巡查的方式效率低、人力成本投入大、輪巡時(shí)間間隔長,事件漏檢風(fēng)險(xiǎn)高,難以及時(shí)發(fā)現(xiàn)并處置公路污染物。
存在不足:
(1)人工巡檢人員不足。
通過調(diào)研發(fā)現(xiàn),目前南通市國省干線里程長、覆蓋范圍廣,路網(wǎng)巡檢包括路基路面狀態(tài)、沿線設(shè)施狀態(tài)、綠化修剪、橋梁健康狀態(tài)等較多內(nèi)容,造成一線養(yǎng)護(hù)巡檢任務(wù)重。
(2)人工巡檢實(shí)時(shí)性不足。
目前,公路分中心逐步完善視頻輪巡系統(tǒng),依靠人工值班、人工視頻輪巡進(jìn)行事件檢測,難以實(shí)現(xiàn)對(duì)公路突發(fā)事件的及時(shí)發(fā)現(xiàn)和快速處置。
(3)人工巡檢成本高。
目前,通過人工或巡查車輛上路巡查的方式進(jìn)行日常路面的巡檢工作,會(huì)造成人工成本和車輛使用成本。
(4)智能化程度不足。
目前,路面事件檢測主要通過人工的方式發(fā)現(xiàn),先進(jìn)的互聯(lián)網(wǎng)、人工智能等技術(shù)沒有得到充分充分利用,智能化程度有待提升。
本方法主要流程包括視頻圖像采集、預(yù)處理、圖像檢測算法處理、事件檢測結(jié)果輸出等部分,分別承擔(dān)公路監(jiān)控視頻數(shù)據(jù)的采集、視頻圖像的幀提取、事件檢測和事件判別輸出等功能。
算法流程設(shè)計(jì)如圖1所示。
圖1 算法流程設(shè)計(jì)
接入滿足實(shí)時(shí)信息傳輸協(xié)議的公路網(wǎng)監(jiān)控視頻,對(duì)視頻流解碼??紤]路側(cè)堆積物將在較長時(shí)間保持靜止,按1 幀/s循環(huán)讀取視頻圖像,對(duì)視頻圖像進(jìn)行預(yù)處理,將視頻幀圖像尺寸縮減為1 280 pix×720 pix,令k時(shí)刻輸出圖像幀表示為fk(x,y),k∈Z+,x∈[0,127 9],y∈[0,719],x,y∈Z,分別為圖像寬度軸和高度軸上的坐標(biāo)。
算法處理由視頻讀取與預(yù)處理、目標(biāo)提取、目標(biāo)過濾、目標(biāo)輸出組成。視頻讀取與預(yù)處理主要對(duì)初始視頻進(jìn)行讀取,并進(jìn)行預(yù)處理和路面區(qū)域獲?。荒繕?biāo)提取主要通過Yolov3的目標(biāo)檢測獲取堆積物相關(guān)的目標(biāo)集;目標(biāo)過濾主要進(jìn)行道路區(qū)域外目標(biāo)過濾;目標(biāo)輸出主要是輸出檢測目標(biāo)結(jié)果。
算法處理流程如圖2所示。
圖2 算法處理流程
視頻讀取與預(yù)處理:接入公路網(wǎng)監(jiān)控視頻流,對(duì)視頻流進(jìn)行解碼,每秒循環(huán)讀取1幀視頻圖像,并對(duì)視頻圖像進(jìn)行預(yù)處理,將輸入圖像轉(zhuǎn)換為灰度圖再進(jìn)行形態(tài)學(xué)濾波,降低噪聲干擾。使用ViBe方法檢測圖像中的運(yùn)動(dòng)前景圖像,檢測到有運(yùn)動(dòng)目標(biāo)時(shí),提取運(yùn)動(dòng)目標(biāo)的輪廓,得到運(yùn)動(dòng)目標(biāo)的輪廓集合[cnti],計(jì)算所有運(yùn)動(dòng)目標(biāo)輪廓的總面積,運(yùn)動(dòng)目標(biāo)的總面積小于閾值thcnts時(shí),認(rèn)為這一幀圖像fx(x,y)包含的運(yùn)動(dòng)目標(biāo)所占區(qū)域較小,利用這一幀圖像進(jìn)行分割可以獲得較完整的路面區(qū)域,這一幀圖像fk(x,y)標(biāo)示為fB(x,y)。
目標(biāo)提取:利用基于深度學(xué)習(xí)的Deeplabv3+圖像語義分割方法,對(duì)的圖像fB(x,y)進(jìn)行分割。利用基于深度學(xué)習(xí)的Yolov3圖像檢測算法,對(duì)每一幀視頻圖像進(jìn)行目標(biāo)識(shí)別,提取公路視頻巡查場景下圖像中與路側(cè)堆積物事件相關(guān)性較高的目標(biāo)。
目標(biāo)過濾:利用視頻預(yù)處理提取的道路區(qū)域?qū)μ崛〉哪繕?biāo)集T進(jìn)行過濾。基于組成路側(cè)堆積物的目標(biāo)會(huì)在圖像中的固定位置持續(xù)出現(xiàn)的特點(diǎn),重復(fù)前面視頻處理并記錄輸出的每一個(gè)目標(biāo)在圖像中相同位置出現(xiàn)的次數(shù)lopi。
輸出在固定位置重復(fù)出現(xiàn)次數(shù)超過預(yù)設(shè)閾值th0的目標(biāo)集合Ts:
對(duì)目標(biāo)的聚集性進(jìn)行鑒別,本研究借鑒密度聚類算法的思想,遍歷搜索目標(biāo)集合Ts中相交或相距較近且呈現(xiàn)聚集性的目標(biāo)子集使輸出的每個(gè)元素滿足完成搜索后,輸出所有目標(biāo)子集的集合
目標(biāo)輸出:根據(jù)應(yīng)用場景的特點(diǎn),從TCAND中比對(duì)挑選包含路側(cè)堆積物關(guān)鍵目標(biāo)類別的元素輸出。
為保證事件時(shí)效性,達(dá)到事件即時(shí)發(fā)現(xiàn)即時(shí)處理,去除公路安全隱患,本實(shí)例通過調(diào)用應(yīng)用端的API接口進(jìn)行主動(dòng)推送方式事件信息。消息內(nèi)容主要包括事件編號(hào)、事件截圖圖片、事件視頻、事件類型、事件時(shí)間。消息格式為JSON。
通過對(duì)本文的算法思路進(jìn)行設(shè)與實(shí)現(xiàn),以南通路面事件養(yǎng)護(hù)巡查檢測業(yè)務(wù)為案例進(jìn)行研究,算法與公路養(yǎng)護(hù)業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接,實(shí)現(xiàn)算法應(yīng)用與業(yè)務(wù)系統(tǒng)的閉環(huán)。
算法運(yùn)行環(huán)境:I7-8700處理器;32 GB內(nèi)存:512SSD硬盤;GTX2080 8G顯卡;Ubuntu16.04操作系統(tǒng)。
其他模塊運(yùn)行環(huán)境:IntelXeon3106(8核-1.7 GHz)處理器;內(nèi)存配置≥32 GB;配置3塊600 GB10KrpmSAS2.5硬盤;CentOS7操作系統(tǒng)。
本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于視頻識(shí)別路測堆積物檢測方法,該方法實(shí)現(xiàn)了公路路側(cè)堆積物檢測的信息化、智能化,大幅降低人力成本投入、減少經(jīng)濟(jì)成本,提高了事件檢測實(shí)時(shí)性、節(jié)約了巡檢時(shí)間、優(yōu)化了業(yè)務(wù)流程等。本算法可為交通運(yùn)輸部門路面養(yǎng)護(hù)業(yè)務(wù)向非現(xiàn)場化、信息化、智能化方向發(fā)展和完善提供參考,符合《“十三五”交通領(lǐng)域科技創(chuàng)新專項(xiàng)規(guī)劃》中對(duì)路網(wǎng)基礎(chǔ)設(shè)施“交通重大基礎(chǔ)設(shè)施智能聯(lián)網(wǎng)監(jiān)測與預(yù)警”的要求,實(shí)現(xiàn)基于人工智能的交通重大基礎(chǔ)設(shè)施智能化養(yǎng)護(hù),促進(jìn)公路養(yǎng)護(hù)行業(yè)的發(fā)展。