基于目標(biāo)檢測(cè)的北方河道非法采砂智能監(jiān)管應(yīng)用研究

藺志剛，劉瑾程，尤林奇，柳晴曉龍

（黃河勘測(cè)規(guī)劃設(shè)計(jì)研究院有限公司，河南 鄭州 450003）

1 引 言

當(dāng)前河長(zhǎng)制正在由實(shí)踐探索階段向常態(tài)化、規(guī)范化、精細(xì)化的高質(zhì)量發(fā)展方向邁進(jìn)［1］，非法采砂監(jiān)管是全面貫徹實(shí)施河長(zhǎng)制的重難點(diǎn)工作。北方河流多為季節(jié)性河流，年內(nèi)、年際徑流量變化較大，洪水挾帶泥沙進(jìn)入河道。然而，蓄水工程將大部分泥沙攔蓄在庫區(qū)內(nèi)，造成下游河道泥沙補(bǔ)給量減小，非法采砂會(huì)對(duì)河道河勢(shì)穩(wěn)定、防洪安全、生態(tài)環(huán)境造成不可逆的影響［2］，因此推進(jìn)北方河道非法采砂監(jiān)管工作十分必要。北方河道非法采砂多為旱采方式［2］，采砂設(shè)備以長(zhǎng)臂鉤機(jī)、裝載機(jī)和運(yùn)輸車輛為主，采砂點(diǎn)位變動(dòng)性強(qiáng)、采砂行為隱蔽且常出現(xiàn)于夜間，傳統(tǒng)的人工巡檢方式存在取證難、工作效率低等問題，難以進(jìn)行有效監(jiān)管，亟須利用信息化方式強(qiáng)化非法采砂監(jiān)管工作。

目前南方部分地區(qū)采用視頻監(jiān)控［3］、無人機(jī)［4］輔助人工巡檢或使用GPS定位設(shè)備、智能跟蹤算法、圖像識(shí)別算法等對(duì)采砂船進(jìn)行自動(dòng)監(jiān)管［5－6］，針對(duì)河道重點(diǎn)位置開發(fā)自動(dòng)監(jiān)管系統(tǒng)，應(yīng)用效果顯著。近年來，在北方各大流域的骨干行洪河道建設(shè)高點(diǎn)位河湖視頻監(jiān)控設(shè)備，初步實(shí)現(xiàn)了河湖視頻監(jiān)控全覆蓋，但高點(diǎn)位視頻監(jiān)控設(shè)備采用高變倍球形攝像機(jī)，單點(diǎn)覆蓋范圍廣、各監(jiān)控點(diǎn)位的畫面差異大，基于人工設(shè)計(jì)提取器的傳統(tǒng)圖像識(shí)別方法已無法適配高點(diǎn)位視頻監(jiān)控。目標(biāo)檢測(cè)算法主要對(duì)輸入圖像的目標(biāo)物進(jìn)行識(shí)別與定位，與傳統(tǒng)圖像識(shí)別方法相比，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的準(zhǔn)確率、泛化率更高，在水利、交通等行業(yè)應(yīng)用實(shí)例更多、應(yīng)用效果更顯著［7］。湯文華等［5］在南方河道非法采砂監(jiān)管中使用基于深度學(xué)習(xí)的Yolo V3目標(biāo)檢測(cè)算法及智能追蹤技術(shù)對(duì)禁采區(qū)內(nèi)采砂船的疑似采砂行為進(jìn)行自動(dòng)檢測(cè)與識(shí)別，提高了河道非法采砂監(jiān)管效率。黃繼鵬等［8］提出一種面向圖像中覆蓋區(qū)域較小的一類目標(biāo)（小目標(biāo)）的多尺度Faster－RCNN目標(biāo)檢測(cè)算法，提升了對(duì)小目標(biāo)檢測(cè)的精度。陳娜等［3］運(yùn)用面向小目標(biāo)的多尺度Faster－RCNN目標(biāo)檢測(cè)算法，提出基于智能視頻監(jiān)控系統(tǒng)的河湖四亂巡檢技術(shù)方案，提高了河湖四亂監(jiān)管的工作效率。綜上，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在非法采砂監(jiān)管中已有局部應(yīng)用，但因南北方采砂監(jiān)管對(duì)象存在差異，以上技術(shù)無法直接在北方推廣應(yīng)用。

針對(duì)北方河道非法采砂行為特點(diǎn)及監(jiān)管需求，本文開展視頻監(jiān)控自動(dòng)巡檢集成以及基于深度學(xué)習(xí)的非法采砂自動(dòng)識(shí)別技術(shù)研究，實(shí)現(xiàn)對(duì)禁采區(qū)非法采砂行為的自動(dòng)檢測(cè)，輔助水行政執(zhí)法人員進(jìn)行非法采砂監(jiān)管工作。

2 系統(tǒng)設(shè)計(jì)

利用高點(diǎn)位河湖視頻監(jiān)控設(shè)備的回傳畫面建立一套基于目標(biāo)檢測(cè)算法的北方河道非法采砂智能監(jiān)管系統(tǒng)，實(shí)現(xiàn)視頻基礎(chǔ)服務(wù)、圖像資源庫、算法模型管理、非法采砂識(shí)別以及業(yè)務(wù)監(jiān)管功能，系統(tǒng)功能結(jié)構(gòu)見圖1。

圖1 系統(tǒng)功能結(jié)構(gòu)

2.1 軟件設(shè)計(jì)

系統(tǒng)軟件采用前后端分離B／S架構(gòu)，前端為Vue、后端為SpringMVC開發(fā)框架，數(shù)據(jù)庫采用具有空間數(shù)據(jù)存儲(chǔ)管理功能的PostgreSQL數(shù)據(jù)庫，GIS平臺(tái)采用超圖WebGIS平臺(tái)，目標(biāo)檢測(cè)算法采用PaddleDetection開發(fā)框架。系統(tǒng)各功能模塊的具體設(shè)計(jì)如下：

（1）視頻基礎(chǔ)服務(wù)。通過WebAPI開發(fā)方式集成視頻監(jiān)控設(shè)備廠商提供的功能接口，實(shí)現(xiàn)前端視頻監(jiān)控設(shè)備接入、視頻轉(zhuǎn)發(fā)以及圖像切片等基礎(chǔ)功能，通過預(yù)置位巡航實(shí)現(xiàn)視頻監(jiān)控自動(dòng)巡檢功能。

（2）圖像資源庫。樣本數(shù)據(jù)集的數(shù)量與質(zhì)量是影響算法準(zhǔn)確率的關(guān)鍵因素，高點(diǎn)位視頻監(jiān)控設(shè)備的焦變比、云臺(tái)變幅大，同時(shí)受監(jiān)控時(shí)段、氣候的影響，各監(jiān)控點(diǎn)位間畫面差異大。為提高算法準(zhǔn)確率，基于Pad?dleDetection開發(fā)框架創(chuàng)建圖像半自動(dòng)標(biāo)注、圖像數(shù)據(jù)增強(qiáng)、樣本倉(cāng)庫管理以及數(shù)據(jù)分組功能，建立點(diǎn)位關(guān)聯(lián)的圖像資源庫，進(jìn)而實(shí)現(xiàn)算法逐點(diǎn)位的適配優(yōu)化。

（3）算法模型管理。通過把樣本數(shù)據(jù)載入圖像資源庫結(jié)合PaddleDetection開發(fā)框架實(shí)現(xiàn)算法模型的訓(xùn)練、評(píng)估、迭代優(yōu)化、發(fā)布預(yù)測(cè)功能，為非法采砂識(shí)別提供模型預(yù)測(cè)接口。

（4）非法采砂識(shí)別。識(shí)別接口載入自動(dòng)巡檢產(chǎn)生的圖像切片數(shù)據(jù)，調(diào)用模型預(yù)測(cè)接口對(duì)非法采砂特征物（長(zhǎng)臂鉤機(jī)、裝載機(jī)和運(yùn)輸車）進(jìn)行識(shí)別，根據(jù)監(jiān)控設(shè)備狀態(tài)信息（方位角、俯仰角、畫面焦段等）以及安裝信息（安裝高度、經(jīng)緯度等）獲得特征物位置信息，在GIS地圖中對(duì)特征物進(jìn)行定位顯示，同時(shí)通過創(chuàng)建樣本反饋功能為圖像資源的樣本倉(cāng)庫提供增量數(shù)據(jù)。

（5）業(yè)務(wù)監(jiān)管。為水行政執(zhí)法人員提供非法采砂告警核查、告警處置以及業(yè)務(wù)閉環(huán)管理功能。

2.2 硬件及網(wǎng)絡(luò)設(shè)計(jì)

系統(tǒng)硬件由前端視頻監(jiān)控設(shè)備、后端服務(wù)器以及用戶終端組成，其中：前端視頻監(jiān)控設(shè)備通過運(yùn)營(yíng)商專線或4G／5G無線接入后端機(jī)房，用戶使用電腦客戶端（PC端）、移動(dòng)終端等訪問系統(tǒng)；后端服務(wù)器包含應(yīng)用服務(wù)器、流媒體服務(wù)器、接入服務(wù)器以及GPU服務(wù)器等，為系統(tǒng)提供服務(wù)器硬件算力。系統(tǒng)硬件及網(wǎng)絡(luò)結(jié)構(gòu)見圖2。

圖2 硬件及網(wǎng)絡(luò)結(jié)構(gòu)

視頻監(jiān)控設(shè)備的選型應(yīng)充分考慮非法采砂巡檢需求，針對(duì)非法采砂點(diǎn)位變動(dòng)性強(qiáng)、采砂行為隱蔽的情況，應(yīng)選用具有云臺(tái)功能的球形攝像機(jī)；針對(duì)夜間非法采砂頻發(fā)的點(diǎn)位，應(yīng)選用具有熱成像功能的攝像機(jī)，通過熱成像畫面識(shí)別夜間采砂車輛，以保證夜間巡檢效果；對(duì)于利用通信鐵塔資源的高點(diǎn)位攝像機(jī)而言，應(yīng)盡量選擇高變焦比、防抖性能優(yōu)越的攝像機(jī)，以擴(kuò)大單臺(tái)設(shè)備的巡檢覆蓋范圍、減少點(diǎn)位、降低巡檢成本。此外，根據(jù)視頻監(jiān)控設(shè)備數(shù)量、用戶并發(fā)訪問量、非法采砂巡檢頻率以及視頻監(jiān)控畫面的歷史數(shù)據(jù)存儲(chǔ)時(shí)限等確定后端服務(wù)器中各類服務(wù)器的數(shù)量。

3 關(guān)鍵技術(shù)研究與實(shí)現(xiàn)

3.1 視頻監(jiān)控自動(dòng)巡檢

流域管理部門公布的相關(guān)河道采砂管理規(guī)劃對(duì)禁采區(qū)、可采區(qū)和保留區(qū)做出了明確規(guī)定，根據(jù)河道采砂管理規(guī)劃確定非法采砂監(jiān)管時(shí)間及監(jiān)管范圍，在監(jiān)管范圍內(nèi)篩選可用的高點(diǎn)位視頻監(jiān)控。高點(diǎn)位視頻監(jiān)控覆蓋半徑為2 km，巡檢路徑多樣，須提前規(guī)劃巡檢路徑，確保巡檢范圍不遺漏、不重復(fù)。當(dāng)巡檢區(qū)域?yàn)楠M長(zhǎng)形時(shí)巡檢路徑應(yīng)自上游向下游，當(dāng)巡檢區(qū)域?yàn)槊鏍顣r(shí)巡檢路徑應(yīng)由外向內(nèi)逆時(shí)針旋轉(zhuǎn)，直至覆蓋全部待檢區(qū)域［3］。通過監(jiān)控設(shè)備的預(yù)置位巡航功能實(shí)現(xiàn)視頻監(jiān)控自動(dòng)巡檢，預(yù)置位宜選擇在易發(fā)生非法采砂點(diǎn)位、河道與建筑物交叉處或水工建筑物布置處等關(guān)鍵位置，巡檢過程中設(shè)備變焦倍數(shù)以可能出現(xiàn)的目標(biāo)在畫面中所占像素不低于80×80的要求來確定。

北方旱采常采用長(zhǎng)臂鉤機(jī)、裝載機(jī)和運(yùn)輸車三類機(jī)械設(shè)備組合采砂，把三類機(jī)械設(shè)備定義為旱采特征物，單處采砂時(shí)間為2 h以上，把巡檢頻率定義為每2 h檢測(cè)1次，巡檢結(jié)束后回傳巡檢周期內(nèi)的全部圖像畫面，采用目標(biāo)檢測(cè)算法識(shí)別畫面中是否存在旱采特征物，若存在則標(biāo)識(shí)為疑似非法采砂行為。

3.2 半自動(dòng)圖像標(biāo)注機(jī)制與資源庫建立

不同點(diǎn)位的視頻監(jiān)控畫面差異很大，為提高算法準(zhǔn)確率，建立與點(diǎn)位關(guān)聯(lián)的圖像資源庫，通過半自動(dòng)圖像標(biāo)注機(jī)制輔助人工標(biāo)注樣本。以現(xiàn)有的旱采特征物公開數(shù)據(jù)集為基礎(chǔ)，使用LabelImg標(biāo)注樣本數(shù)據(jù)，匯總形成預(yù)訓(xùn)練集，經(jīng)面向小目標(biāo)的多尺度Faster－RCNN目標(biāo)檢測(cè)算法［8］訓(xùn)練后形成預(yù)訓(xùn)練模型，使用該模型預(yù)測(cè)視頻監(jiān)控畫面，獲得初步預(yù)測(cè)結(jié)果，隨后人工對(duì)預(yù)測(cè)結(jié)果進(jìn)行調(diào)整，實(shí)現(xiàn)半自動(dòng)標(biāo)注并將樣本存儲(chǔ)至資源庫中，由資源庫統(tǒng)一管理非法采砂樣本資源。在半自動(dòng)圖像標(biāo)注機(jī)制的輔助下，樣本會(huì)隨著系統(tǒng)運(yùn)行不斷積累，算法訓(xùn)練集的數(shù)量不斷增加、質(zhì)量不斷提高，進(jìn)而提高算法的準(zhǔn)確率。

3.3 基于Faster－RCNN目標(biāo)檢測(cè)算法的非法采砂識(shí)別技術(shù)

利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法對(duì)監(jiān)控畫面中旱采特征物進(jìn)行識(shí)別定位，高點(diǎn)位視頻監(jiān)控設(shè)備安裝高度通常為30 m，監(jiān)控畫面范圍大，而待檢測(cè)目標(biāo)通常為小目標(biāo)，因此引入面向小目標(biāo)的多尺度Faster－RCNN目標(biāo)檢測(cè)算法，此算法高度契合非法采砂巡檢需求，算法結(jié)構(gòu)見圖3。

圖3 面向小目標(biāo)的多尺度Faster－RCNN目標(biāo)檢測(cè)算法結(jié)構(gòu)

以待檢測(cè)目標(biāo)長(zhǎng)臂鉤機(jī)為例，簡(jiǎn)述算法實(shí)施情況。預(yù)訓(xùn)練模型中采用經(jīng)ImageNet預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)提取圖像特征，設(shè)置長(zhǎng)臂鉤機(jī)候選框長(zhǎng)寬比分別為0.6、1.0、1.2，其余參數(shù)設(shè)置與文獻(xiàn)［8］保持一致，提取訓(xùn)練樣本中的圖像特征進(jìn)行訓(xùn)練。

Faster－RCNN目標(biāo)檢測(cè)算法采用多任務(wù)損失函數(shù)訓(xùn)練檢測(cè)網(wǎng)絡(luò)：

式中：L為多任務(wù)損失函數(shù)；ti為預(yù)測(cè)區(qū)域包圍盒的參數(shù)化坐標(biāo)；pi為候選框命中目標(biāo)的概率為選取的候選框目標(biāo)對(duì)應(yīng)樣本的所屬標(biāo)簽，當(dāng)候選框中的目標(biāo)為正樣本時(shí)取1，當(dāng)候選框中的目標(biāo)為負(fù)樣本時(shí)取0；為真實(shí)區(qū)域包圍盒的參數(shù)化坐標(biāo)；λ為權(quán)重函數(shù)；i為小批量候選框的索引；Ncls、Nreg為歸一化參數(shù)；Lcls為分類損失函數(shù)；Lreg為位置損失函數(shù)；R為魯棒性損失函數(shù)；x為候選框中心橫坐標(biāo)。

使用準(zhǔn)確率Precision和召回率Recall對(duì)訓(xùn)練后的模型進(jìn)行評(píng)估，計(jì)算公式如下：

式中：Tp為正確檢測(cè)到目標(biāo)的數(shù)量；Fp為檢測(cè)目標(biāo)有誤的數(shù)量；Fn為未檢測(cè)到目標(biāo)的數(shù)量。

3.4 非法采砂監(jiān)管

采用目標(biāo)檢測(cè)算法檢測(cè)到視頻畫面中存在旱采特征物時(shí)，系統(tǒng)自動(dòng)截取圖片和視頻片段，根據(jù)此刻監(jiān)控設(shè)備狀態(tài)信息和安裝信息獲得旱采特征物的定位信息，固定疑似非法采砂證據(jù)。通過GIS空間分析技術(shù)判斷旱采特征物與禁采區(qū)的位置關(guān)系，當(dāng)旱采特征物位置在禁采區(qū)內(nèi)時(shí)系統(tǒng)自動(dòng)觸發(fā)非法采砂告警行為，人工核查確認(rèn)非法采砂行為屬實(shí)后，向水行政執(zhí)法人員推送告警信息及證據(jù)，水行政執(zhí)法人員完成非法采砂閉環(huán)處置工作，人工核查確認(rèn)的結(jié)果也會(huì)作為算法的樣本數(shù)據(jù)反饋存儲(chǔ)至系統(tǒng)圖像資源庫中。非法采砂監(jiān)管業(yè)務(wù)流程見圖4。

圖4 非法采砂監(jiān)管業(yè)務(wù)流程

4 應(yīng)用案例

以北方遷安市非法采砂監(jiān)管為例，對(duì)河道非法采砂智能監(jiān)管系統(tǒng)應(yīng)用情況進(jìn)行分析。目前該市已建立覆蓋全域重點(diǎn)河流的高點(diǎn)位河湖視頻監(jiān)控設(shè)備，在該市西北界河附近常年流竄著多個(gè)非法采砂團(tuán)伙，盜采行為對(duì)河道河勢(shì)穩(wěn)定、防洪安全及生態(tài)環(huán)境造成了嚴(yán)重影響。

4.1 系統(tǒng)應(yīng)用情況

結(jié)合非法采砂巡檢需求、已建視頻監(jiān)控的分布情況及可視情況，對(duì)于盜采現(xiàn)象最嚴(yán)重區(qū)域，系統(tǒng)接入31臺(tái)前端視頻監(jiān)控設(shè)備，輔助人工進(jìn)行河道管理面積為57 km2的非法采砂巡檢工作。系統(tǒng)后端服務(wù)器集中部署于市政務(wù)云，使用5臺(tái)虛擬服務(wù)器，硬件資源共94個(gè)CPU核心，內(nèi)存為320 GB，存儲(chǔ)空間為2 T，NVIDIA T4 GPU計(jì)算卡2張，服務(wù)器操作系統(tǒng)為Centos7.6操作系統(tǒng)，視頻監(jiān)控基礎(chǔ)平臺(tái)為?？礗nfovision NREE－iWR 3.0，用戶通過運(yùn)營(yíng)商專線和互聯(lián)網(wǎng)訪問系統(tǒng)，系統(tǒng)運(yùn)行條件滿足等保2.0三級(jí)要求。

4.2 算法識(shí)別情況

算法所需的樣本集由兩部分組成：一部分是圖像資源庫中存儲(chǔ)的視頻監(jiān)控回傳樣本圖像（見圖5（a）），共837張；另一部分取自旱采特征物相關(guān)的ImageNet公開數(shù)據(jù)集（見圖5（b）），共600張。使用LabelImg工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，以Pascal VOC2007格式將標(biāo)注信息存儲(chǔ)到xml文件中。使用平移、增加噪聲、鏡像等圖像處理方法擴(kuò)充樣本集，最終將樣本擴(kuò)充到2 600個(gè)，其中有2 400個(gè) 訓(xùn) 練 樣 本，200個(gè) 測(cè) 試 樣 本。使 用PaddleDetection開發(fā)框架對(duì)算法進(jìn)行訓(xùn)練、評(píng)估、部署，訓(xùn)練迭代輪數(shù)（Epoch）、學(xué)習(xí)率（Learning Rate）、批大?。˙atch Size）分別設(shè)置為22、0.002 5、5。

圖5 算法樣本集

在當(dāng)前訓(xùn)練樣本情況下目標(biāo)檢測(cè)算法對(duì)測(cè)試樣本中旱采特征物的綜合檢測(cè)精度為61.5%。系統(tǒng)上線運(yùn)行后目標(biāo)正樣本持續(xù)積累，訓(xùn)練樣本數(shù)量增加，檢測(cè)精度持續(xù)提高。圖6為在河道管理范圍內(nèi)白天、夜間識(shí)別到的非法取土、采砂行為。

圖6 非法采砂識(shí)別算法效果

4.3 算法應(yīng)用情況

根據(jù)非法采砂巡檢規(guī)則，每2 h對(duì)禁采區(qū)執(zhí)行1次巡檢，識(shí)別巡檢路徑上的旱采特征物，并將疑似非法采砂行為推送人工核查，確認(rèn)非法采砂行為屬實(shí)后觸發(fā)非法采砂處置流程。截至目前，系統(tǒng)已檢測(cè)到非法采砂行為20余次，水行政執(zhí)法人員發(fā)起非法采砂處置流程并處理相關(guān)問題10余次，與人工巡河相比，該系統(tǒng)擴(kuò)大了巡檢范圍、增加了巡檢頻次、提高了巡檢工作效率。系統(tǒng)檢測(cè)到非法采砂行為后的告警頁面見圖7。

圖7 非法采砂行為告警頁面

5 結(jié)論與建議

本文針對(duì)北方河道非法采砂行為特點(diǎn)及監(jiān)管需求，開展了視頻監(jiān)控自動(dòng)巡檢集成和非法采砂自動(dòng)識(shí)別技術(shù)研究，研發(fā)了基于目標(biāo)檢測(cè)算法的北方河道非法采砂智能監(jiān)管系統(tǒng)。以北方遷安市試點(diǎn)應(yīng)用情況為例，驗(yàn)證了該系統(tǒng)的有效性，實(shí)現(xiàn)了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在北方非法采砂監(jiān)管中的應(yīng)用。與人工巡河相比，本文技術(shù)方案在巡檢范圍、巡檢頻次等方面均有明顯提升，但仍存在以下不足：當(dāng)告警現(xiàn)場(chǎng)環(huán)境發(fā)生較大變化時(shí)，若業(yè)務(wù)人員對(duì)上次告警現(xiàn)象處置不及時(shí)，系統(tǒng)可能將其識(shí)別為一項(xiàng)新的告警，存在重復(fù)告警現(xiàn)象。在后續(xù)工作中，將對(duì)該問題進(jìn)行優(yōu)化處理，并及時(shí)督促業(yè)務(wù)人員處理告警現(xiàn)象，避免重復(fù)告警現(xiàn)象出現(xiàn)。