水利視頻智能分析算法研究與應(yīng)用

王海華，王紅艷

（寧波弘泰水利信息科技有限公司，浙江 寧波 315000）

0 引言

為貫徹落實(shí)水利部“工程補(bǔ)短板、行業(yè)強(qiáng)監(jiān)管”水利改革發(fā)展總基調(diào)以及新時(shí)期治水理念新要求，寧波市水利局以水利現(xiàn)代化建設(shè)需求為引領(lǐng)，開(kāi)展智慧水利建設(shè)，并列入全國(guó)智慧水利先行先試地區(qū)[1-2]。

過(guò)去，我國(guó)水利行業(yè)建設(shè)的視頻監(jiān)控系統(tǒng)基本是由人員值守查看監(jiān)控畫(huà)面，由人員根據(jù)視頻內(nèi)容進(jìn)行判斷，并對(duì)異常行為進(jìn)行分析和處理，傳統(tǒng)的人員監(jiān)控方式面向大量視頻實(shí)時(shí)監(jiān)控的需求是有局限的。近幾年，隨著人工智能技術(shù)的快速發(fā)展，人臉識(shí)別、車(chē)牌識(shí)別、視頻結(jié)構(gòu)化等技術(shù)在視頻監(jiān)控領(lǐng)域得到了廣泛應(yīng)用，但是常見(jiàn)的視頻分析算法無(wú)法滿(mǎn)足水利工程管理的需求。因此，為了更好地滿(mǎn)足日益增長(zhǎng)的水利視頻智能化監(jiān)控需求，亟需研發(fā)一套適用于水利行業(yè)的水利智能視頻分析服務(wù)系統(tǒng)，將已建水利視頻監(jiān)控系統(tǒng)、視頻資源與業(yè)務(wù)應(yīng)用充分耦合。

日常巡河工作作為發(fā)現(xiàn)河湖問(wèn)題的重要方式之一，具有不可替代的作用，但人工巡河存在無(wú)法全時(shí)段覆蓋、人工費(fèi)時(shí)費(fèi)力、效率較低等難題，導(dǎo)致視頻信息無(wú)法真正發(fā)揮使用價(jià)值，需要利用高新技術(shù)手段，通過(guò)智能視頻巡河的方式，以機(jī)器換人力，輔助解決巡河難題[3-5]。

依托智慧水利建設(shè)，為提高河湖管理效率，深化水利強(qiáng)監(jiān)管，提高問(wèn)題發(fā)現(xiàn)與處置能力，開(kāi)展水利智能視頻分析研究與應(yīng)用。選取寧波市甬新河為試點(diǎn)河道，基于河道沿線視頻監(jiān)控?cái)?shù)據(jù)，獲取試點(diǎn)河道狀態(tài)變化信息，研究視頻智能分析算法、構(gòu)建視頻智能分析服務(wù)、打造智能巡河應(yīng)用場(chǎng)景，為業(yè)務(wù)平臺(tái)提供“河道日常巡查與保潔”“違規(guī)涉水活動(dòng)取證”“違規(guī)闖入取證”“違規(guī)排水取證”等應(yīng)用場(chǎng)景，充分發(fā)揮水利視頻監(jiān)控系統(tǒng)應(yīng)用價(jià)值，實(shí)現(xiàn)智能化監(jiān)控，從而提高河湖監(jiān)管履職效率及智能化水平。

1 總體框架

水利智能視頻分析服務(wù)系統(tǒng)通過(guò)對(duì)視頻進(jìn)行智能分析，發(fā)現(xiàn)并保存影響安全的視頻或數(shù)據(jù)，及時(shí)預(yù)警，從而在一定程度上節(jié)約人力資源，逐步實(shí)現(xiàn)水利自動(dòng)化和智能化。

水利智能視頻分析服務(wù)系統(tǒng)總體框架見(jiàn)圖1：

圖1 水利智能視頻分析服務(wù)系統(tǒng)總體框架

（1）視頻數(shù)據(jù)層

將已有視頻監(jiān)控系統(tǒng)中所產(chǎn)生的數(shù)據(jù)收集、整編，其中主要包括歷史視頻圖像數(shù)據(jù)、實(shí)時(shí)視頻圖像數(shù)據(jù)、智能行為信息數(shù)據(jù)、船只信息數(shù)據(jù)、漂浮物信息數(shù)據(jù)、統(tǒng)計(jì)分析數(shù)據(jù)、視頻分析服務(wù)數(shù)據(jù)、預(yù)警規(guī)則數(shù)據(jù)、視頻分析發(fā)布數(shù)據(jù)、視頻分析共享數(shù)據(jù)、報(bào)警數(shù)據(jù)以及其他基礎(chǔ)數(shù)據(jù)等，將作為智能視頻分析服務(wù)平臺(tái)的數(shù)據(jù)基礎(chǔ)支撐和數(shù)據(jù)基本來(lái)源。

（2）數(shù)據(jù)服務(wù)層

視頻基礎(chǔ)服務(wù)主要包含了視頻基礎(chǔ)處理分析的服務(wù)，這些服務(wù)是從所有具體的應(yīng)用中抽象出來(lái)的，服務(wù)粒度較小，通用性較強(qiáng)，非常適合通過(guò)組合與裝配形成某個(gè)應(yīng)用服務(wù)層的服務(wù)，這些服務(wù)同時(shí)也可以直接由某個(gè)應(yīng)用進(jìn)行調(diào)用，完成其所需要的某項(xiàng)功能。

水利智能分析服務(wù)主要包含了與水利業(yè)務(wù)應(yīng)用緊密相關(guān)的各類(lèi)服務(wù)，這些服務(wù)可以由各類(lèi)上層應(yīng)用直接使用，服務(wù)的功能粒度較大，上層應(yīng)用可以對(duì)這些服務(wù)做簡(jiǎn)單的組合來(lái)滿(mǎn)足自身的需求。

（3）服務(wù)管理層

建設(shè)統(tǒng)一的智能視頻分析服務(wù)平臺(tái)，統(tǒng)一管理各類(lèi)分析服務(wù)，開(kāi)放各類(lèi)分析服務(wù)的接口，提供具有水利視頻特色的服務(wù)接口，能夠使用戶(hù)靈活地依據(jù)水利行業(yè)需求編排服務(wù)，很好的監(jiān)視、控制服務(wù)的運(yùn)行狀態(tài)和質(zhì)量。

2 智能視頻分析算法

2.1 智能算法框架

智能算法框架見(jiàn)圖2：

圖2 智能算法框架

智能算法框架分為三層：

（1）基礎(chǔ)框架設(shè)施層

基礎(chǔ)框架提供遠(yuǎn)程服務(wù)、智能算法構(gòu)建/運(yùn)營(yíng)、智能算法調(diào)度等功能，為從數(shù)據(jù)標(biāo)注、算法開(kāi)發(fā)、算法部署、遠(yuǎn)程服務(wù)搭建、算法調(diào)度、以及到算法運(yùn)維等一系列符復(fù)雜、高難度的流程，提供了完整、穩(wěn)定、便捷的基礎(chǔ)框架。

（2）智能算法層

基于前沿的視覺(jué)深度學(xué)習(xí)，構(gòu)造像素級(jí)場(chǎng)景分割、目標(biāo)檢測(cè)、目標(biāo)識(shí)別智能算法，針對(duì)各個(gè)應(yīng)用場(chǎng)景，組合成復(fù)雜、高效、穩(wěn)定的業(yè)務(wù)邏輯，支撐應(yīng)用層的功能實(shí)現(xiàn)。

像素級(jí)場(chǎng)景分割：快速檢測(cè)定位特定區(qū)域，例如水體。

目標(biāo)檢測(cè)定位：定位特定目標(biāo)對(duì)象（例如垃圾、行人）。

目標(biāo)識(shí)別：識(shí)別物體的屬性與活動(dòng)。

視覺(jué)智能深度學(xué)習(xí)：各項(xiàng)算法的基礎(chǔ)架構(gòu)，設(shè)計(jì)靈活、性能穩(wěn)定、預(yù)測(cè)準(zhǔn)確。

（3）應(yīng)用層

采用高效、低成本的遠(yuǎn)程調(diào)用方式，提供少量場(chǎng)景參數(shù)，自適應(yīng)調(diào)用智能算法，實(shí)現(xiàn)各項(xiàng)智能應(yīng)用。

水上漂浮物檢測(cè)：檢測(cè)水上垃圾、水上丟棄物品，發(fā)出警報(bào)。

非法水上活動(dòng)檢測(cè)：檢測(cè)游泳、釣魚(yú)等危險(xiǎn)非法水上活動(dòng)，及時(shí)發(fā)出警報(bào)。

排污口檢測(cè)：檢測(cè)排污口是否有水排出，發(fā)出警報(bào)提醒工作人員及時(shí)響應(yīng)處理。

周界入侵檢測(cè)：自定義周界，檢測(cè)行人進(jìn)入禁止區(qū)域、危險(xiǎn)區(qū)域，及時(shí)警報(bào)/提醒。

2.2 算法構(gòu)建

2.2.1 多層級(jí)分辨率像素級(jí)水體分割算法

水利智能視頻分析服務(wù)算法涉及廣泛的水體上目標(biāo)檢測(cè)，需要精確的像素級(jí)水體分割算法，使得能在多種復(fù)雜場(chǎng)景下的水體精確分割。像素級(jí)水體分割算法在各種層級(jí)分辨（4層級(jí)分辨率）下分析分割的信息，同時(shí)獲取豐富的像素和區(qū)域信息，同時(shí)采用多分辨率信息匯集模塊，交換各個(gè)層級(jí)分辨率的信息分析路徑下分析信息，大大地增強(qiáng)不同路徑下的像素和區(qū)域信息表達(dá)，達(dá)到精確的像素分割，多層級(jí)分辨率像素級(jí)分割智能算法單元見(jiàn)圖3。

圖3 多層級(jí)分辨率像素級(jí)分割智能算法單元

另一方面，通過(guò)76層的深層網(wǎng)絡(luò)結(jié)構(gòu)（見(jiàn)圖4），提取更豐富的分割信息，完成精確的水體像素分割，有效用于漂浮物檢測(cè)、非法水上活動(dòng)檢測(cè)[6]。

圖4 4層級(jí)76層像素級(jí)水體分割深度模型

2.2.2 二級(jí)精細(xì)定位的少樣本目標(biāo)檢測(cè)算法

漂浮物檢測(cè)、排污口排水檢測(cè)和非法水上活動(dòng)檢測(cè)涉及到精細(xì)的目標(biāo)檢測(cè)算法（遠(yuǎn)距離下目標(biāo)有可能較?。掖嬖跇颖旧俚奶攸c(diǎn)。根據(jù)這些特點(diǎn)，設(shè)計(jì)二級(jí)逐步精細(xì)的定位檢測(cè)深度模型結(jié)構(gòu)，適應(yīng)少樣本下的更精確的目標(biāo)檢測(cè)。

（1）第一級(jí)深度模型結(jié)構(gòu)，采用50層的深層主干深度模型結(jié)構(gòu)提取圖像特征（見(jiàn)圖5），并通過(guò)逐層上采樣模塊構(gòu)造多尺度特征，每個(gè)尺度特征負(fù)責(zé)不同尺度的檢測(cè)目標(biāo)，高分辨（大尺度）的特征檢測(cè)小的目標(biāo)，低分辨（小尺度）的特征檢測(cè)大的目標(biāo)。不同的檢測(cè)目標(biāo)通過(guò)第一級(jí)深度模型結(jié)構(gòu)，粗略估計(jì)目標(biāo)區(qū)域。

圖5 50層第一級(jí)4尺度的目標(biāo)粗略定位檢測(cè)的深度模型

（2）第二級(jí)深度模型結(jié)構(gòu)根據(jù)第一級(jí)結(jié)構(gòu)估計(jì)粗略目標(biāo)區(qū)域，在該區(qū)域上進(jìn)一步提取目標(biāo)特征，通過(guò)5層線性回歸層的深度模型（見(jiàn)圖6），進(jìn)行精細(xì)的目標(biāo)區(qū)域估計(jì)和置信度估計(jì)。另一方面，正樣本較少的情況下，通過(guò)增加大量負(fù)樣本來(lái)優(yōu)化第二級(jí)深度模型，優(yōu)化少樣本下的檢測(cè)精度。

圖6 5層線性回歸層的深度模型

2.2.3 大數(shù)據(jù)驅(qū)動(dòng)難/易樣本自適應(yīng)人體檢測(cè)算法

水利視頻監(jiān)控系統(tǒng)的前端監(jiān)控點(diǎn)分布在各種場(chǎng)景下，存在很多復(fù)雜的因素影響檢測(cè)，例如攝像頭的角度、高度、距離、復(fù)雜的背景（各種植物、車(chē)輛、水體等背景）等等因素。因此采用以下兩方面進(jìn)行解決：

（1）海量的人體標(biāo)注數(shù)據(jù)。

（2）自適應(yīng)的難易樣本檢測(cè)算法。

自適應(yīng)的難易樣本檢測(cè)算法的核心在于難易樣本決策模塊（見(jiàn)圖7），通過(guò)難易樣本決策模塊的決策，把復(fù)雜因素下的圖像經(jīng)過(guò)超深層的檢測(cè)網(wǎng)絡(luò)，從而保證在復(fù)雜因素下的樣本檢測(cè)精度。另一方面，通過(guò)海量的人體圖像數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，共50萬(wàn)圖像數(shù)據(jù)，包括夜間、白天、街道、人行道、交通等多種場(chǎng)景下圖像數(shù)據(jù)，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練方式，使得自適應(yīng)人體檢測(cè)深度模型在各種場(chǎng)景下具有更高的檢測(cè)精度。

圖7 難易樣本決策模塊

3 智能巡河場(chǎng)景應(yīng)用

選取了寧波市甬新河（甬新閘-紫誠(chéng)路，8.6km）為試點(diǎn)河段，依托智能視頻分析算法，通過(guò)甬新河前端3個(gè)鐵塔高位視頻監(jiān)控點(diǎn)和16個(gè)低位視頻監(jiān)控點(diǎn)，獲知試點(diǎn)河道狀態(tài)變化等信息，實(shí)現(xiàn)視頻智能分析技術(shù)在水利管理多個(gè)場(chǎng)景中的應(yīng)用。

3.1 “河道日常巡查與保潔”場(chǎng)景

以現(xiàn)有及新建的視頻監(jiān)控系統(tǒng)為基礎(chǔ)，建立視頻監(jiān)控點(diǎn)間的空間拓?fù)潢P(guān)系，基于物體識(shí)別服務(wù)，監(jiān)測(cè)水面、水岸是否有不明物體，如垃圾、水面漂浮物、違章建筑等[7-9]，具有自動(dòng)巡河與任務(wù)巡河兩種模式，有助于城市河道、河岸垃圾的發(fā)現(xiàn)與清理。

智能巡河系統(tǒng)界面圖見(jiàn)圖8，沿河攝像頭按照固定角度拍攝固定區(qū)域，全天候24小時(shí)對(duì)區(qū)域進(jìn)行監(jiān)管，對(duì)于發(fā)現(xiàn)的漂浮物進(jìn)行記錄并生成事件記錄，包括發(fā)現(xiàn)時(shí)間、目標(biāo)切片、攝像頭坐標(biāo)及位置等內(nèi)容。

圖8 智能巡河系統(tǒng)界面圖

3.2 “違規(guī)行為取證”場(chǎng)景

智能識(shí)別、抓取、記錄河道、河岸存在的違規(guī)釣魚(yú)、游泳、闖入管理保護(hù)范圍等違規(guī)行為，對(duì)各類(lèi)行為自動(dòng)歸類(lèi)存檔并截取違規(guī)圖片存入執(zhí)法監(jiān)管證據(jù)庫(kù)，為水政執(zhí)法提供證據(jù)。

（1）違規(guī)涉水活動(dòng)設(shè)置

違規(guī)行為庫(kù)里預(yù)先采集、存儲(chǔ)游泳、釣魚(yú)等行為，根據(jù)河段不同的管理方式，用戶(hù)可以自行設(shè)置監(jiān)管的行為類(lèi)型與重點(diǎn)監(jiān)管行為。

（2）周界設(shè)置

系統(tǒng)提供周界入侵智能巡河設(shè)備監(jiān)管范圍圖，用戶(hù)可以設(shè)置監(jiān)管紅線與區(qū)域，當(dāng)非法人員、車(chē)輛、船只闖入禁區(qū)時(shí)，系統(tǒng)將采集記錄違規(guī)行為。

（3）違規(guī)涉水活動(dòng)事件

違規(guī)闖入取證應(yīng)用界面圖見(jiàn)圖9，以列表形式展示發(fā)現(xiàn)的違規(guī)涉水活動(dòng)事件，事件詳情包括事件類(lèi)型、是否為重要事件、事件發(fā)現(xiàn)時(shí)間、事件圖片與視頻等內(nèi)容。

圖9 違規(guī)闖入取證應(yīng)用界面圖

2020年9月12日15:13分，智能巡河系統(tǒng)于自動(dòng)巡河過(guò)程中，在興寧東路橋識(shí)別到有市民違規(guī)闖入河岸并釣魚(yú)，系統(tǒng)預(yù)警后告知操作人員進(jìn)行備案確認(rèn)，備案確認(rèn)后將此項(xiàng)涉水活動(dòng)事件推送給河長(zhǎng)制系統(tǒng)，事件交辦至河長(zhǎng)，由河長(zhǎng)進(jìn)行現(xiàn)場(chǎng)確認(rèn)并處置，處置結(jié)果經(jīng)河長(zhǎng)制系統(tǒng)流轉(zhuǎn)完成后將處置結(jié)果同步至智能巡河系統(tǒng)，水利局管理用戶(hù)通過(guò)智能巡河系統(tǒng)能夠查看處置流程與處置信息。

3.3 “違規(guī)排水監(jiān)管”場(chǎng)景

基于排水識(shí)別、水體顏色識(shí)別等服務(wù)，實(shí)現(xiàn)對(duì)沿岸雨排口晴天排水、雨天排污，水下排口偷排等現(xiàn)象進(jìn)行統(tǒng)一監(jiān)視預(yù)警，違規(guī)排水識(shí)別檢測(cè)流程與示例見(jiàn)圖10。

圖10 違規(guī)排水識(shí)別檢測(cè)流程與示例

4 結(jié)語(yǔ)

視頻圖像數(shù)據(jù)是城市物聯(lián)感知中體量最大的一類(lèi)數(shù)據(jù)，水利視頻智能分析算法研究與應(yīng)用實(shí)現(xiàn)了人工智能技術(shù)在水利業(yè)務(wù)場(chǎng)景的應(yīng)用，為水利行業(yè)業(yè)務(wù)管理部門(mén)提供了技術(shù)依據(jù)和經(jīng)驗(yàn)參考。依托智能視頻分析算法與服務(wù)，獲知河道狀態(tài)變化信息，以機(jī)器換人力，實(shí)現(xiàn)河道智能巡查，提高河道管理智能化水平，日后通過(guò)進(jìn)一步推廣應(yīng)用，可有利于促進(jìn)水利管理部門(mén)在水資源保護(hù)、河湖水域岸線管理保護(hù)、水污染防治、水環(huán)境治理等重要領(lǐng)域的管理發(fā)展進(jìn)步?！?/p>