引江濟淮工程高低聯(lián)動智能視頻感知技術研究

劉玉敏 呂朋 王岳飛 獻宏 邵鵬

摘要：引江濟淮工程中原有的低點監(jiān)控視野范圍窄、抗干擾能力差、缺乏智能化功能，已無法滿足智慧水利建設的要求。利用通信高塔作為掛載點，在引江濟淮工程的關鍵標段植入高點智能化監(jiān)控設備，從而構建出高低聯(lián)動智能視頻感知體系。其中利用人工智能技術，建立AI模型訓練平臺，實現(xiàn)了包含區(qū)域入侵偵測、水面漂浮物檢測在內的多項視頻偵測、檢測功能。應用實踐表明，在多種智能算法的賦能加持下，高低聯(lián)動智能視頻感知體系顯著提高了報警準確率和智能識別距離，為數(shù)字引江濟淮的建設提供了有效助力。

關鍵詞：智慧水利； 視頻監(jiān)控； 高低聯(lián)動； 模型算法； 引江濟淮

中圖法分類號： F426.91

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2024.04.034

0引 言

為落實國家“十四五”規(guī)劃綱要，加快推進智慧水利的建設，水利部在2021年印發(fā)的《關于大力推進智慧水利建設的指導意見》中提出以構建數(shù)字孿生流域為核心，全面推進算據(jù)、算法、算力建設，加快構建具有“四預”功能的智慧水利體系［1-4］。其中，為了提升水利工程的智能化安防水平，實現(xiàn)對水利工程的全方位實時巡查，視頻監(jiān)控在智慧水利的建設中得到了廣泛應用［5-7］。

引江濟淮各建管處和相關部門開展建設視頻監(jiān)控系統(tǒng)，已有上百個點位的視頻監(jiān)控投入使用，但是目前監(jiān)控桿的高度較低，視野覆蓋范圍面積較小，抗干擾能力差，容易被人為遮擋或破壞［8-9］。同時，當前的監(jiān)控點受限于前端設備的圖像采集能力，無法對事件進行全面辨識；缺乏智能化分析功能，無法第一時間對發(fā)生的事件進行預警，基本只能在事后處理的時候進行錄像調取，不能做到事前預防，從而弱化了監(jiān)管的意義，無法滿足現(xiàn)階段的智能化監(jiān)管需求。

為了解決上述問題，智能化高點視頻的建設成為優(yōu)化監(jiān)控手段中最可靠的方法之一［10-11］。然而，水利工程大多分布在野外，受地形、植被、電力和網絡接入影響，缺乏高點視頻的建設指導經驗。本次研究在引江濟淮工程引入高點監(jiān)控，與現(xiàn)有的低點監(jiān)控形成高低聯(lián)動智能視頻感知體系。高低點監(jiān)控在重要區(qū)域監(jiān)管中各具優(yōu)勢、互相補充，采用以低點為主、高點為輔的高低點結合部署方式，實現(xiàn)高點看全局、低點盯細節(jié)，達到有效減少重要區(qū)域監(jiān)控盲區(qū)的目的。同時搭建視頻智能分析系統(tǒng)，為視頻監(jiān)控系統(tǒng)賦能，實現(xiàn)智能化的監(jiān)控預警巡查。本次研究主要對高點監(jiān)控的選址、配置、監(jiān)控效率和成本控制進行探索性研究；此外，從報警準確率和識別距離兩方面對高低點視頻的聯(lián)動效應進行分析。

1高低聯(lián)動智能視頻感知體系建立

在引江濟淮沿線水庫大壩等大范圍場景監(jiān)控下，普通低點設備的監(jiān)控畫面范圍較小，無法覆蓋全景。高點視頻監(jiān)控是指在幾十米高度的掛載點處布設可以覆蓋1 km以上視野范圍的高點視頻監(jiān)控，結合圖像智能分析功能，實現(xiàn)大范圍的精確監(jiān)控和目標捕捉感知體系。同時充分利用原有的低點視頻監(jiān)控覆蓋高點視野盲區(qū)，形成高高聯(lián)動、高低聯(lián)動的監(jiān)控策略，再搭配基于GIS的視頻監(jiān)控平臺提升展現(xiàn)效果，實現(xiàn)視頻監(jiān)控直觀、可視化的呈現(xiàn)，從而有效提升水庫大壩監(jiān)控的管理和使用效率，幫助用戶快速、實時了解現(xiàn)場運行情況。

1.1低點監(jiān)控選擇

選擇將引水閘、泵站和船閘等重要水利樞紐處已建設的70個低點監(jiān)控接入視頻智能分析系統(tǒng)，實現(xiàn)互聯(lián)互通，并在地圖上進行集中展示，如圖1所示。

1.2高點監(jiān)控建設

引江濟淮工程高點監(jiān)控均為新建，視頻監(jiān)控點的布局和選址成為首先要考慮的問題。以低點監(jiān)控的選址原則為參考，結合水利部門的管理需求，確立新建高點監(jiān)控系統(tǒng)選址原則如下：

（1） 選擇建設體量大，關注度高的重大樞紐工程作為監(jiān)控點；

（2） 依據(jù)引江濟淮集團公司度汛方案中的劃分標準，選擇涉及大江大河及嚴重影響周邊社會防汛級別為A級的標段作為監(jiān)控點；

（3） 選擇在原低點監(jiān)控管理運行中頻發(fā)故障的重要標段作為監(jiān)控點；

（4） 從《數(shù)字引江濟淮頂層規(guī)劃設計報告》中一期高點監(jiān)控方案設計中規(guī)劃的90個鐵塔高點掛載中選取，確保后期可實現(xiàn)平臺融合，統(tǒng)一化管理、統(tǒng)一調度、統(tǒng)一運營，保證資源復用，確保永臨結合，避免重復建設。

綜合上述原則，結合引江濟淮工程特點，選擇樅陽引江樞紐、西淝河北站、柯坦河 C004 標段、繁華大道橋、蜀山泵站樞紐、淠河渡槽工程等10個監(jiān)控區(qū)域。參照DEM算法公式［12-13］，選取以引江濟淮重點監(jiān)控的目標樞紐3.5 km視頻監(jiān)控范圍為半徑的區(qū)域，其中距離目標樞紐和河道較近，塔身高度超過30 m，且沒有遮擋的塔址資源作為優(yōu)質監(jiān)控點位站址。高點監(jiān)控最終確定站點位置如圖2和表1所示。

2視頻智能分析系統(tǒng)設計

2.1系統(tǒng)架構搭建

在保證智能化預警準確性和監(jiān)控清晰度的前提下，結合引江濟淮工程的網絡傳輸與存儲成本，選擇200萬像素重載激光云臺作為新建的高點監(jiān)控設施。云臺攝像機白天有效可視覆蓋半徑在5 km以上，夜間補光距離在2.8 km以上，滿足監(jiān)控場景的配置需求。視頻智能分析系統(tǒng)的架構如圖3所示。云臺與現(xiàn)有低點監(jiān)控聯(lián)動負責前端的視頻采集，視頻數(shù)據(jù)通過專線接入云端網絡，移動端和視頻平臺可從云端中任意調取視頻數(shù)據(jù)，算法的配置和訓練在后端AI服務器上實現(xiàn)，視頻平臺通過與AI服務器的交互實現(xiàn)對算法的展示與編排。

2.2系統(tǒng)功能設計

高低聯(lián)動的視頻智能分析系統(tǒng)支持將前端設備或業(yè)務系統(tǒng)采集的多維信息（如工情、墑情、溫濕度、雨量、風速、蒸發(fā)量等）進行匯聚和標簽化展示，支持高低點視頻調取、視頻聯(lián)動分析、數(shù)據(jù)可視化展示、電子地圖等功能。核心功能包括：

（1） 高高聯(lián)動。支持在監(jiān)控場景中內置邊界信息，調取某點監(jiān)控時可自動提取相鄰的監(jiān)控點信息?？赏ㄟ^標簽上的按鈕功能一鍵切換到另一個高點場景；可以通過高點監(jiān)控列表點擊進行切換，從一個高點監(jiān)控點切換到另外一個高點監(jiān)控點；可以通過二維地圖點擊高點監(jiān)控圖標進行全景畫面切換。

（2） 高低聯(lián)動?；诟叩徒Y合的監(jiān)控部署方式，需手動打開重要區(qū)域附近所有高低點實時視頻，可有效減少重點區(qū)域覆蓋盲區(qū)。采用低點為主、高點為輔的高低點聯(lián)動部署方式，系統(tǒng)通過陰影的方式展示所有高點點位的可視域及當前視場范圍，并動態(tài)計算高點視場范圍內的低點點位，實現(xiàn)高點點位的視場角自動聯(lián)動低點視頻。系統(tǒng)接收到布控報警信息后，用戶可點擊查看報警信息并聯(lián)動高空的激光重載云臺相機進行目標區(qū)域對焦，快速鎖定并展示報警區(qū)域的圖像，方便用戶進行研判分析。此外，根據(jù)用戶的監(jiān)控需求，若系統(tǒng)中的高低點監(jiān)控場景的算法配置一致，同一視場中高低點監(jiān)控的識別結果可相互反饋，將各自對應的圖像傳輸?shù)剿惴ㄓ柧毤?，通過智能分析實現(xiàn)識別結果的融合，提升報警準確率。

如圖4所示，東津渡大橋開啟高點聯(lián)動模塊后，可通過高點監(jiān)控展示東津渡大橋可視域，手動控制云臺視場角時自動聯(lián)動低點監(jiān)控點位拌合站、大灘涂排灌站實時視頻。

3智能分析配置和應用研究

3.1模型算法配置

利用最新的人工智能、機器學習、神經網絡和深度學習等技術［14-15］，結合引江濟淮工程的實際情況，建立AI模型訓練平臺，配置算法可實現(xiàn)區(qū)域入侵偵測、垃圾堆檢測、工程車檢測、水面漂浮物檢測、船只識別、安全帽佩戴檢測、非法采砂檢測、釣魚識別、飼養(yǎng)家禽家畜檢測、亂堆物料堆檢測、管線桿線架設檢測、越界偵測、停車偵測。

3.2AI模型訓練平臺

AI模型訓練平臺基于高性能并行訓練推理集群與自研深度學習框架，由數(shù)據(jù)管理、模型訓練、模型部署三大服務模塊組成，通過B/S與C/S兩個客戶端向用戶提供可視化操作功能，訓練平臺總體架構如圖5所示。AI服務器配置i7-10875HCPU@2.30GHz處理器，16G內存，NVIDA Geforce RTX 3080 Ti顯卡。在Windows 10系統(tǒng)上進行模型的開發(fā)，開發(fā)環(huán)境為Python 3.7，深度學習框架為mmdetection，模型采用docker形式部署。

算法訓練平臺已經固化了算法框架及算法網絡，用戶采用算法訓練平臺可訓練生成檢測+分類（混合）模型、視頻行為分析模型、語義分割模型等算法，在1024×1024分辨率下的預測幀率為60fps。訓練流程基本一致，如圖6所示。

（1） 加載預訓練模型：將PASCAL VOC、MS COCO、ImageNet等數(shù)據(jù)集導入平臺進行預訓練，采用fine-turning遷移學習算法增強模型的特征提取能力，包含圖中的過程①。

（2） 上傳訓練數(shù)據(jù)：用戶整理所需要的訓練數(shù)據(jù)上傳到平臺，包含圖中的②過程。數(shù)據(jù)集來源于選取的10座水利樞紐，不同天氣條件（晴天、陰天、雨天），在水利樞紐不同位置高低點使用高清攝像頭拍攝獲得，每隔3 h拍攝一次，針對應用場景采集10 000～30 000的數(shù)據(jù)集量。

（3） 生成樣本集：用戶將需要訓練的圖片進行篩選，并對要訓練的圖片部位進行分類，采用Labelme進行訓練數(shù)據(jù)的標注，轉化成VOC數(shù)據(jù)集格式，包含圖中的過程③。

（4） 算法訓練：采用AI模型訓練平臺內置的算法網絡，進行算法訓練；包含圖中的過程④和⑤。模型算法配置和應用場景間的對應關系如表2所列。

（5） 算法校驗：系統(tǒng)支持本地上傳數(shù)據(jù)和創(chuàng)建校驗集兩種方式對訓練后的模型進行校驗，以幫助用戶模擬實際生產環(huán)境，對模型效果進行進一步評估，包含圖中的過程⑥和⑦。

（6） 算法發(fā)布與加載：經過校驗的算法版本在AI模型訓練平臺進行發(fā)布。將算法包導出到本地，再上傳給GPU服務器，包含圖中的過程⑧和⑨。

3.3應用效果分析

3.3.1報警準確率分析

如圖7所示，派河口泵站和兆河節(jié)制樞紐的高低點視頻分別成功識別了停泊車輛和工程車并進行了準確的報警反饋，而柯坦河處針對管線桿線架設檢測卻出現(xiàn)了誤報，因此需對具體場景的報警準確率進行統(tǒng)計分析，檢驗系統(tǒng)應用的整體效果并進行針對性優(yōu)化。

圖7高低聯(lián)動監(jiān)測實例

Fig.7High-low linkage monitoring cases

如表3所列，從算法部署完畢至2022年2月18日，預警模型整體正報率約68.0%。截至2022年4月26日，匯總、統(tǒng)計平臺數(shù)據(jù)，預警模型整體報警準確率約75.9%，期間進行的算法訓練，提升了7.9%，這說明算法訓練對報警準確率的提升有顯著效果。從2022年5月18日起關閉所有低點監(jiān)控，截至2022年7月18日，報警準確率從73.3%下降至61.5%，可知低點監(jiān)控對高點監(jiān)控盲區(qū)補充的重要性。從2022年8月1日起關閉所有高點監(jiān)控，截至2022年10月15日，報警準確率比高低聯(lián)動的情況下降低了12.3%，與高點單獨監(jiān)控的正報率相差不大，說明兩者通過互補聯(lián)動提升了整體的正報率。

3.3.2識別距離分析

高點監(jiān)控測試驗證白天可視距離6 km，夜間可視距離2.8 km。由于預警觸發(fā)有最低像素要求，在相機表4還列出了相關模型所有正報樣本的平均識別距離，高低聯(lián)動識別距離比理論覆蓋距離減少7.1%～31.3%，平均識別折損率為17.5%，其中船只識別、工程車/非法采砂檢測折損率偏小，這可能是檢測目標體積偏大導致的。而像安全帽佩戴、釣魚識別、飼養(yǎng)家禽家畜等小體積目標監(jiān)控識別距離折損明顯。切斷低點監(jiān)控關聯(lián)后，單獨采用高點監(jiān)控的識別距離較理論覆蓋距離減少了14.5%～61.8%，平均折損率達到了37.7%，這說明高低聯(lián)動效應對識別距離有著顯著的提升效果。綜上，算法識別距離雖然受檢測目標大小控制，但相對理論覆蓋距離折損率不大，高低聯(lián)動效應顯著降低了識別距離折損率，這為后期新建監(jiān)控點的有效配置提供了指導。

3.3.3問題總結

通過統(tǒng)計數(shù)據(jù)發(fā)現(xiàn)，目前釣魚識別、安全帽佩戴檢測、水面漂浮物檢測、越界偵測和徘徊偵測等預警模型識別準確率較低，可能是因為監(jiān)控目標較小、移動速率較快導致。另一方面，采集的數(shù)據(jù)樣本量、迭代次數(shù)、訓練時間可能仍不能滿足模型訓練的需求，導致報警準確率較低、識別折損率偏高。因此，后期針對小型移動目標需要加強樣本采集和模擬訓練量，對數(shù)據(jù)集中的圖片進行增強處理的研究，模擬更加惡劣條件下的監(jiān)測情況。此外，不同場景下的模型仍具有局限性，針對某一相同的算法配置，不同監(jiān)控點間的識別能力也有明顯的差異，后期應繼續(xù)加強對模型算法的研究與優(yōu)化，根據(jù)各監(jiān)控點位的運營管理需要、現(xiàn)場取景位置、遮擋情況、河道彎曲情況等配置適應性更強的預警算法。

4結 語

為彌補傳統(tǒng)低點監(jiān)控智能化水平低、視野不足、抗干擾弱、易被遮擋等缺陷，本次研究在接入現(xiàn)有低點監(jiān)控的基礎上，通過在通信鐵塔上掛載高點視頻監(jiān)控，形成引江濟淮工程沿線高低聯(lián)動智能視頻感知體系。結合工程特點，確立了重大樞紐、事故頻發(fā)、高防汛標段為重點的高點監(jiān)控選址原則。利用物聯(lián)網技術設計了高低聯(lián)動、高高聯(lián)動的視頻智能分析系統(tǒng)。在對高低聯(lián)動視頻感知的智能化考察中，算法訓練平臺在短時間內有效提升了報警準確率。同時，高低聯(lián)動模式也展現(xiàn)出比單一的高高聯(lián)動更高的報警準確率和更遠的智能識別距離，證明了高低點監(jiān)控互為補充的優(yōu)越性。引江濟淮高低聯(lián)動智能視頻感知體系的建設，不僅顯著提升了調水工程的信息化、智能化水平，也為水利工程中高低點結合的視頻監(jiān)控設置提供了范本。

參考文獻：

［1］水利部信息中心.水利部印發(fā)關于推進智慧水利建設的指導意見和實施方案［J］.水利建設與管理，2022，42（1）：5.

［2］徐健，李國忠，徐堅，等.智慧水利信息平臺設計與實現(xiàn)：以福建省沙縣智慧水利信息平臺為例［J］.人民長江，2021，52（1）：230-234.

［3］劉志雨.提升數(shù)字孿生流域建設“四預”能力［J］.中國水利，2022（20）：11-13.

［4］喻杉，黃艷，王學敏，等.長江流域水工程智能調度平臺建設探討［J］.人民長江，2022，53（2）：189-197.

［5］閆超，張苗.水利工程中視頻監(jiān)控系統(tǒng)的應用［J］.計算機產品與流通，2019（2）：125.

［6］姜小俊，黃康，余魁.浙江水利視頻監(jiān)控云平臺研究［J］.水利信息化，2018（1）：67-72.

［7］朱先任.網絡視頻監(jiān)控系統(tǒng)在水利工程搶險中的應用［J］.人民黃河，2021，43（增1）：38-39.

［8］張建云，劉九夫，金君良.關于智慧水利的認識與思考［J］.水利水運工程學報，2019（6）：1-7.

［9］程誠，董晨龍，李宏，等.智慧視頻識別在水利信息化中的應用［J］.四川水利，2019，40（3）：124-128.

［10］浮瑤瑤，劉新，劉微，等.基于高點視頻的交通事件檢測技術［J］.公路交通科技，2014，31（2）：128-134.

［11］陳春霜.基于GIS高點視頻定位的研究及應用［J］.江西通信科技，2022（2）：27-30.

［12］于琛，胡德勇，張亞妮，等.DＥＭ空間分塊的洪水動態(tài)演進算法研究與應用［J］.測繪科學，2020，45（10）：181-189.

［13］YAO C，LI Z，ZHANG K，et al.Evaluating performance dependency of a geomorphologic instantaneous unit hydrograph-based hydrological model on DEM resolution［J］.Water Science and Engineering，2022，15（3）：179-188.

［14］陳琦睿.水利物聯(lián)感知應用分析［J］.中國新通信，2022，24（8）：75-77.

［15］蔣云鐘，冶運濤，趙紅莉，等.智慧水利解析［J］.水利學報，2021，52（11）：1355-1368.

（編輯：黃文晉）