立體感知的算法賦能體系在引江濟(jì)淮工程中的實(shí)現(xiàn)與應(yīng)用

畢文晴，王 哲，崔 朋，花永麗，燕 麗，劉維彬

(安徽省引江濟(jì)淮工程有限責(zé)任公司，安徽 合肥 230000)

0 引言

為了解決安徽中北部和河南東部地區(qū)城市供水及農(nóng)業(yè)用水的問題、彌補(bǔ)江淮之間的航運(yùn)短板、改善江淮流域水生態(tài)環(huán)境，水利部和交通運(yùn)輸部于2016年批準(zhǔn)啟動了引江濟(jì)淮工程。引江濟(jì)淮工程涉及總面積約7萬km2，輸水線路總長700多km，成為了國務(wù)院確定的全國172項(xiàng)節(jié)水供水重大水利工程的標(biāo)志性工程之一。同時(shí)，伴隨著信息化的發(fā)展普及，水利部于2020年提出智慧水利的先行試點(diǎn)工作，規(guī)劃到2025年完成對水資源、水工程、水監(jiān)督、綜合決策運(yùn)維等智能應(yīng)用[1]。智慧水利借助互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等計(jì)算機(jī)技術(shù)構(gòu)建出智能化水利系統(tǒng)平臺，實(shí)現(xiàn)水利信息數(shù)據(jù)的存儲、管理、共享、應(yīng)用，是實(shí)現(xiàn)高質(zhì)量工程管理的重要手段[2-4]。引江濟(jì)淮工程也應(yīng)運(yùn)而生了《數(shù)字引江濟(jì)淮頂層規(guī)劃設(shè)計(jì)報(bào)告》，提出了建立“全面感知、高速互聯(lián)、智能處理、高效協(xié)同、智慧應(yīng)用”的數(shù)字引江濟(jì)淮信息系統(tǒng)。

視頻監(jiān)控作為全天不間斷監(jiān)測水情、水污染、水土保持狀況的常規(guī)方法之一，是水利工程信息化建設(shè)的有效手段，近年來被廣泛應(yīng)用于智慧水利的建設(shè)和管理中[5-7]。引江濟(jì)淮工程已沿途布置上百處低點(diǎn)視頻監(jiān)控，然而傳統(tǒng)的低點(diǎn)視頻監(jiān)控缺乏聯(lián)動、感知不夠全面、監(jiān)控手段單一且調(diào)取手段繁瑣，及時(shí)響應(yīng)性差，無法實(shí)現(xiàn)高效的監(jiān)控管理和智能預(yù)警，導(dǎo)致工程重要節(jié)點(diǎn)仍然事故頻發(fā)[8-9]。因此，遵循《數(shù)字引江濟(jì)淮頂層規(guī)劃設(shè)計(jì)報(bào)告》中規(guī)劃的一系列標(biāo)準(zhǔn)規(guī)范體系，搭建立體智能化的視頻監(jiān)控管理體系顯得尤為必要，這也是數(shù)字引江濟(jì)淮信息系統(tǒng)建設(shè)的重要組成部分。

1 算法賦能體系的設(shè)計(jì)

1.1 總體設(shè)計(jì)

算法賦能體系的設(shè)計(jì)基于感知-賦能-應(yīng)用的三重層級，搭建起視頻資源整合、數(shù)據(jù)賦能中心與業(yè)務(wù)支撐應(yīng)用三重架構(gòu)，如圖1所示。

圖1 算法賦能體系技術(shù)架構(gòu)

前端感知層的視頻圖像是算法賦能得以實(shí)現(xiàn)的主體資源。因此，對視頻資源進(jìn)行采集、整合、調(diào)度是實(shí)現(xiàn)算法賦能的基礎(chǔ)。感知層需布設(shè)具有智能分析功能的高像素監(jiān)控設(shè)備對水利樞紐周邊及施工段的情況進(jìn)行實(shí)時(shí)監(jiān)控，并支持圖片、視頻的高速傳輸。

數(shù)據(jù)賦能是算法賦能體系的核心層面，因此，建立計(jì)算存儲資源池滿足多種形式的視頻資源存儲和調(diào)用，提高存儲效率、避免數(shù)據(jù)冗余，并設(shè)置合理的視頻接口進(jìn)行接入管理服務(wù)。同時(shí)建立多維資源調(diào)度平臺，對平臺的計(jì)算資源、存儲資源、視頻資源進(jìn)行智能分配。賦能的機(jī)制通過數(shù)據(jù)中臺和智能中臺實(shí)現(xiàn)。其中，數(shù)據(jù)中臺負(fù)責(zé)數(shù)據(jù)的集中管理，并通過資源平臺提供各項(xiàng)數(shù)據(jù)服務(wù)，為后續(xù)的算法編排提供數(shù)據(jù)基礎(chǔ)。智能中臺運(yùn)用差分和目標(biāo)檢測等視頻分析技術(shù)對視頻數(shù)據(jù)進(jìn)行算法賦能[10-12]，創(chuàng)建算法倉庫對算法進(jìn)行集中管理。最后，整合能力展示、申請管理、算法編排、事件研判、運(yùn)行管理等智能化功能模塊，建立引江濟(jì)淮視頻賦能平臺，將算法賦能后的視頻數(shù)據(jù)嵌入平臺的各個(gè)模塊中，以實(shí)現(xiàn)對引江濟(jì)淮工程的立體感知。

業(yè)務(wù)支撐層開發(fā)了一系列基于算法賦能體系的業(yè)務(wù)，如公共安全管理、非法施工預(yù)警、船只/漂浮物監(jiān)測等，為管理人員提供智能化的輔助決策支持，同時(shí)不斷對算法賦能的潛力進(jìn)行拓展。

1.2 基礎(chǔ)工程優(yōu)化配置

1.2.1監(jiān)控點(diǎn)選擇

引江濟(jì)淮工程皖境輸水線路總長587.4km[13]，現(xiàn)存的低點(diǎn)視頻監(jiān)控難以實(shí)現(xiàn)對工程沿線的全方位高效監(jiān)控。為彌補(bǔ)現(xiàn)有系統(tǒng)視野范圍窄、監(jiān)控效率低的問題，在涉及大江大河及防汛A級的標(biāo)段周圍，選擇具有30～40m掛高能力的通訊鐵塔布設(shè)高點(diǎn)視頻監(jiān)控，高點(diǎn)監(jiān)控的布局遵循視野廣闊、無遮擋、角度大、數(shù)量精簡的原則，盡可能使得每個(gè)監(jiān)控點(diǎn)監(jiān)控覆蓋的區(qū)域最大，既減少了立桿成本、擴(kuò)大了監(jiān)控視野，也解決了供配電和安全防護(hù)等難題[14]。高低聯(lián)動的視頻監(jiān)控全方位覆蓋工程的關(guān)鍵水利樞紐區(qū)域，幫助引江濟(jì)淮工程形成了立體感知系統(tǒng)，是保證算法賦能體系識別準(zhǔn)確性的基礎(chǔ)。

1.2.2前端感知配套工程

引江濟(jì)淮工程現(xiàn)存的低點(diǎn)監(jiān)控設(shè)備信息化水準(zhǔn)不高，無法實(shí)現(xiàn)對事件的自動感知和智能預(yù)警功能，增大了監(jiān)控的人力成本。為滿足算法賦能智能監(jiān)控的要求，高點(diǎn)監(jiān)控設(shè)備選擇200萬像素重載激光云臺攝像機(jī)，支持運(yùn)用智能分析算法提高系統(tǒng)智能化水平，同時(shí)搭配先進(jìn)的編碼技術(shù)實(shí)現(xiàn)算法賦能體系的智能化應(yīng)用。

1.2.3網(wǎng)絡(luò)子系統(tǒng)

工程設(shè)置的監(jiān)控點(diǎn)位主要集中在引江濟(jì)淮重點(diǎn)水利工程樞紐區(qū)域，分布范圍較廣，涉及銅陵、亳州和合肥3個(gè)地市。為保證賦能體系中視頻數(shù)據(jù)傳輸和運(yùn)算的流暢性和實(shí)時(shí)性，前端監(jiān)控點(diǎn)和管理中心分別采用20M和100M帶寬的電信互聯(lián)網(wǎng)專線。

1.2.4存儲子系統(tǒng)

為降低算法賦能體系后期運(yùn)維成本，引江濟(jì)淮視頻存儲采用電信天翼云存儲[15]。云存儲系統(tǒng)將傳統(tǒng)數(shù)據(jù)中心與互聯(lián)網(wǎng)高速連接結(jié)合，組設(shè)標(biāo)準(zhǔn)化的云服務(wù)，提升信息化能力。安全穩(wěn)定層面的軟硬件按照國際數(shù)據(jù)中心最高建設(shè)標(biāo)準(zhǔn)Tier 4配置[16]，在設(shè)施能源、制冷和網(wǎng)絡(luò)接入采用冗余設(shè)計(jì)，系統(tǒng)具備DDOS、IDS、漏洞掃描等安全防護(hù)能力[17-19]。數(shù)據(jù)可靠層面，采用集群管理模式，對象存儲默認(rèn)采用多副本備份機(jī)制來保證數(shù)據(jù)的可靠性[20]。此外，云存儲產(chǎn)品可通過云主機(jī)備份及云硬盤備份實(shí)現(xiàn)數(shù)據(jù)的備份或異地資源池備份，從而進(jìn)一步保障數(shù)據(jù)存儲的安全性。

1.3 Al視頻算法中心建設(shè)

AI視頻算法中心是建設(shè)賦能體系的核心工程，算法賦能體系對視頻監(jiān)控的智能調(diào)度、場景治理的統(tǒng)籌整合、智能報(bào)警的實(shí)時(shí)準(zhǔn)確、運(yùn)行管理的數(shù)據(jù)統(tǒng)計(jì)都是建立在算法能力的基礎(chǔ)上。因此，視頻算法中心需提供合理的算法訓(xùn)練、高效的算法調(diào)度和完善的運(yùn)行模式。

1.3.1算法訓(xùn)練

深度學(xué)習(xí)是實(shí)現(xiàn)算法訓(xùn)練的基礎(chǔ)框架[21]。根據(jù)引江濟(jì)淮工程管理部門的初期需求，配置人體圖片識別、游泳識別、船只識別、水面漂浮物檢測、釣魚識別、非法采砂識別、安全帽佩戴檢測、工程車檢測、亂堆物堆料檢測、違建檢測、管線桿線架設(shè)檢測、垃圾堆檢測、飼養(yǎng)家禽家畜檢測、活動目標(biāo)圖片識別的算法模型。將模型推送至前端的監(jiān)控設(shè)備云臺中進(jìn)行樣本的智能采集，在后端的算法超市中進(jìn)行存儲，方便進(jìn)行場景配置和算法編排，支撐快速落地場景化的智能應(yīng)用。算法訓(xùn)練流程如圖2所示。

圖2 算法訓(xùn)練流程圖

1.3.2算法管理與調(diào)度

引江濟(jì)淮工程在不同時(shí)期、不同工況下的監(jiān)控內(nèi)容紛繁復(fù)雜，如果沒有恰當(dāng)?shù)墓芾砟Ｊ綐O易造成算法的冗余和算力的降低，基于此設(shè)計(jì)了算法管理、智能調(diào)度系統(tǒng)、智能基礎(chǔ)服務(wù)三重協(xié)同工作機(jī)制[22]。如圖3所示，智能算法均上傳至算法超市，根據(jù)不同監(jiān)控場景的特殊需求，可從算法超市中任意調(diào)取所需的目標(biāo)算法，超市自動將目標(biāo)算法傳遞到智能設(shè)備上完成點(diǎn)對點(diǎn)的算法賦能。

圖3 算法超市架構(gòu)

算法都可以注冊到算法超市中進(jìn)行統(tǒng)一的管理。算力模型保證任務(wù)能夠正常派發(fā)和執(zhí)行。算法管理服務(wù)主要包括算法管理和算法編排模塊。其中，算法管理主要實(shí)現(xiàn)對算法的增、刪、改、查操作，以及算法分類、資源下載管理；可以突破單一算法的功能限制，配備監(jiān)控點(diǎn)所需的多重算法，實(shí)現(xiàn)算法功能的動態(tài)擴(kuò)展，滿足復(fù)雜場景的監(jiān)控需求。另一方面，通過智能基礎(chǔ)服務(wù)實(shí)現(xiàn)算法編排，合理、高效的利用有限的智能分析資源，如圖4所示。

圖4 算法編排流程圖

算法資源管理模式如圖5所示，智能調(diào)度系統(tǒng)負(fù)責(zé)確保算法調(diào)用的時(shí)效性和流暢性[23]，資源管理調(diào)度平臺對不同智能芯片的智能設(shè)備進(jìn)行統(tǒng)一管理，提供統(tǒng)一的外部功能接口，同時(shí)滿足算法資源的靈活擴(kuò)展和聯(lián)動其他資源平臺的算力變化，確保算法資源調(diào)取的穩(wěn)定性。各計(jì)算資源向智能調(diào)度系統(tǒng)統(tǒng)一注冊，智能調(diào)度系統(tǒng)將智能分析需求發(fā)送到指定設(shè)備上，實(shí)現(xiàn)算法調(diào)用資源的合理分配和便捷調(diào)取。

圖5 資源管理示意圖

1.3.3算法運(yùn)行模式

引江濟(jì)淮工程視頻監(jiān)控的算法主要基于AI開放平臺的圖像分類模型、物體檢測模型、圖像文字識別模型等實(shí)現(xiàn)。如圖6所示，將一系列智能算法導(dǎo)入引江濟(jì)淮視頻賦能平臺后，平臺調(diào)度AI服務(wù)器進(jìn)行視頻流/圖片的智能分析和識別，并對智能事件進(jìn)行展示和報(bào)警聯(lián)動。服務(wù)器也能通過樣本數(shù)量的持續(xù)采集，進(jìn)行算法更新迭代優(yōu)化，提高報(bào)警識別準(zhǔn)確率。

圖6 算法運(yùn)行模式圖

1.4 視頻賦能平臺功能設(shè)計(jì)

視頻賦能平臺立足于智慧水利頂層設(shè)計(jì)總體要求，基于前端設(shè)備感知、物聯(lián)傳輸、算法賦能、智能識別功能，實(shí)現(xiàn)對引江濟(jì)淮工程范圍內(nèi)的全時(shí)段監(jiān)控及智能預(yù)警，為引江濟(jì)淮集團(tuán)的日常管理提供高效的輔助決策支持。平臺邏輯架構(gòu)如圖7所示，系統(tǒng)支持B/S訪問模式、C/S控制客戶端以及移動端訪問平臺。為有效提高開發(fā)效率，客戶端組件均由集成框架組成[24]。各類設(shè)備由對應(yīng)框架接入，運(yùn)行管理中心提供平臺運(yùn)維能力。數(shù)據(jù)存儲層面，由PostgreSQL儲存視頻監(jiān)控、基礎(chǔ)信息、流域事件等業(yè)務(wù)數(shù)據(jù)；組織、區(qū)域等資源數(shù)據(jù)儲存在LDAP[25]；CVR、NVR、云存儲協(xié)同負(fù)責(zé)存儲錄像數(shù)據(jù)；用redis緩存實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)的快捷調(diào)用[26]。

圖7 視頻賦能平臺邏輯架構(gòu)

賦能平臺的業(yè)務(wù)功能基于總覽-監(jiān)控-析-運(yùn)維四大工程模塊，采用依托集成環(huán)境和標(biāo)準(zhǔn)規(guī)范的組件架構(gòu)，分為水利一張圖、視頻應(yīng)用、能力中心、編排中心、研判中心和監(jiān)控中心六大業(yè)務(wù)組件，各組件都以獨(dú)立數(shù)據(jù)庫的形式存在，為以后的升級維護(hù)提供了便利。其中，水利一張圖整體展現(xiàn)系統(tǒng)應(yīng)用和工程運(yùn)維情況；視頻應(yīng)用實(shí)現(xiàn)對水利監(jiān)控視頻和數(shù)據(jù)信息的統(tǒng)一管理；能力中心主要負(fù)責(zé)展示各種視頻、AI能力服務(wù)，提供算法超市；編排中心可審核監(jiān)控點(diǎn)位的算法場景配置申請，根據(jù)業(yè)務(wù)需求進(jìn)行場景分析任務(wù)的編排下發(fā)，有效提高系統(tǒng)算力；管理人員在研判中心可對視頻AI分析產(chǎn)生的各類智能事件進(jìn)行集中研判、管理，形成報(bào)警事件知識庫，利于后期的AI算法優(yōu)化和報(bào)警準(zhǔn)確度提升；監(jiān)控中心提供多類型數(shù)據(jù)統(tǒng)計(jì)報(bào)表，以數(shù)據(jù)可視化的方式幫助用戶快速了解系統(tǒng)當(dāng)前監(jiān)控資源運(yùn)維情況。以上業(yè)務(wù)組件通過基礎(chǔ)環(huán)境組件與通用服務(wù)組件來實(shí)現(xiàn)。

2 應(yīng)用效果評估

平臺對水利樞紐事件的報(bào)警，管理人員可在研判中心對該事件進(jìn)行實(shí)時(shí)回溯、標(biāo)記和管理。

針對各監(jiān)控點(diǎn)設(shè)備的運(yùn)行狀況，平臺提供多類型數(shù)據(jù)統(tǒng)計(jì)報(bào)表，以數(shù)據(jù)可視化的方式幫助用戶快速了解系統(tǒng)當(dāng)前監(jiān)控資源運(yùn)維情況，具有分區(qū)域查看運(yùn)維統(tǒng)計(jì)信息、圖像正常率、錄像完整性、監(jiān)控在線/離線狀態(tài)、監(jiān)控達(dá)標(biāo)統(tǒng)計(jì)等功能，提供一站式運(yùn)維管理服務(wù)。

引江濟(jì)淮工程的算法賦能體系自2021年10月投入運(yùn)營后，為人員入侵、航運(yùn)調(diào)度、船只識別、污染物識別、污染行為的抓取和分析、電子圍欄的劃定、險(xiǎn)情或事故預(yù)警等提供了有效的可視化決策輔助。視頻賦能平臺在運(yùn)營管理期主要實(shí)現(xiàn)了如下功能：

(1)時(shí)刻監(jiān)控河湖水位，水位達(dá)到警戒線后立即觸發(fā)報(bào)警，對汛期防衛(wèi)工作提供了堅(jiān)實(shí)有效的輔助決策支持。

(2)對閘門、大壩的實(shí)時(shí)監(jiān)控加強(qiáng)了對運(yùn)河沿線重點(diǎn)區(qū)域的防范。

(3)通過監(jiān)測河道水面的漂浮物、漂流物，維護(hù)了河道沿線水生態(tài)環(huán)境和樞紐安全。

(4)對岸上的人為入侵和可疑情況進(jìn)行監(jiān)控，保護(hù)了周邊人員的人身安全，并制止了對河道的破壞行為。

(5)通過監(jiān)測違建行為、非法采砂、管線架設(shè)、亂堆物料等行為的監(jiān)控，能夠保證河道周邊的環(huán)境，保障在建工程施工安全性。

(6)識別河道行駛船只闖入危險(xiǎn)/禁停等區(qū)域、對船只異常行為進(jìn)行報(bào)警，為航運(yùn)安全保駕護(hù)航。

3 結(jié)論

為了實(shí)現(xiàn)引江濟(jì)淮工程重點(diǎn)區(qū)域立體覆蓋式信息化監(jiān)管，采用高低聯(lián)動和智能監(jiān)控結(jié)合的方式搭建了立體感知的算法賦能體系，顯著提高了引江濟(jì)淮工程在汛期、工程建設(shè)期、運(yùn)營期等階段的信息化智慧管理水平。在《數(shù)字引江濟(jì)淮頂層規(guī)劃設(shè)計(jì)報(bào)告》的指導(dǎo)下，通過規(guī)范化和智能化監(jiān)督，助力工程運(yùn)行達(dá)到“全面感知、可靠傳遞、智能處理、高效協(xié)同、智慧應(yīng)用”的目標(biāo)，全面提高了水利主管部門的監(jiān)測、預(yù)警、調(diào)度、監(jiān)控、決策、指揮能力?；谠擉w系打造的視頻賦能平臺為引江濟(jì)淮工程體系的安全運(yùn)行提供了堅(jiān)實(shí)保障，開拓了新的互聯(lián)網(wǎng)水利管理模式，打造出安徽省乃至全國水利信息化建設(shè)的新模范。