張靜芳 ,尹憲文 ,李玉奎 ,張 煒
(1. 內(nèi)蒙古自治區(qū)呼和浩特水文勘測(cè)局,內(nèi)蒙古 呼和浩特 010010;2. 北京艾力泰爾信息技術(shù)股份有限公司,北京 100083;3. 內(nèi)蒙古水文總局,內(nèi)蒙古 呼和浩特 010010)
圖像識(shí)別技術(shù)在水位識(shí)別監(jiān)測(cè)方面取得了長(zhǎng)足的進(jìn)步[1],它是基于人工智能圖像技術(shù),通過攝像頭獲得水尺液位圖像,經(jīng)過后臺(tái)智能計(jì)算獲取水位數(shù)據(jù)的[2-3]。該項(xiàng)技術(shù)早在 20 世紀(jì) 60 年代已有雛形,我國(guó)各大學(xué)科研機(jī)構(gòu)近年來對(duì)其進(jìn)行了大量研究,李翊等[4]利用 BP 神經(jīng)網(wǎng)絡(luò)算法進(jìn)一步提高水位識(shí)別效率和適用范圍,降低人工工作量;金江波等[5]研制開發(fā)適用于支斗渠自動(dòng)量水的渠道水位圖像智能識(shí)別系統(tǒng),采用遠(yuǎn)程直讀模式實(shí)現(xiàn)渠道水位圖像直觀顯示、水量的自動(dòng)計(jì)量。傳統(tǒng)水位數(shù)據(jù)的識(shí)別提取容易受到拍攝角度、水尺角度、照明度、攝像頭像素、天氣等因素的影響,難以準(zhǔn)確、完整識(shí)別圖片中的水位信息,問題分析具體如下:
1)傳統(tǒng)人工識(shí)別無法實(shí)時(shí)監(jiān)測(cè)。傳統(tǒng)人工識(shí)別無法 24 h 無間斷監(jiān)測(cè),智能水位圖像識(shí)別打破了傳統(tǒng)視頻監(jiān)控人工識(shí)別時(shí)長(zhǎng)的局限,可全天候?qū)崟r(shí)監(jiān)控,及時(shí)預(yù)警,為水安全提供有力的監(jiān)控保障。
2)傳統(tǒng)視頻監(jiān)控要素單一。傳統(tǒng)視頻監(jiān)控站只可監(jiān)控 1 種水文要素:智能水位圖像識(shí)別站不僅可以實(shí)時(shí)監(jiān)測(cè)水位信息,還可以對(duì)周邊場(chǎng)景進(jìn)行監(jiān)控,提供可視化的水位監(jiān)測(cè)方案,節(jié)省成本。
3)傳統(tǒng)視頻監(jiān)控識(shí)別精度不高。傳統(tǒng)視頻監(jiān)控主要靠人的經(jīng)驗(yàn)識(shí)別,存在一定的誤差和精度問題。智能水位圖像識(shí)別采用計(jì)算機(jī)圖像處理識(shí)別技術(shù)和深度學(xué)習(xí)模型,依托海量的、高質(zhì)量的訓(xùn)練數(shù)據(jù),打破傳統(tǒng)視頻監(jiān)控識(shí)別精度不高的瓶頸,實(shí)現(xiàn)智能識(shí)別和分析、自動(dòng)判斷和智能告警等功能。
4)傳統(tǒng)視頻數(shù)據(jù)利用率低。智能水位圖像識(shí)別解決了傳統(tǒng)視頻數(shù)據(jù)利用率低的問題,采用人工智能技術(shù)自動(dòng)處理大量的視頻、圖像文件,通過對(duì)視頻和圖像的處理、分析及理解,將結(jié)果以多種形式智能呈現(xiàn),為智慧水利提供大數(shù)據(jù)分析層級(jí)的智能支撐。
基于此,研發(fā)智能水位圖像識(shí)別系統(tǒng)。智能圖像水位識(shí)別系統(tǒng)近 2 a 才逐漸開始投入實(shí)際生產(chǎn),該技術(shù)在實(shí)際中的推廣應(yīng)用不多[6-7]。對(duì)智能圖像水位識(shí)別系統(tǒng)從總體架構(gòu)、系統(tǒng)功能到實(shí)際案例應(yīng)用等方面均進(jìn)行詳細(xì)的闡述,形成完整可行的解決方案。智能圖像識(shí)別技術(shù)可以在水位識(shí)別方面進(jìn)行廣泛應(yīng)用,同時(shí),隨著智能圖像水位識(shí)別技術(shù)的不斷成熟和完善,可以拓展更多的功能,如滿足水文領(lǐng)域汛期運(yùn)行、非汛期空閑、隨時(shí)召測(cè)、數(shù)據(jù)補(bǔ)送、遠(yuǎn)程喚醒等業(yè)務(wù),為該系統(tǒng)的推廣使用提供參考依據(jù)[8-11]。
基于圖像處理識(shí)別和深度學(xué)習(xí)模型技術(shù),智能圖像水位識(shí)別系統(tǒng)不受外界及水體水質(zhì)等因素影響,可實(shí)現(xiàn)對(duì)涉水領(lǐng)域的水位智能識(shí)別和分析,應(yīng)用范圍包括江河、湖泊、水庫(kù)、水電站、灌區(qū)等,同時(shí)也增加監(jiān)測(cè)方式的多樣性。智能水位圖像識(shí)別系統(tǒng)設(shè)計(jì)主要遵循以下原則:
1)利舊性和易用性。智能水位圖像識(shí)別系統(tǒng)前端設(shè)備可充分利用現(xiàn)有的設(shè)備,避免重復(fù)建設(shè),節(jié)約成本;可實(shí)現(xiàn)現(xiàn)場(chǎng)零操作,由控制中心遠(yuǎn)程全監(jiān)管,系統(tǒng)操作簡(jiǎn)便,用戶界面友好,適宜非專業(yè)人員操作。
2)科學(xué)性和先進(jìn)性。智能水位圖像識(shí)別系統(tǒng)功能設(shè)計(jì)考慮多種圖像識(shí)別算法,確保圖像識(shí)別精度及識(shí)別結(jié)果的科學(xué)性;采用先進(jìn)技術(shù)、成熟的設(shè)計(jì)思想,理念和方法,確保系統(tǒng)建設(shè)的先進(jìn)性。
3)易擴(kuò)展和維護(hù)。智能水位圖像識(shí)別系統(tǒng)的要素、編碼、功能和數(shù)據(jù)庫(kù)結(jié)構(gòu)必須易于擴(kuò)充,以滿足系統(tǒng)進(jìn)一步的擴(kuò)展要求;在開發(fā)過程中,保存整理完整資料,以便用戶隨時(shí)、方便地對(duì)系統(tǒng)進(jìn)行正常的運(yùn)行維護(hù)。
4)開放性。智能水位圖像識(shí)別系統(tǒng)需與已建、擬建系統(tǒng)進(jìn)行數(shù)據(jù)交換,因此系統(tǒng)需具有開放性,可通過接口順利交換數(shù)據(jù);系統(tǒng)還應(yīng)提供與視頻數(shù)據(jù)采集設(shè)施相吻合的標(biāo)準(zhǔn)接口,以接入其他設(shè)施的視頻流信息。
5)經(jīng)濟(jì)性。智能水位圖像識(shí)別系統(tǒng)設(shè)計(jì)需考慮經(jīng)濟(jì)性,考慮系統(tǒng)建設(shè)一次性投入后系統(tǒng)后續(xù)維護(hù)、升級(jí)和推廣費(fèi)用,以性能價(jià)格比作為衡量系統(tǒng)設(shè)計(jì)的重要指標(biāo),要求達(dá)到最優(yōu)。
系統(tǒng)采用定時(shí)和自主抓拍圖像 2 種形式,定時(shí)或根據(jù)需要上傳水尺圖片,系統(tǒng)總體架構(gòu)如圖 1 所示,主要包括以下幾個(gè)部分:
1)前端設(shè)備。視頻監(jiān)控系統(tǒng)前端設(shè)備主要包括網(wǎng)絡(luò)高速攝像機(jī)、RTU、4G 路由器、蓄電池、太陽(yáng)能電池板和水尺。
2)傳輸網(wǎng)絡(luò)。攝像頭與遙測(cè)終端機(jī)相連,通過4G 網(wǎng)絡(luò)傳輸至信息中心。
3)平臺(tái)軟件。在信息中心部署 1 套平臺(tái)軟件系統(tǒng),通過 4G 通信網(wǎng)絡(luò),完成對(duì)圖像數(shù)據(jù)的實(shí)時(shí)接收、計(jì)算、識(shí)別、存儲(chǔ)。
4)顯示終端。通過顯示終端能夠查詢展示圖像數(shù)據(jù)。
圖 1 智能圖像水位識(shí)別系統(tǒng)總體架構(gòu)
通過自動(dòng)定時(shí)讀取各測(cè)站的水尺圖像信息,采用數(shù)字圖像處理、模式識(shí)別等技術(shù),經(jīng)過一系列的圖像預(yù)處理、水尺圖像分割、水尺旋轉(zhuǎn)校正、水尺標(biāo)尺/數(shù)字提取分割、水尺讀數(shù)計(jì)算、后處理校正讀數(shù)等步驟,完成對(duì)圖像中水尺刻度的讀取及校正,該程序應(yīng)具備處理和識(shí)別各類異常圖像的功能,具有較高的識(shí)別率和準(zhǔn)確率。識(shí)別出的水尺讀數(shù)可為后續(xù)監(jiān)測(cè)和校核水位提供有力的數(shù)據(jù)支撐。
智能水位圖像識(shí)別流程如圖 2 所示。
圖 2 智能圖像水位識(shí)別流程
2.1.1 實(shí)時(shí)水尺識(shí)別
系統(tǒng)采用定時(shí)識(shí)別和根據(jù)水位變幅加測(cè)識(shí)別相結(jié)合,進(jìn)行實(shí)時(shí)水位識(shí)別。如設(shè)置 1,6,12,24 h等定時(shí)識(shí)別,如果水位變幅超過設(shè)置,加報(bào)閾值每5 min 加測(cè)識(shí)別。
2.1.2 智能追蹤水尺識(shí)別
圖 3 智能追蹤水尺識(shí)別
實(shí)際環(huán)境下,水位會(huì)存在比較大的變幅,根據(jù)實(shí)際情況,測(cè)站一般會(huì)布設(shè)多根水尺監(jiān)測(cè)水位,系統(tǒng)也會(huì)根據(jù)當(dāng)前圖像中水位情況自動(dòng)切換不同的水尺識(shí)別水位,如在水位較低時(shí)測(cè)站選擇 P9 水尺進(jìn)行識(shí)別,水位較高時(shí),自動(dòng)切換到 P7 進(jìn)行水尺識(shí)別,系統(tǒng)智能追蹤水尺識(shí)別顯示如圖 3 所示。
2.1.3 不同場(chǎng)景水尺識(shí)別
1)不同監(jiān)測(cè)點(diǎn)位,采用的水尺數(shù)量、顏色、觀測(cè)角度等均有差別,系統(tǒng)均可進(jìn)行精確識(shí)別,不同數(shù)量、顏色及角度下的水尺識(shí)別如圖 4 所示。
2)在有波浪、水草等雜物對(duì)水位產(chǎn)生影響的情況下,通過水位濾波智能優(yōu)化處理,消除波浪、雜物等的影響。水草、水流干擾下的水尺識(shí)別如圖 5所示。
3)在夜間及有強(qiáng)光照射等不良條件下,通過人工觀察通常無法準(zhǔn)確識(shí)別出水尺數(shù)字,系統(tǒng)內(nèi)置算法根據(jù)白天水位信息智能化識(shí)別夜間暗光及強(qiáng)光等特殊場(chǎng)景的水位數(shù)據(jù),強(qiáng)光、夜間水尺識(shí)別如圖 6所示。
1)閾值設(shè)置。針對(duì)監(jiān)控水域、指定物體,結(jié)合水行業(yè)的業(yè)務(wù)自動(dòng)化,設(shè)置異常和報(bào)警閾值。
圖 4 不同數(shù)量、顏色及角度下的水尺識(shí)別
圖 5 水草、水流干擾下的水尺識(shí)別
圖 6 強(qiáng)光、夜間水尺識(shí)別
2)智能自動(dòng)預(yù)警。結(jié)合大數(shù)據(jù)技術(shù),提供自動(dòng)化推送異常和報(bào)警信息,提供水位預(yù)警及未來擴(kuò)展識(shí)別功能中的水域、水體流態(tài)、漂浮物、藍(lán)藻、黑臭水體、水體非法入侵的異常的智能自動(dòng)預(yù)警功能。
3)數(shù)據(jù)智能分析。系統(tǒng)可智能識(shí)別存儲(chǔ)采集的數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行智能分析,包括自動(dòng)與其他水位站數(shù)據(jù)進(jìn)行智能比對(duì)校核,對(duì)異常數(shù)據(jù)進(jìn)行攔截并及時(shí)通知相關(guān)人員處理等;系統(tǒng)也可從時(shí)間、空間等不同維度對(duì)數(shù)據(jù)進(jìn)行查詢檢索,實(shí)現(xiàn)數(shù)據(jù)導(dǎo)出及按照國(guó)家標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行整編;數(shù)據(jù)信息具有可追溯性。
4)遠(yuǎn)程控制。遠(yuǎn)程控制設(shè)備,遠(yuǎn)程修改前端測(cè)控參數(shù),除此之外,還可對(duì)數(shù)據(jù)進(jìn)行遠(yuǎn)程提取、召測(cè)、校時(shí)及喚醒等操作。
1)綜合監(jiān)視。通過系統(tǒng)綜合監(jiān)視功能可以了解所有測(cè)站運(yùn)行情況,同時(shí)展示各個(gè)測(cè)站最新圖像水位識(shí)別結(jié)果。在測(cè)站列表中,系統(tǒng)通過測(cè)站名稱顏色反映測(cè)站的運(yùn)行情況:右側(cè)區(qū)域展示各測(cè)站最新圖像水位識(shí)別結(jié)果,同時(shí)獲取各測(cè)站最新的遙測(cè)水位,進(jìn)行圖像識(shí)別水位與遙測(cè)水位的校驗(yàn)展示,綜合監(jiān)視系統(tǒng)頁(yè)面如圖 7 所示。
2)測(cè)站識(shí)別詳情。測(cè)站詳情頁(yè)面根據(jù)條件展示對(duì)應(yīng)時(shí)間段的識(shí)別數(shù)據(jù),以過程線 + 數(shù)據(jù)列表展示數(shù)據(jù)。同時(shí)展示智能圖像識(shí)別水位與遙測(cè)設(shè)備上報(bào)水位的差值信息,如果差值較大會(huì)自動(dòng)提示,測(cè)站識(shí)別詳情顯示頁(yè)面如圖 8 所示。
3)實(shí)時(shí)視頻播放。系統(tǒng)支持實(shí)時(shí)視頻播放,可以實(shí)時(shí)查看當(dāng)前測(cè)站最新情況。
4)移動(dòng)端 App??赏ㄟ^移動(dòng)設(shè)備查看監(jiān)控和預(yù)警情況,實(shí)現(xiàn)智能水位圖像識(shí)別的移動(dòng)端監(jiān)控。
本研究設(shè)計(jì)的智能圖像水位識(shí)別系統(tǒng)已在多地應(yīng)用,如在廣西壯族自治區(qū)、江西省、四川省、河北省、黑龍江省、云南省、貴州省、甘肅省等地均已布設(shè),實(shí)時(shí)監(jiān)控各省份的測(cè)站運(yùn)行狀態(tài),目前設(shè)備運(yùn)行良好,獲得的監(jiān)測(cè)數(shù)據(jù)質(zhì)量較好,利用率高。
以云南南盤江小龍?zhí)端恼具b測(cè)水位數(shù)據(jù)與智能圖像水位識(shí)別系統(tǒng)數(shù)據(jù)進(jìn)行比測(cè)分析,比測(cè)分析樣本有 449 個(gè),對(duì)比觀測(cè)的水位在 1 037.07~1 039.46 m之間,計(jì)算出系統(tǒng)到報(bào)率(系統(tǒng)實(shí)報(bào)水位個(gè)數(shù)除以應(yīng)報(bào)水位個(gè)數(shù))為 100%、準(zhǔn)確率(遙測(cè)水位減去系統(tǒng)水位的誤差在 2 cm 之內(nèi)的個(gè)數(shù)除以應(yīng)報(bào)水位個(gè)數(shù))為 96.1%,遙測(cè)水位與系統(tǒng)識(shí)別水位比測(cè)過程線如圖 9 所示。
智能水位圖像識(shí)別系統(tǒng)融合先進(jìn)的智能圖像識(shí)別技術(shù),可代替或輔助傳統(tǒng)水位監(jiān)測(cè)方式,其主要特點(diǎn)概述如下:
圖 8 測(cè)站詳情頁(yè)面
圖 9 小龍?zhí)端槐葴y(cè)過程線
1)覆蓋多種場(chǎng)景及類型的水尺識(shí)別。攝像機(jī)拍攝水尺圖像會(huì)受野外環(huán)境因素影響,系統(tǒng)可針對(duì)多種場(chǎng)景下的水尺做出識(shí)別,包括:不同數(shù)量、顏色的水尺;有倒影影響的場(chǎng)景;生銹、刻度不清晰的場(chǎng)景;水草、水流輕度干擾的場(chǎng)景;夜視、陰天或過強(qiáng)光線等場(chǎng)景。
2)智能濾波處理,消除波浪影響。實(shí)際環(huán)境的水體中有波浪情況,致使水位水尺識(shí)別會(huì)有較大的波動(dòng)。本系統(tǒng)依據(jù)機(jī)器學(xué)習(xí)技術(shù)進(jìn)行智能濾波處理,結(jié)合大量場(chǎng)景實(shí)驗(yàn),使得圖像識(shí)別水位與實(shí)際水位保持一致。
3)智能水位校核、異常報(bào)警。該系統(tǒng)具有智能水位校核功能,同時(shí)獲取各測(cè)站最新的遙測(cè)水位,進(jìn)行圖像識(shí)別水位與遙測(cè)水位的校驗(yàn)展示;根據(jù)設(shè)置的異常數(shù)據(jù)、物體閾值條件,實(shí)現(xiàn)自動(dòng)推送異常和報(bào)警信息功能。
4)可接入已建視頻設(shè)備,打破設(shè)備局限??捎行Ы尤?yún)^(qū)域的視頻流信息,基于視頻設(shè)備的相機(jī)配置,進(jìn)行程序處理,獲取攝像機(jī)端的視頻數(shù)據(jù),成功接入視頻源,實(shí)現(xiàn)視頻流播放。打破不同視頻設(shè)備數(shù)據(jù)信息的局限,提高資源數(shù)據(jù)的利用效率,節(jié)省成本。
5)控制中心遠(yuǎn)程全監(jiān)管,實(shí)現(xiàn)現(xiàn)場(chǎng)零操作。通過控制中心軟件平臺(tái)可對(duì)系統(tǒng)進(jìn)行全監(jiān)管:系統(tǒng)配備數(shù)據(jù)監(jiān)控管理軟件平臺(tái),支持?jǐn)?shù)據(jù)查詢、校核、導(dǎo)出;支持智能圖像識(shí)別間隔及加測(cè)條件設(shè)置;支持?jǐn)z像頭狀態(tài)查詢、參數(shù)遠(yuǎn)程設(shè)置等功能。
本研究提出了較為詳盡的智能圖像水位識(shí)別系統(tǒng)解決方案,認(rèn)為該系統(tǒng)在水文監(jiān)測(cè)領(lǐng)域具有較大的發(fā)展前景。通過建設(shè)智能水位圖像識(shí)別系統(tǒng),打破了傳統(tǒng)水位測(cè)量方式的瓶頸,采用計(jì)算機(jī)圖像處理識(shí)別和深度學(xué)習(xí)模型技術(shù)自動(dòng)處理大量視頻、圖像文件,實(shí)現(xiàn)對(duì)水位智能識(shí)別和分析,從而有效提供自動(dòng)監(jiān)視、閾值設(shè)置、自動(dòng)判斷、智能告警及遠(yuǎn)程監(jiān)控等服務(wù),確保水位測(cè)量數(shù)據(jù)結(jié)果的直觀性、可驗(yàn)證性及數(shù)據(jù)分析過程的可回溯性。應(yīng)用實(shí)例分析采用小龍?zhí)端恼具M(jìn)行水位數(shù)據(jù)比測(cè)分析,根據(jù)比測(cè)結(jié)果可知,智能水位圖像識(shí)別系統(tǒng)到報(bào)率為100%,準(zhǔn)確率達(dá)到 96.1%,水位識(shí)別準(zhǔn)確率較高,為水雨情信息監(jiān)控、洪水災(zāi)害防治及決策提供數(shù)據(jù)支撐。隨著智能水位圖像識(shí)別系統(tǒng)在水文及水利等領(lǐng)域的應(yīng)用,系統(tǒng)的功能也在不斷的完善,除具有監(jiān)測(cè)功能外,還具有滿足汛期運(yùn)行、非汛期空閑、隨時(shí)召測(cè)、數(shù)據(jù)補(bǔ)送、遠(yuǎn)程喚醒等功能特點(diǎn)。