智慧視頻識別在水利信息化中的應用 *

董晨龍李 宏李文駒嚴 華3

(1.成都萬江港利科技股份有限公司，成都，610015；2.四川大學智能控制研究所，成都，610065；3.四川大學水利信息化聯(lián)合實驗室，成都，610065)

隨著經(jīng)濟社會的不斷進步、信息技術的迅猛發(fā)展和水利事業(yè)的全面推進，大力推進水利信息化已成為一種趨勢[1-3]。水利圖像視頻監(jiān)控[4]作為水利信息化的重要內(nèi)容，在水利業(yè)務管理方面發(fā)揮著重要作用。目前水利圖像視頻監(jiān)控系統(tǒng)多采用數(shù)字視頻處理編碼技術，對水雨情、工情、災情等現(xiàn)場進行圖像視頻采集錄像與傳輸存儲，這類系統(tǒng)存在一個主要問題：“重硬件采集”、“輕數(shù)據(jù)處理”，無法發(fā)揮圖像視頻信息的內(nèi)在價值[5-6]。監(jiān)控系統(tǒng)的分析判斷主要依靠人工完成，存在漏報誤報率較高、反應不及時、智能化程度不高等問題，導致圖像視頻信息無法真正發(fā)揮使用價值。同時，水利圖像視頻監(jiān)控對象常常遇到交通不便、現(xiàn)場環(huán)境惡劣、人工管理難度大等情況，傳統(tǒng)的圖像視頻監(jiān)控系統(tǒng)的通信存在較大的限制。

本文提出了一種智慧視頻識別系統(tǒng)，其在國內(nèi)首次將圖像視頻處理、模式識別、人工智能等技術應用到水利行業(yè)水資源與水利工程的相關數(shù)據(jù)采集監(jiān)測系統(tǒng)中。該系統(tǒng)由實時智能圖像視頻采集與自動分析兩部分組成，通過對水源地、河流防洪地區(qū)和水庫等關鍵點的實時視頻監(jiān)控，智能系統(tǒng)能及時對可能或正在發(fā)生的汛情、險情、災情進行動態(tài)監(jiān)視和分析報警，充分發(fā)揮視頻技術在水利信息化中的作用。

1 智慧視頻識別系統(tǒng)的設計

本文設計的智慧視頻識別系統(tǒng)是一種基于機器視覺的系統(tǒng)[7]，機器視覺系統(tǒng)一般結(jié)構(gòu)如圖1所示，主要包含圖像采集單元、圖像傳輸單元以及圖像分析單元。運用到的技術包括：機器視覺技術、深度學習技術以及近景攝影測量技術。主要工作機理為圖像采集單元將場景信息進行實時采集，采集完畢后通過圖像傳輸單元上傳至機器視覺分析服務器，圖像分析單元結(jié)合相關圖像處理算法實時對場景圖像進行分析，管理人員可以根據(jù)分析結(jié)果做出更準確的決策

圖1 機器視覺系統(tǒng)的一般結(jié)構(gòu)

1.1 智慧視頻識別系統(tǒng)組成

本系統(tǒng)在機器視覺系統(tǒng)的一般結(jié)構(gòu)上做了相應的設計與改進，將系統(tǒng)分為智能圖像視頻采集子系統(tǒng)和智能圖像視頻處理中心平臺子系統(tǒng)兩部分，二者通過有線或者無線的方式聯(lián)通。具體結(jié)構(gòu)如圖2所示

智能圖像視頻采集子系統(tǒng)也稱前端子系統(tǒng)，主要任務是通過部署在監(jiān)控點的嵌入式采集設備接入前端監(jiān)控攝像機的實時視頻。該子系統(tǒng)具有通用智能監(jiān)控功能以及水利智能圖像視頻處理功能，并可以對水位、流速、含沙量、天氣狀況等水文特征參數(shù)進行圖像預處理。系統(tǒng)能夠與智能圖像視頻處理中心平臺子系統(tǒng)進行信息交互，并支持分析信息與告警信息存儲、轉(zhuǎn)發(fā)、遠程設置等功能且系統(tǒng)在野外環(huán)境下具有較高的穩(wěn)定性。

智能圖像視頻處理中心平臺子系統(tǒng)由部署在視頻監(jiān)控中心的高性能服務器與VPN網(wǎng)關等設備組成。通過連接前端子系統(tǒng)能夠?qū)η岸俗酉到y(tǒng)進行遠程設置，能夠?qū)η岸说姆治鼋Y(jié)果進行管理和顯示；能夠?qū)崿F(xiàn)對前端視頻實時顯示、存儲與檢索回放；并能支持復雜的多路智能圖像視頻處理算法；支持復雜的多路水位、流速、含沙量、天氣狀況、水利場景等特征參數(shù)精確計算以及與常用視頻監(jiān)控系統(tǒng)的集成。

圖2 水利智能圖像視頻采集與處理系統(tǒng)結(jié)構(gòu)

1.2 智慧視頻識別系統(tǒng)功能指標及性能指標

智慧視頻識別系統(tǒng)目前具有五個主要功能，包括：圖像增強功能、通用視頻監(jiān)控功能、智能監(jiān)控分析功能、水利視頻專業(yè)分析功能和輔助功能。

圖像增強功能對野外低質(zhì)量圖像視頻進行增強處理，改善圖像視覺效果。支持對霧天圖像、低照度圖像、夜晚圖像的圖像效果實時改善。

通用視頻監(jiān)控功能包括圖像視頻采集、存儲、回放、檢索、轉(zhuǎn)發(fā)、顯示等功能。

智能監(jiān)控分析功能能夠?qū)崿F(xiàn)穿越警戒線檢測、進入離開入侵區(qū)域檢測、重要水利設施搬移、煙霧以及視頻異常檢測。

水利視頻專業(yè)分析功能包括水位、水色、流速、含沙量等水文水資源要素檢測，還包括水面漂浮物檢測以及違規(guī)行為(釣魚、游泳等)分析等功能。

輔助功能主要包括用戶管理、日志管理、系統(tǒng)參數(shù)配置和吿警信息管理等。

系統(tǒng)的性能指標包括：系統(tǒng)支持壓縮與原始圖像視頻檢測，支持D1、H264格式視頻實時檢測；在保持90%的極高檢測率的同時，每路具有少于5次/d的極低誤報率；在野外惡劣天氣環(huán)境、低能見度、低光照度等條件下檢測水利關鍵目標；視頻傳輸和智能報警延時小于0.2s；系統(tǒng)的平均無故障工作時間MTBF>30000h；支持16×16像素的小目標檢測；支持每秒25幀圖像實時增強；系統(tǒng)具有自學習自適應調(diào)整功能；系統(tǒng)提供Web Service開放接口。

1.3 智慧視頻識別系統(tǒng)工作原理

通過布置在前端的監(jiān)控攝像機實時對場景進行監(jiān)控，對場景內(nèi)包含的物體(水體、堤岸和船只等)做初步判斷，并將捕獲到的監(jiān)控視頻通過有線或者無線的方式實時傳送到數(shù)據(jù)中心的服務器。當監(jiān)控攝像機初步判斷出目標檢測物時，服務器首先增強圖像視頻數(shù)據(jù)，并對視頻中目標檢測物進行識別并將其分為靜態(tài)和動態(tài)目標兩類。對靜態(tài)目標，例如水體、水尺、堤壩等目標的識別，根據(jù)圖像的多種特征與水文水資源實時數(shù)據(jù)(水位、水色、流量、含沙量、水質(zhì)、水生態(tài)等)的關系與數(shù)學模型，分析計算水文水資源參數(shù)；對于運動的目標，如漂浮物、船只等感興趣目標的行為與軌跡進行跟蹤分析，由決策報警模塊根據(jù)視頻圖像處理的結(jié)果和預定的報警規(guī)則，自動啟動報警的判斷與決策。主要流程如圖3所示。

圖3 智慧視頻識別系統(tǒng)工作流程

在整個過程中使用到的主要算法包括圖像分割算法以及卷積神經(jīng)網(wǎng)絡算法。

第一步，教師審閱班級學生習作，將需要面批的學生叫上講臺。第二步，教師就學生習作中的行文思路、表達主旨、篇章結(jié)構(gòu)和遣詞用句進行詢問，根據(jù)學生回答加以引導。第三步，學生根據(jù)教師的引導理清思路，并整理出修改意見，最終形成升格作文給教師復評。

(1)圖像分割算法

圖像分割算法主要使用的是邊緣檢測方法，邊緣檢測的實質(zhì)是提取出圖像中前景與背景間的交界線。本系統(tǒng)中邊緣檢測算法的算子采用Canny 算子，Canny 算子是先對處理的圖像進行微分運算，因為圖像的邊緣處灰度變化較大，所以該處的微分計算值就較高，這樣可以通過閾值的判斷來提取邊緣點，如果微分值大于閾值，則為邊緣點，否則就不是邊緣點。

(2)卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡是一種前饋神經(jīng)網(wǎng)絡和多層神經(jīng)網(wǎng)絡，由輸入層、卷積層、激活函數(shù)層、池化層、全連接層及輸出層組成。

本系統(tǒng)利用卷積神經(jīng)網(wǎng)絡來識別水位標尺字符，算法實現(xiàn)過程為輸入原始數(shù)據(jù)，經(jīng)過卷積、激活函數(shù)及池化等層層操作，將原始數(shù)據(jù)中的高層語義概念剝離出來。通過誤差函數(shù)計算真實值和輸出值之間的誤差值，反向逐層反饋，更新每層參數(shù)，通過前饋運算與反饋運算，最終使模型收斂，實現(xiàn)完成訓練的目的。同時，卷積神經(jīng)網(wǎng)絡的性能與所提供的訓練樣本息息相關，好的訓練樣本需要同時滿足樣本數(shù)量和樣本質(zhì)量兩方面的要求。因此，收集大量高質(zhì)量的樣本是至關重要的，直接影響到最終水位觀測結(jié)果的準確性。由于在日常的水位觀測中，會有氣象、光照、風浪等因素的影響，因此，本系統(tǒng)選取了大量具有代表性的水尺圖像，形成多幅帶干擾的字符圖像，通過這些圖像整理出多組樣本?？紤]到在分割的時候去除了很多干擾，所以選取噪聲少的樣本用來訓練卷積神經(jīng)網(wǎng)絡。

2 智慧視頻識別系統(tǒng)的應用

2.1 水位自動監(jiān)測

智慧視頻識別系統(tǒng)的水位自動監(jiān)測系統(tǒng)由前端子系統(tǒng)，傳輸子系統(tǒng)，中心子系統(tǒng)以及移動端APP四部分組成。前端子系統(tǒng)包括機器視覺分析儀、專用水位標尺、太陽能供電系統(tǒng)以及避雷防雷系統(tǒng)；傳輸子系統(tǒng)由一臺北斗通信機組成；中心子系統(tǒng)是一套機器視覺分析服務器。整個系統(tǒng)的布設如圖4所示。該系統(tǒng)能夠?qū)崿F(xiàn)全自動化水位值測讀，且測量量程可定制，水位測量精度為≤±1cm，支持自定義采集周期；能夠?qū)v史數(shù)據(jù)存儲，并對水勢結(jié)果進行分析，可實時展示水位信息；當水位超出預設閾值時，能夠發(fā)出預警信息。

圖4 水位自動監(jiān)測系統(tǒng)組成示意

通過在水位監(jiān)測點布設水位自動監(jiān)測系統(tǒng)，利用機器視覺技術，從而實現(xiàn)水位標尺的自動測讀[8-9]。水位標尺的自動測讀具體實現(xiàn)過程如圖5所示。首先采集當前幀水尺圖像，對圖像進行類型變換、去噪濾波、疊加平滑、二值化等一系列圖像預處理操作，再采用Hough 變換算法對水尺圖像進行傾斜校正，截取水尺目標區(qū)域的圖像，對水尺目標區(qū)域進行圖像畸變校正以及增強處理，提取水位線和水尺頂部邊緣線位置，按水尺頂部和水位線的行坐標對水尺目標區(qū)域進一步截取，以得到最終的水尺目標。根據(jù)水尺刻度線定位和數(shù)字字符圖像，對該數(shù)字字符圖像進行預處理，再采用卷積神經(jīng)網(wǎng)絡對分割出的數(shù)字字符進行識別，即可確定水位值。實地試驗演示如圖6所示。

圖5 水位自動測讀執(zhí)行流程

圖6 水位自動監(jiān)測系統(tǒng)實地試驗演示

2.2 水色自動監(jiān)測

智慧視頻識別系統(tǒng)的水色自動監(jiān)測系統(tǒng)同樣由四大部分組成，其前端子系統(tǒng)中不包含專用水位標尺，其余組成部分均與水位自動監(jiān)測系統(tǒng)組成相同。整個系統(tǒng)的布設如圖7所示。該系統(tǒng)能夠?qū)崿F(xiàn)全自動化水色識別；支持洪水、水質(zhì)富營養(yǎng)化等事件檢測，并且支持事件顏色自定義；能夠?qū)崿F(xiàn)顏色驟變檢測，支持色度變化速率自定義；支持自定義采集周期；支持觀測畫面存檔；當檢測到水質(zhì)顏色變化時，會發(fā)布預警信息；還具有水色變化大數(shù)據(jù)分析，能夠?qū)崟r展示水色信息。

圖7 水色自動監(jiān)測系統(tǒng)及漂浮物自動監(jiān)測系統(tǒng)組成示意

通過在水色監(jiān)測點布設機器視覺水色自動監(jiān)測系統(tǒng)，利用機器視覺技術，實現(xiàn)水色的自動識別、事件檢測和水色驟變檢測[10]。水色檢測具體實現(xiàn)過程如圖8所示。首先采集當前場景圖像，在圖像中提取若干子區(qū)域樣本，對樣本圖像進行校正，去除圖像中的陰影和反光，結(jié)合相關顏色識別算法，例如色差法，對提取的樣本進行顏色分析，與事先訓練好的顏色信息值以及事件信息進行對比，判斷水質(zhì)顏色、判斷是何種水質(zhì)事件以及判斷水色是否發(fā)生了驟變。實地試驗演示如圖9所示。

圖8 水色檢測流程

圖9 水色自動監(jiān)測系統(tǒng)實地試驗演示

2.3 漂浮物自動監(jiān)測

智慧視頻識別系統(tǒng)的漂浮物自動監(jiān)測系統(tǒng)與水色自動監(jiān)測系統(tǒng)有著相同的系統(tǒng)組成。整個系統(tǒng)的布設如圖7所示。該系統(tǒng)能夠?qū)崿F(xiàn)全自動化水面漂浮物檢測，若檢測到水面漂浮物面積超過限制時，會發(fā)布預警信息且能夠?qū)崟r展示漂浮物信息。

通過漂浮物監(jiān)測點布設機器視覺漂浮物自動監(jiān)測系統(tǒng)，利用機器視覺技術，實現(xiàn)水面漂浮物的自動檢測[11]。漂浮物檢測具體實現(xiàn)過程如圖10所示。首先采用自適應背景模型創(chuàng)建背景圖像，然后利用當前圖像與背景圖像相差分的技術檢測出圖像中的變化區(qū)域，再從所有變化區(qū)域中將對應于漂浮物的區(qū)域單獨提取出來。用卷積神經(jīng)網(wǎng)絡算法對水面漂浮物樣本特征進行訓練，建立漂浮物分類器；對檢測出來的漂浮物進行特征化，將特征化后的數(shù)據(jù)輸入分類器中，根據(jù)輸出數(shù)據(jù)決定其屬類。實地試驗演示如圖11所示。

圖10 漂浮物自動檢測流程

圖11 漂浮物自動監(jiān)測系統(tǒng)實地試驗演示

目前智慧視頻識別系統(tǒng)已投入到四川省都江堰灌區(qū)人民渠一處運行。圖12為四川省都江堰灌區(qū)人民渠一處網(wǎng)頁端操控界面。由圖12可以看出，子畫面1～3用于實時顯示水位信息，通過多畫面對比，能得到更加精確的結(jié)果。子畫面4～8用于檢測水色以及漂浮物，左側(cè)為預警信息流，對漂浮物分類識別后，檢測出河流中垃圾含量超標，提醒工作人員采取相關措施。

圖12 四川省人民渠網(wǎng)頁端操控界面

3 總結(jié)

本文以水利信息化為前提，展現(xiàn)了智能視頻識別系統(tǒng)在水利信息化中的建設思路及應用效果。智能視頻識別系統(tǒng)的使用是為了更好地利用現(xiàn)代通信、計算機網(wǎng)絡等信息技術，深入開發(fā)和利用水利信息資源，實現(xiàn)水利信息的采集、輸送、存儲、處理和服務的現(xiàn)代化，全面提升水利事業(yè)活動效率和效能，全面實現(xiàn)水利信息化，提高水利行業(yè)的科學管理水平。

智慧視頻識別系統(tǒng)的研制與建設對于推進河流治理、防汛抗旱工作以及水資源調(diào)控具有重要價值；同時對于保障人民群眾生命財產(chǎn)安全，有效減輕洪澇災害和水污染損失，改善民生和維護社會穩(wěn)定，支撐經(jīng)濟社會可持續(xù)發(fā)展也具有十分重要的作用。