水位圖像識別的場景問題處理方法和技術(shù)

江海洋 ，劉林海 ，李紅石

（1. 浙江省水文管理中心，浙江 杭州 310009； 2. 杭州?？低晹?shù)字技術(shù)股份有限公司，浙江 杭州 310051）

0 引言

圖像識別技術(shù)是人工智能的一個重要領(lǐng)域，是指對圖像進(jìn)行對象處理，以識別各種不同模式的目標(biāo)和對象的技術(shù)。近年來，隨著人工智能技術(shù)的快速發(fā)展，基于人工智能圖像識別技術(shù)的水位監(jiān)測技術(shù)成為研究熱點(diǎn)[1]48[2][3]1。與傳統(tǒng)水位測量相比，基于人工智能圖像識別技術(shù)的水位監(jiān)測技術(shù)具有直觀、建設(shè)成本低、測量方式高效等優(yōu)勢。但由于水本身特性及野外復(fù)雜的光照環(huán)境，基于人工智能圖像識別技術(shù)的水位監(jiān)測技術(shù)并未在水利行業(yè)中推廣應(yīng)用。對圖像識別技術(shù)存在影響的場景因素主要有：水面波浪、水面倒影、水體透明、逆光、太陽陰影、夜間補(bǔ)光過曝、水尺臟污等。

杭州之江水文站是國家重要水文站，水文及光線環(huán)境復(fù)雜，因此選擇在該水文站試驗人工智能圖像識別技術(shù)，以解決由水本身的特性和野外現(xiàn)場環(huán)境應(yīng)用的復(fù)雜性帶來的多個技術(shù)難題，使該技術(shù)實用化。

1 實現(xiàn)原理

基于人工智能圖像識別技術(shù)的水位監(jiān)測原理已經(jīng)有了不少的研究[1]48[3]2，實現(xiàn)原理如下：攝像機(jī)獲得原始圖像后，進(jìn)行射影變換，采用 Otsu 法（最大類間方差法）計算得到二值圖像，再采用形態(tài)學(xué)處理后通過 Canny 算子得到一個有效邊緣值，確定水位坐標(biāo)值，最終利用平滑算法去除隨機(jī)差值。

為解決場景適應(yīng)性問題，增加了 1 個步驟，即攝像機(jī)獲得原始圖像后，首先通過深度學(xué)習(xí)算法在圖像中檢測出水尺，再進(jìn)行射影變換。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個分支，是指在多層神經(jīng)網(wǎng)絡(luò)上運(yùn)用各種機(jī)器學(xué)習(xí)算法解決圖像、聲音文本等各種問題的算法集合，其核心是特征學(xué)習(xí)，旨在通過分層網(wǎng)絡(luò)獲取分層次的特征信息，從而解決以往需要人工設(shè)計特征的重要難題。通過對大量的水尺素材進(jìn)行訓(xùn)練學(xué)習(xí)，攝像機(jī)自動提取水尺的特征，從而在圖像中能檢測出水尺。

2 試驗應(yīng)用系統(tǒng)

2.1 試驗點(diǎn)概況

本次開展應(yīng)用試驗的站點(diǎn)杭州之江水文站是經(jīng)水利部批準(zhǔn)的全國首批國家重要水文站，站址位于富春江、浦陽江和錢塘江三江交匯處下游 3.5 km，杭州市西湖區(qū)雙浦鎮(zhèn)外張村的錢塘江北岸大堤上，集水面積為 41 769 km2，占錢塘江整個流域面積的 75%。

之江水文站設(shè)有豎井式水位臺，并安裝了 1 套浮子式自動水位監(jiān)測系統(tǒng)，在棧橋的 2 個支撐墩之間固定了 5 m 的水尺。

該試驗點(diǎn)場景條件豐富，影響因素多，在測試過程中，受到水體特性和現(xiàn)場外部場景環(huán)境等多重因素的影響。

2.2 試驗站組成

試驗站人工智能圖像識別系統(tǒng)主要組成如下：

1）高清智能攝像機(jī)。采用 200 萬像素水尺讀取智能球形攝像機(jī)，攝像機(jī)內(nèi)置水尺讀取智能算法并支持深度學(xué)習(xí)，能將讀取到的標(biāo)準(zhǔn)水尺圖像直接轉(zhuǎn)化成水位數(shù)據(jù)。

2）水尺。采用采樣尺寸為 1 000 mm×80 mm 的標(biāo)準(zhǔn)水尺，水位讀數(shù)精度為 1 cm；水尺材質(zhì)為不銹鋼，表面有乳白色油漆，標(biāo)志和數(shù)字為黑色，在可見光波段下刻度清晰可辨，在夜間近紅外波段下也具有較高的對比度。

3）平臺。水位數(shù)據(jù)及視頻圖像上傳到 2 個平臺：水位數(shù)據(jù)上傳到浙江省水利防汛通信平臺，方便對數(shù)據(jù)的查看與統(tǒng)計分析；視頻和圖像則上傳到視頻中心平臺，當(dāng)數(shù)據(jù)出現(xiàn)異常時，方便利用視頻圖像分析原因，并與人工觀測數(shù)據(jù)進(jìn)行比對。

4）4G 通信網(wǎng)絡(luò)。人工智能圖像識別系統(tǒng)將采集到的水位數(shù)據(jù)和圖像，按 SL 651—2014《水文監(jiān)測數(shù)據(jù)通信規(guī)約》格式封裝傳輸?shù)狡脚_。通信模塊采用 TD-LTE 制式的 4G 網(wǎng)絡(luò)通信模塊，下行鏈路速度為 100 Mbit/s，上行鏈路速度為 30 Mbit/s，完全滿足高清智能攝像機(jī)實時傳輸水位數(shù)據(jù)、圖像和視頻的要求。

試驗站人工智能圖像識別系統(tǒng)的結(jié)構(gòu)如圖 1 所示。

圖 1 試驗站人工智能圖像識別系統(tǒng)

3 場景問題處理技術(shù)

場景問題分為 2 類，一類是水體特性帶來的影響，另一類是現(xiàn)場應(yīng)用場景的影響。

3.1 水體特性影響

1）水面波浪的影響。水面會有波浪上下起伏，不可避免會帶來較大的隨機(jī)誤差。GB/T 50138—2010《水位觀測標(biāo)準(zhǔn)》對此作了規(guī)定[4]35，有波浪時，可采取下列方法盡量減少因波浪產(chǎn)生的誤差：利用水面的暫時平靜進(jìn)行觀讀，或者觀讀峰、谷水位，取其平均值；多次觀讀，取其平均值。

采用攝像機(jī)識別水位時，如果采用基于單張圖片的識別方法，不可避免會產(chǎn)生較大的隨機(jī)誤差。為此，采用類似于人工多次識別取平均值的方法，即：在一定的時間內(nèi)，截取 n 幀（在算力允許范圍內(nèi)，截取的幀數(shù)盡可能多），對每幀進(jìn)行水位識別，獲得波峰和波谷水位值，然后取平均。

在計算水位的基礎(chǔ)上，再采用滑動平均的方法，進(jìn)一步降低波浪隨機(jī)誤差的影響。

2）水面倒影的影響。平靜的水面會出現(xiàn)水尺清晰的倒影，從而嚴(yán)重干擾圖像識別，難以找到準(zhǔn)確的水位線，原始圖像如圖 2 所示。

圖 2 原始圖像

黃萍萍等[5]對水岸線以下的圖像進(jìn)行了區(qū)域分割處理的研究和試驗，以亮度、飽和度、紋理特征、邊緣檢測和區(qū)域生長等幾種檢測水面倒影的方法，都很難達(dá)到滿意的程度。

通過研究，從算法層面上解決該問題難度很高，因此通過對光線的特性研究，結(jié)合攝像機(jī)的硬件及光學(xué)機(jī)構(gòu)，使水面部分看起來較“暗”，這樣可避免后續(xù)形態(tài)學(xué)處理的錯誤，提升算法的水位線識別率。改進(jìn)后的圖像如圖 3 所示。

圖 3 改進(jìn)后的圖像

3）水體透明的影響。水體透明度高，圖像中很難找到清晰的水位線，找到的水位線比實際水位線低。在實際試驗中，水體濁度在洪水期、枯水期，以及錢塘江的漲潮落潮期反復(fù)變化，圖像識別的水位比真實水位低 2～12 cm，故不能采用固定補(bǔ)償?shù)姆绞郊右孕拚?/p>

解決的辦法類似于水面倒影的解決辦法，通過對光線的特性研究，結(jié)合攝像機(jī)的硬件及光學(xué)機(jī)構(gòu)，使水面部分看起來較“暗”，透明部分也看起來較“暗”，從而降低水體透明的影響。通過持續(xù)的實際測試，圖像識別的水位與真實水位的誤差控制在±2 cm，不再出現(xiàn)明顯偏低的現(xiàn)象。

3.2 現(xiàn)場應(yīng)用場景影響

1）逆光影響。水尺安裝在水位測井、立柱或垂直河岸邊，由于背景較大，水尺曝光正常。但直立在水中央的水尺在逆光的情況下，易出現(xiàn)水尺表面曝光不足導(dǎo)致圖像過暗，無法識別出水位線位置的情況，如圖 4 所示。通過改進(jìn)攝像機(jī)的曝光算法，由平均曝光改為水尺的區(qū)域曝光后，可正常識別出水位線位置。

圖 4 逆光下曝光不足

圖 5 太陽陰影的影響

3）夜間補(bǔ)光過曝。夜間無光的情況下，要獲取水尺圖像必須進(jìn)行補(bǔ)光。攝像機(jī)自帶的紅外燈可進(jìn)行補(bǔ)光，最大補(bǔ)光距離達(dá)到 200 m，可滿足夜間水位監(jiān)測的需要。但對直立在水中央的水尺補(bǔ)光時，由于水尺占整個圖像的面積較小，再加上水體吸光對補(bǔ)光的光線吸收率很高，水體背景較暗，極易導(dǎo)致水尺補(bǔ)光過曝，過爆影響如圖 6 所示。過曝帶來的問題，一方面是水尺特征失去，深度學(xué)習(xí)無法進(jìn)行識別；另一方面是水面太亮，導(dǎo)致水體透明度的影響加大。解決辦法和逆光相同，也是采用區(qū)域曝光的方法解決夜間補(bǔ)光過曝的問題。

圖 6 過曝影響

4）水尺臟污。實際使用過程中，水尺不可避免會出現(xiàn)臟污。如洪水過后，會在高水位處有污泥或油污黏住，或者在水尺中間有水草、塑料袋等掛住。不僅水尺臟污，拼接的 2 根水尺之間的接縫過大，相鄰 2 根水尺的批次不一樣亮度差異明顯，都會導(dǎo)致水位線錯誤的識別，影響如圖 7 所示。通過深度學(xué)習(xí)的算法，對水尺進(jìn)行完整的識別，當(dāng)臟污的部分下面還有水尺刻度和數(shù)字時，則不認(rèn)為臟污部分就是水位分界線，而是繼續(xù)往下尋找，直到找到正確的水位線。

圖 7 水尺臟污的影響

4 試驗結(jié)果分析

4.1 比測資料收集

2019 年 10 月 23 日在之江水文站完成攝像機(jī)安裝、水尺更換、系統(tǒng)調(diào)試，并校對浮子式水位計和攝像機(jī)時間。浮子式水位計和視頻識別的水位數(shù)據(jù)均自動上傳到浙江省水利防汛通信平臺。24 日起正式開始比測。

摘錄到 2019 年 11 月 5 日為止共 13 d 的浮子式水位計和水位圖像識別系統(tǒng)的整點(diǎn)水位數(shù)據(jù)，與此同時采用視頻人工觀測的整點(diǎn)水位作為真值。由于斷電等原因，部分時段無數(shù)據(jù)，共獲得 273 組整點(diǎn)有效數(shù)據(jù)。

由于錢塘江存在潮涌現(xiàn)象，比較結(jié)果覆蓋了2.64～5.41 m 的高、中、低水位。

4.2 允許誤差規(guī)定

GB/T 50138—2010《水位觀測標(biāo)準(zhǔn)》[4]26第 6.2 節(jié)規(guī)定，比測結(jié)果應(yīng)符合下列規(guī)定：一般水位站，置信水平 95% 的綜合不確定度應(yīng)為 3 cm，系統(tǒng)誤差應(yīng)為 ±1 cm；波浪問題突出的近海地區(qū)水位站，綜合不確定度可放寬至 5 cm。

除了上述兩項平臺系統(tǒng)的功能之外，精品課程的在線申請系統(tǒng)同樣也是高校教學(xué)資源庫平臺中的一項重要組成部分。目前，我國部分地區(qū)的高校在教學(xué)管理過程中，新增了一些特色專業(yè)的特色課程。此類院校在進(jìn)行內(nèi)部高校教學(xué)資源庫平臺設(shè)計時，基于JavaEE系統(tǒng)，將更多的精品課程申請流程納入系統(tǒng)平臺中。

4.3 比測誤差分析

系統(tǒng)誤差 Xy"、隨機(jī)不確定度 Xy'、綜合不確定度 Xz分別按照 GB/T 50138—2010《水位觀測標(biāo)準(zhǔn)》[4]68-69附錄 E 中 E.0.6 的公式進(jìn)行計算，計算公式如下：

式中：Pyi為自動監(jiān)測水位；Pi為人工校測水位；n 為比測次數(shù)。

根據(jù)比測資料進(jìn)行計算， 計算得到的系統(tǒng)誤差、置信水平 95% 的綜合不確定度分別為 -0.88，4.27 cm。

由于之江水文站受潮汐影響較大，按照 GB/T 50138—2010《水位觀測標(biāo)準(zhǔn)》[4]26中波浪問題突出的近海地區(qū)水位站的標(biāo)準(zhǔn)，測試結(jié)果的系統(tǒng)誤差和置信水平 95% 的綜合不確定度分別滿足 ± 1 和 5 cm 的要求，但綜合不確定度不滿足 3 cm 的要求。

為了對比浮子式水位計，對之江水文站的浮子式水位計監(jiān)測數(shù)據(jù)也同時進(jìn)行誤差分析，計算得到的系統(tǒng)誤差、置信水平 95% 的綜合不確定度分別為 0.25，4.46 cm。

可以看出，由于之江水文站受潮汐影響較大，即使是安裝在測井中的浮子式水位計，綜合不確定度同樣只能滿足波浪問題突出的近海地區(qū)水位站的 5 cm 的要求，不滿足 3 cm 的要求。

對數(shù)據(jù)進(jìn)行進(jìn)一步分析，水位圖像識別系統(tǒng)的偶然誤差為 -22～1 cm，而浮子式水位計的偶然誤差為 -18～5 cm。無論是水位圖像識別系統(tǒng)還是浮子式水位計，偶然誤差小于等于 -5 cm 或大于等于 5 cm 均發(fā)生在漲潮開始的 2 h 以內(nèi)。將漲潮 2 h 以內(nèi)的數(shù)據(jù)去除，重新統(tǒng)計，結(jié)果如表 1 所示。

表 1 去除漲潮影響后水位圖像識別系統(tǒng)與 浮子式水位計比測結(jié)果

測試結(jié)果表明，在去除漲潮時段數(shù)據(jù)后，測試結(jié)果的系統(tǒng)誤差和置信度為 95% 的綜合不確定度分別滿足 ±1 和 3 cm 的要求。

水位圖像識別系統(tǒng)與浮子式水位計相比，系統(tǒng)誤差相對較大，但置信水平 95% 的綜合不確定度則優(yōu)于浮子式水位計。

4.4 優(yōu)勢分析

與傳統(tǒng)的水位測量方法相比，本次試驗的智能圖像識別水尺系統(tǒng)具有以下特點(diǎn)和優(yōu)勢：

1）建設(shè)成本低。智能圖像識別系統(tǒng)主要依靠高清攝像機(jī)，固定在岸邊一側(cè)的站房或立桿上，免去了傳統(tǒng)水位測量的基礎(chǔ)土建工作。

2）智能化程度高。將人工智能的深度學(xué)習(xí)功能和優(yōu)化的算法都集成到前端高清智能攝像機(jī)上，實現(xiàn)水位與圖像視頻監(jiān)測的雙重監(jiān)測功能。

3）精度較高。對光學(xué)系統(tǒng)和測量算法進(jìn)行了優(yōu)化，解決了水體透明度、陰影、倒影、太陽耀光等多重干擾。通過 6 個月的優(yōu)化和連續(xù) 13 d 的比測，結(jié)果表明，人工智能水位圖像識別系統(tǒng)完全滿足 GB/T 50138—2010《水位觀測標(biāo)準(zhǔn)》的要求。

5 結(jié)語

試驗優(yōu)化過程也表明，采用傳統(tǒng)的灰度閾值判斷的圖像識別算法，結(jié)合攝像機(jī)在曝光、硬件和光學(xué)結(jié)構(gòu)上的優(yōu)化，并不能完全應(yīng)對水位監(jiān)測的復(fù)雜場景，例如太陽陰影、水尺臟污等，只有將傳統(tǒng)的圖像識別算法，結(jié)合最新的深度學(xué)習(xí)對水尺進(jìn)行綜合判斷，才能使圖像識別技術(shù)用于水位監(jiān)測的實際場景。

在人工智能識別系統(tǒng)安裝、調(diào)試、使用過程中，還需注意以下幾點(diǎn)：

1）為保證系統(tǒng)滿足水位測量精度的需求，水尺片采用標(biāo)準(zhǔn)的白底及純藍(lán)和純紅字體及標(biāo)識，夜間紅外補(bǔ)光條件下也應(yīng)有良好的對比度。

2）盡量選擇靠墻安裝。攝像機(jī)與水尺正面的夾角不超過 15°，讀取水尺時俯視角不超過 20°，與水尺的最大距離不超過 50 m。

3）水尺被淹沒或者露出的水面尺寸小于 20 cm時，攝像機(jī)無法讀數(shù)從而出現(xiàn)錯誤的數(shù)據(jù)，因此，水尺的長度應(yīng)保證比最高水位高出 20 cm 以上。

4）漂浮的垃圾對水尺的圖像識別也會造成較大的影響，水尺安裝應(yīng)避開漂浮物易聚集的地方。

基于人工智能圖像識別技術(shù)用于水位監(jiān)測研究和開發(fā)的時間還比較短，隨著今后人工智能技術(shù)的進(jìn)一步發(fā)展，該技術(shù)的穩(wěn)定性和準(zhǔn)確性將會進(jìn)一步得到提升，不僅適用于常規(guī)直立式水尺，也將能適用于傾斜式水尺等多種應(yīng)用場合，甚至可實現(xiàn)無水尺水位的監(jiān)測。

在實際應(yīng)用中，采用 5 s 的數(shù)值平滑不足以消除風(fēng)浪的影響。要降低風(fēng)浪下的不確定度，在算力允許的條件下應(yīng)取更多幀平均，使數(shù)值平滑進(jìn)一步延長。后續(xù)還可從系統(tǒng)算力、算法、圖像畸變校正、更精細(xì)化曝光等方面進(jìn)一步優(yōu)化以提高準(zhǔn)確度。同時由于水位監(jiān)測多在野外，基于人工智能圖像識別技術(shù)的水尺攝像機(jī)也需要降低功耗，可在野外無市電的情況下采用太陽能電池板供電。