基于機(jī)器視覺(jué)的水閘動(dòng)靜一體化位移監(jiān)測(cè)系統(tǒng)

方衛(wèi)華，胡 豐，孫 勇，馬 聰，徐孟啟

（1.水利部南京水利水文自動(dòng)化研究所，江蘇 南京 210012；2.江蘇省秦淮河水利工程管理處，江蘇 南京 210022；3.上海同禾工程科技股份有限公司，上海 200092；4.河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇 南京 211100）

1 概述

近幾年來(lái)，水閘安全性問(wèn)題已引發(fā)各方的高度重視。水利部不僅開(kāi)展了大規(guī)模病險(xiǎn)水閘除險(xiǎn)加固建設(shè)工作，還于2018年頒布了水利行業(yè)標(biāo)準(zhǔn)《水閘安全監(jiān)測(cè)技術(shù)規(guī)范》（SL—768）［1］，這部規(guī)范可為今后的水閘建設(shè)及安全監(jiān)測(cè)工作提供了依據(jù)。然而受水閘運(yùn)行狀態(tài)及環(huán)境影響，危及結(jié)構(gòu)安全的不確定因素較多［2］，傳統(tǒng)監(jiān)測(cè)手段難以排查全部問(wèn)題。

目前水閘安全監(jiān)測(cè)很多都是套用大壩安全監(jiān)測(cè)技術(shù)，實(shí)際上水閘作為薄壁鋼筋混凝土及金屬組合結(jié)構(gòu)，長(zhǎng)期受動(dòng)水壓力作用，在波浪及流動(dòng)水體的作用下，由于液固耦合作用水閘不僅僅存在與大壩一樣的靜態(tài)變形，同時(shí)也存在振動(dòng)等動(dòng)位移、動(dòng)滲流和動(dòng)應(yīng)力。位移監(jiān)測(cè)由于測(cè)值直觀、影響因素少，一直是安全監(jiān)測(cè)的首選項(xiàng)目。眾所周知，結(jié)構(gòu)振動(dòng)過(guò)程中的振幅與頻率能反映結(jié)構(gòu)的健康狀況［3］。相對(duì)于靜態(tài)監(jiān)測(cè)而言，動(dòng)態(tài)監(jiān)測(cè)在模態(tài)分析、損傷識(shí)別方面具有更高的優(yōu)勢(shì)，將動(dòng)靜位移結(jié)合可以更好地分析結(jié)構(gòu)由于動(dòng)靜力影響導(dǎo)致的安全風(fēng)險(xiǎn)，更精準(zhǔn)地實(shí)現(xiàn)預(yù)測(cè)預(yù)警。目前在橋梁、高層建筑的結(jié)構(gòu)健康監(jiān)測(cè)中就采用了振動(dòng)監(jiān)測(cè)方法［4］，但在水閘結(jié)構(gòu)長(zhǎng)期監(jiān)測(cè)中還較少應(yīng)用。目前常規(guī)的電測(cè)振動(dòng)傳感器均是接觸式傳感器，安裝布設(shè)和運(yùn)行維護(hù)存在困難。

隨著科學(xué)技術(shù)的發(fā)展，機(jī)器視覺(jué)技術(shù)已成為一種新的結(jié)構(gòu)振動(dòng)量測(cè)方法［5］，機(jī)器視覺(jué)通過(guò)算法將圖像轉(zhuǎn)換為位移數(shù)據(jù)從而實(shí)現(xiàn)非接觸長(zhǎng)期監(jiān)測(cè)。本文將結(jié)合以上技術(shù)，提出一種基于云邊端協(xié)同的水閘振動(dòng)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)方案，以實(shí)現(xiàn)高精度、自動(dòng)化、智能化監(jiān)測(cè)。

2 系統(tǒng)設(shè)計(jì)及關(guān)鍵技術(shù)

2.1 基本原理

本系統(tǒng)采用機(jī)器視覺(jué)監(jiān)測(cè)原理，即攝像機(jī)固定在水工結(jié)構(gòu)端部的穩(wěn)定基點(diǎn)上（如無(wú)穩(wěn)定基巖則采用雙金屬標(biāo)結(jié)合倒垂修正），待監(jiān)測(cè)水工結(jié)構(gòu)的測(cè)點(diǎn)上設(shè)置靶標(biāo)（靶標(biāo)數(shù)量根據(jù)測(cè)點(diǎn)需要確定），當(dāng)被測(cè)物體發(fā)生位移時(shí)，靶標(biāo)坐標(biāo)也隨之變化，從而通過(guò)機(jī)器視覺(jué)技術(shù)可對(duì)靶標(biāo)進(jìn)行跟蹤計(jì)算，以得到相應(yīng)位置物體表面的位移?；驹砣鐖D1所示。

圖1 機(jī)器視覺(jué)位移測(cè)量原理

2.2 機(jī)器視覺(jué)算法

2.2.1 圖像預(yù)處理

圖像在拍攝過(guò)程中，受各種因素影響不可避免會(huì)產(chǎn)生噪聲，極大影響了圖像質(zhì)量。故在特征提取前，需要對(duì)圖像進(jìn)行預(yù)處理，主要手段包括：直方圖變換和圖像平滑。

直方圖是圖像最基本的統(tǒng)計(jì)特征，是圖像亮度分布的概率密度函數(shù)，反映圖像的清晰程度。直方圖均勻分布時(shí)，圖像最清晰。直方圖均衡化就是將給定圖像的直方圖變換為均勻分布的直方圖，本系統(tǒng)采用直方圖變換。

圖像平滑可消除圖像中的各類噪聲。如椒鹽噪聲是圖像中常見(jiàn)的一種噪聲，由信號(hào)的脈沖強(qiáng)度引起，表現(xiàn)為黑色和白色像素隨機(jī)出現(xiàn)在圖像上，可通過(guò)中值濾波方法來(lái)消除。中值濾波是基于排序統(tǒng)計(jì)理論的一種能有效抑制噪聲的非線性信號(hào)處理技術(shù)，這種濾波器的優(yōu)點(diǎn)是運(yùn)算簡(jiǎn)單而且快速，在濾除疊加白噪聲和長(zhǎng)尾疊加噪聲方面顯示出了極好的性能。中值濾波器在濾除噪聲的同時(shí)又能很好地保護(hù)細(xì)節(jié)信息（如邊緣、銳角等），本系統(tǒng)采用實(shí)用和計(jì)算復(fù)雜度小的中值濾波進(jìn)行圖像平滑處理。

2.2.2 搜索靶標(biāo)區(qū)域

將濾波平滑后的圖像經(jīng)過(guò)圖像分割得到二值圖，并進(jìn)行篩選，找到感興趣區(qū)域（ROI），這個(gè)步驟稱為搜索靶標(biāo)區(qū)域。主要手段包括：圖像分割、ROI篩選。

圖像分割是將圖像分割為互不相交的區(qū)域，可通過(guò)圖像二值化來(lái)實(shí)現(xiàn)。若一幅圖像只含兩個(gè)灰度級(jí)，則稱這幅圖像為二值圖像。二值圖像具有存儲(chǔ)容量小，計(jì)算速度快，便于進(jìn)行布爾運(yùn)算、提取目標(biāo)物的幾何特征的優(yōu)點(diǎn)。圖像二值化不等同于圖像黑白化，實(shí)質(zhì)是一種模式分類方法，即將用L個(gè)灰度級(jí)表示的圖像用兩個(gè)有特殊含義的灰度級(jí)來(lái)表示，一個(gè)灰度級(jí)表示背景，另一個(gè)灰度級(jí)表示前景。

圖像經(jīng)過(guò)二值化后，即可根據(jù)目標(biāo)物的幾何特性、拓?fù)涮匦缘冗M(jìn)行形態(tài)學(xué)分析，篩選出感興趣區(qū)域（靶標(biāo)區(qū)域）即ROI篩選。

2.2.3 特征提取匹配與位移計(jì)算

通過(guò)二值圖篩選出靶標(biāo)區(qū)域后，便可利用特征提取匹配算法得到特征點(diǎn)坐標(biāo)，進(jìn)而計(jì)算出目標(biāo)的真實(shí)位移。特征點(diǎn)可以選擇圖像亮度變化劇烈的點(diǎn)或圖像邊緣曲線上具有曲率極大值的點(diǎn)，常用的特征點(diǎn)檢測(cè)算法有Harris算法、Susan算法等［6］。

2.2.4 算法流程

按機(jī)器視覺(jué)方法測(cè)量靶標(biāo)位移算法流程如圖2所示，最終位移結(jié)果發(fā)送至云端保存。

圖2 算法流程

2.3 關(guān)鍵問(wèn)題及解決方法

2.3.1 日夜連續(xù)監(jiān)測(cè)問(wèn)題

采用可見(jiàn)光／紅外雙光相機(jī)，同時(shí)采用夜間補(bǔ)光定位方式，相關(guān)相機(jī)技術(shù)指標(biāo)為系統(tǒng)分辨率：1/100 000FOV（視場(chǎng)范圍）；圖像傳感器分辨率：不低于3 840×2 160；系統(tǒng)精度：±1/50 000FOV（視場(chǎng)范圍）；測(cè)量距離：0～400 m；防護(hù)等級(jí)：IP65；工作溫度：-40～80℃。

2.3.2 圖像處理速度問(wèn)題

為提高圖像處理速度，采用嵌入式系統(tǒng)邊緣計(jì)算方式，智能嵌入式系統(tǒng)與相機(jī)采用一體化設(shè)計(jì)，內(nèi)置AI算法能自動(dòng)修正轉(zhuǎn)角及距離影響，無(wú)需測(cè)距與調(diào)平；自動(dòng)進(jìn)行溫度補(bǔ)償修正；去霧算法，克服水閘運(yùn)行水霧以及天氣大霧影響；利用邊緣計(jì)算設(shè)備先將圖像轉(zhuǎn)換為位移數(shù)據(jù)，再將位移數(shù)據(jù)通過(guò)網(wǎng)絡(luò)上傳至云端，減少傳輸帶寬要求。

2.3.3 溫度漂移問(wèn)題

全面考慮相機(jī)系統(tǒng)結(jié)構(gòu)的各部件熱影響以及溫度對(duì)紅外傳感器的影響，從儀器設(shè)備選型、配套溫度控制裝置以及恒溫保證裝置設(shè)計(jì)、溫度補(bǔ)償修正算法等方面入手，系統(tǒng)解決本變形監(jiān)測(cè)系統(tǒng)的溫度漂移問(wèn)題。

3 監(jiān)測(cè)系統(tǒng)架構(gòu)

3.1 系統(tǒng)整體設(shè)計(jì)

水閘振動(dòng)監(jiān)測(cè)系統(tǒng)包含硬件及軟件部分，為實(shí)現(xiàn)自動(dòng)化的監(jiān)測(cè)及預(yù)警，監(jiān)測(cè)系統(tǒng)采用分層架構(gòu)，分為傳感層、采集傳輸層和數(shù)據(jù)管理層，如圖3所示。傳感層為硬件層，類似于人類的感官系統(tǒng)，通過(guò)傳感器采集各種物理量及環(huán)境量，包括位移、應(yīng)力、振動(dòng)、噪聲、水情、雨情傳感器等；采集傳輸層為中間層，連接硬件層和軟件層，包括通用數(shù)據(jù)網(wǎng)關(guān)和云數(shù)據(jù)服務(wù)接口部分，傳感器數(shù)據(jù)首先匯總到通用數(shù)據(jù)網(wǎng)關(guān)，然后再由網(wǎng)關(guān)將數(shù)據(jù)傳送到云數(shù)據(jù)服務(wù)接口；數(shù)據(jù)管理層是軟件層，類似于人類的大腦，不僅保存數(shù)據(jù)，還要對(duì)數(shù)據(jù)進(jìn)行分析及預(yù)測(cè)，通常部署在云端。

圖3 監(jiān)測(cè)系統(tǒng)分層架構(gòu)

3.2 機(jī)器視覺(jué)測(cè)量?jī)x軟硬件集成

機(jī)器視覺(jué)智能測(cè)量?jī)x為裝有嵌入式系統(tǒng)的邊緣計(jì)算設(shè)備，軟硬件均采用分層架構(gòu)。硬件架構(gòu)包括通訊層、傳感層、計(jì)算層及電源層，如圖4所示。軟件架構(gòu)如圖5所示，將嵌入式系統(tǒng)軟件從下至上分為HAL（Hardware Abstraction Layer）層、基礎(chǔ)算法層、測(cè)量算法層與業(yè)務(wù)層，實(shí)現(xiàn)軟件與硬件的解耦，便于集成與測(cè)試。

圖4 測(cè)量?jī)x硬件架構(gòu)

圖5 嵌入式系統(tǒng)軟件架構(gòu)

HAL層負(fù)責(zé)實(shí)現(xiàn)硬件的虛擬化，包括CMOS感光芯片的驅(qū)動(dòng)，通過(guò)MIPI協(xié)議，實(shí)現(xiàn)高清視頻圖像的傳輸；IRIS光圈驅(qū)動(dòng)實(shí)現(xiàn)對(duì)鏡頭光圈的控制；通過(guò)FLASH抽象庫(kù)，實(shí)現(xiàn)片上存儲(chǔ)空間的驅(qū)動(dòng)，用于測(cè)量數(shù)據(jù)的存儲(chǔ)；通過(guò)WIFI/網(wǎng)口Ethernet芯片驅(qū)動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)通訊功能。其他上層模塊只需要調(diào)用HAL層的軟件接口，就可以實(shí)現(xiàn)嵌入式系統(tǒng)硬件的調(diào)用與集成。

基礎(chǔ)算法層，提供上層多種基礎(chǔ)算法，包括矩陣計(jì)算、FFT、卷積神經(jīng)網(wǎng)絡(luò)、特征算子、圖像放大、縮小、旋轉(zhuǎn)等線性變換。實(shí)現(xiàn)基礎(chǔ)算法復(fù)用，降低開(kāi)發(fā)、測(cè)試與維護(hù)的成本。

測(cè)量算法層，是在基礎(chǔ)算法層的基礎(chǔ)上，進(jìn)行圖像處理，獲取最終的微變形數(shù)據(jù)。包括圖像預(yù)處理、圖像分割與ROI區(qū)域選取、特征匹配、位移計(jì)算等重點(diǎn)算法。

業(yè)務(wù)層，主要處理程序的業(yè)務(wù)邏輯，實(shí)現(xiàn)現(xiàn)場(chǎng)調(diào)試、參數(shù)配置、測(cè)量流程控制、數(shù)據(jù)上傳等邏輯，用戶通過(guò)界面與該層進(jìn)行交互。

本次監(jiān)測(cè)研發(fā)系統(tǒng)最高采樣頻率為60 Hz，監(jiān)測(cè)距離為0～400 m。機(jī)器視覺(jué)智能測(cè)量?jī)x和靶標(biāo)通過(guò)定制支架安裝在既有觀測(cè)墩上，現(xiàn)場(chǎng)布設(shè)紅外補(bǔ)光燈確保夜間及雨霧天氣下觀測(cè)不受影響。

3.3 數(shù)據(jù)管理平臺(tái)

數(shù)據(jù)管理平臺(tái)部署在云端，由虛擬主機(jī)和數(shù)據(jù)庫(kù)組成，包含數(shù)據(jù)管理與數(shù)據(jù)分析程序，可實(shí)現(xiàn)以下功能：

數(shù)據(jù)分析。對(duì)原始數(shù)據(jù)進(jìn)行分析整理。剔除異常數(shù)據(jù)，建立異常數(shù)據(jù)檔案，由人工判斷產(chǎn)生原因。將正常數(shù)據(jù)保存至數(shù)據(jù)庫(kù)，并對(duì)數(shù)據(jù)做傅里葉變換，得到時(shí)域與頻率分布曲線。

數(shù)據(jù)可視化。為實(shí)現(xiàn)數(shù)據(jù)的可視化，建立Web端數(shù)據(jù)顯示界面，可在瀏覽器中輸出位移、加速度等物理量變化曲線，可視化界面如圖6所示。

圖6 數(shù)據(jù)可視化界面

監(jiān)測(cè)與預(yù)警。通過(guò)數(shù)據(jù)監(jiān)測(cè)，可實(shí)時(shí)獲取水閘的振動(dòng)頻率和振幅，得到結(jié)構(gòu)剛度的變化趨勢(shì)，掌握水閘的健康狀態(tài)。建立分級(jí)預(yù)警管理制度，預(yù)警等級(jí)根據(jù)測(cè)項(xiàng)的實(shí)測(cè)值占最終控制值的占比分為三級(jí)（70%）、二級(jí)（80%）、一級(jí)（100%）3個(gè)級(jí)別，當(dāng)處于不同預(yù)警等級(jí)時(shí)，采取相應(yīng)的應(yīng)對(duì)措施。

4 室內(nèi)及現(xiàn)場(chǎng)測(cè)試

4.1 室內(nèi)測(cè)試

室內(nèi)測(cè)試選擇在高精密三坐標(biāo)機(jī)器，采用高精密絲桿（參考螺旋測(cè)微器設(shè)計(jì)）驅(qū)動(dòng)標(biāo)靶做二維運(yùn)動(dòng)，標(biāo)靶位移由本系統(tǒng)和二維激光變形監(jiān)測(cè)裝置同步測(cè)量。為盡量逼近室外環(huán)境，率定室不設(shè)空調(diào)，窗口敞開(kāi)，經(jīng)過(guò)一個(gè)完整年周期試驗(yàn)測(cè)量。由于激光DIC測(cè)值精度為0.01 mm，所以以此為基準(zhǔn)，每天測(cè)量一次，共獲得365對(duì)本裝置與激光測(cè)值。計(jì)算誤差得到水平方向?yàn)?.28 mm、豎直方向0.36 mm。

4.2 現(xiàn)場(chǎng)測(cè)試

選擇典型水閘，要求其位于水閘工程上下游水頭變化幅度盡可能大、頻次盡可能頻繁，以檢驗(yàn)本系統(tǒng)動(dòng)態(tài)測(cè)量能力；選擇盡可能水霧或大霧天氣比較多的地方，以檢驗(yàn)環(huán)境因素對(duì)本系統(tǒng)的影響；選擇已經(jīng)安裝運(yùn)行穩(wěn)定變形監(jiān)測(cè)系統(tǒng)，以檢驗(yàn)本系統(tǒng)的測(cè)量精度。

綜合以上方面，選擇的典型工程特征如下：工程為Ⅰ等工程，主要建筑物擋潮泄洪閘、堵壩、岸墻、翼墻組成，擋潮泄洪閘總凈寬560 m，閘底板高程-0.5 m，共設(shè)28孔，閘孔凈寬采用20.0 m。擋潮閘垂直水流方向總長(zhǎng)697 m，順?biāo)鞣较蜷L(zhǎng)502.5 m。工程于2005年12月29日開(kāi)工，全部工程于2007年4月22日完工。經(jīng)過(guò)水位變化3個(gè)月的測(cè)量與已有引張線-靜力水準(zhǔn)變形監(jiān)測(cè)自動(dòng)化系統(tǒng)同步監(jiān)測(cè)，采用誤差傳導(dǎo)公式得到本系統(tǒng)水平方向測(cè)值精度計(jì)算中誤差為0.88 mm、豎直方向測(cè)值精度計(jì)算中誤差得到0.96 mm。圖7為10月4—5日夜間（18：00—次日06：00）時(shí)間段內(nèi)1～6號(hào)靶標(biāo)水平和豎向位移與江水位對(duì)比情況，靶標(biāo)水平位移以順江流向?yàn)檎?，靶?biāo)豎向位移以向上為正。

圖7 試測(cè)位移變化曲線

由圖9可知：（1）水平方向上隨著漲潮和潮水有倒，在壓力差作用下，閘體產(chǎn)生向上游的位移，當(dāng)潮水達(dá)到最高水位時(shí)，閘體的水平位移也幾乎同步達(dá)到極值，隨后伴隨退潮，壓力消散，閘體水平變形恢復(fù)；（2）豎向方向上，漲潮時(shí)閘體有上浮的趨勢(shì)，當(dāng)潮水達(dá)到最高水位時(shí)，閘體的豎向位移也幾乎同步達(dá)到極值，隨后伴隨退潮，壓力消散，閘體豎向變形恢復(fù)。

由此可見(jiàn)，本系統(tǒng)能精準(zhǔn)捕捉水閘變形，發(fā)現(xiàn)常規(guī)監(jiān)測(cè)難以發(fā)現(xiàn)的變形規(guī)律。

4.3 綜合技術(shù)指標(biāo)及系統(tǒng)特點(diǎn)

4.3.1 綜合技術(shù)指標(biāo)

根據(jù)室內(nèi)外試驗(yàn)結(jié)果綜合分析，考慮到各類誤差傳導(dǎo)，確定本系統(tǒng)的綜合技術(shù)指標(biāo)如下：

（1）監(jiān)測(cè)物理量：同時(shí)測(cè)量豎向與水平二維位移；（2）最高采樣頻率：60 Hz；（3）位移測(cè)量精度：水平1 mm，豎直1.2 mm（視場(chǎng)范圍）；（4）測(cè)量距離：0～400 m；（5）防護(hù)等級(jí)：IP65；（6）工作溫度：-40～80℃；（7）系統(tǒng)功率7～10 W；（8）通訊接口：Ethernet（支持POE供電）。

經(jīng)過(guò)與相應(yīng)科研項(xiàng)目要求對(duì)比發(fā)現(xiàn)，本技術(shù)指標(biāo)全面達(dá)到或超過(guò)任務(wù)書(shū)要求。

4.3.2 系統(tǒng)特點(diǎn)

非接觸式測(cè)量，安裝調(diào)試方便，不受現(xiàn)場(chǎng)惡劣環(huán)境干擾，不影響水閘的正常運(yùn)行，適合在大中小各類型水閘中使用。

測(cè)量精度高，有效測(cè)量精度可達(dá)1/50 000視場(chǎng)角，對(duì)水閘可實(shí)現(xiàn)亞毫米級(jí)位移監(jiān)測(cè)。

實(shí)時(shí)數(shù)據(jù)提取，利用邊緣計(jì)算設(shè)備，可直接提取水閘位移及振動(dòng)數(shù)據(jù)，避免了圖像網(wǎng)絡(luò)傳輸造成的延時(shí)。

實(shí)現(xiàn)靜動(dòng)力全監(jiān)測(cè)，由位移監(jiān)測(cè)數(shù)據(jù)不僅能得到水閘的動(dòng)態(tài)響應(yīng)，還能獲取水閘長(zhǎng)期沉降及變形情況。

自動(dòng)化智能化監(jiān)測(cè)，從位移測(cè)量到分析預(yù)警全過(guò)程均由智能程序?qū)崿F(xiàn)，無(wú)需人工操作。

5 結(jié)論

本文基于邊緣計(jì)算與機(jī)器視覺(jué)技術(shù)研制了水閘變形一體化監(jiān)測(cè)系統(tǒng)，室內(nèi)和現(xiàn)場(chǎng)測(cè)試表明，系統(tǒng)綜合技術(shù)指標(biāo)達(dá)到或超過(guò)項(xiàng)目任務(wù)書(shū)要求，具有進(jìn)一步在示范工程應(yīng)用推廣的條件。