基于無人機巡檢的渠道襯砌破損圖像識別方法研究

馬金龍，于 沭，王國志，蘇安雙，張國英，王雙敬，陳路豪，李兆宇

(1.黑龍江省引嫩工程建設管理局，黑龍江 大慶 163316；2．中國水利水電科學研究院，北京 100048；3．黑龍江省水利科學研究院，黑龍江 哈爾濱 100080；4．中國礦業(yè)大學(北京)，北京 100083)

渠道作為一種重要的輸配水建筑物，在實際工程中應用廣泛，但在其所處工作環(huán)境發(fā)生變化時，會面臨凍脹破壞以及其他類型的破壞。由于渠道線路長、分布范圍廣，受交通條件以及氣候條件的影響，傳統(tǒng)的人工現(xiàn)場排查很難及時準確的發(fā)現(xiàn)破損現(xiàn)象。此外人工檢測時檢測人員對是否發(fā)生破壞以及破壞程度判斷的主觀因素較大，對破損情況判斷或存在一定偏差。因此有必要借助一些現(xiàn)代化手段如無人機、攝像頭等工具對渠道的破壞進行檢查，并輔以圖像識別技術(shù)對其破損情況進行自動識別判斷。

目前，利用無人機結(jié)合圖像識別技術(shù)檢測渠道破壞的研究較少，但隨著無人機技術(shù)及圖像識別技術(shù)的進步，越來越多的學者開始使用無人機巡檢結(jié)合圖像識別技術(shù)進行相關(guān)領(lǐng)域的研究。路宏遙[1]利用無人機技術(shù)檢測結(jié)構(gòu)損傷，提高了檢測效率并滿足自動化作業(yè)的工作要求。傅柯[2]利用無人機開展渠道巡查，實現(xiàn)了全方位、全時空、全覆蓋的渠道運行情況監(jiān)測。羅章海[3]利用圖像識別技術(shù)提取識別河道流冰冰塊情況，為河道冰情防治提供了高效率的監(jiān)測手段，實際應用效果較好。羅優(yōu)[4]使用無人機遙感系統(tǒng)拍攝的灌區(qū)圖像，利用圖像識別技術(shù)獲取了灌區(qū)渠系的分布情況。王淼[5]利用無人機進行輸電線路的巡視，識別準確率較高，在電力系統(tǒng)中應用前景廣泛。蔡改貧[6]研究了輸送帶上連續(xù)采樣礦石粒度的顆粒圖像識別。王睿[7]、李慶桐[8]、馬德芹[9]、陳建勛[10]等研究了隧道襯砌裂縫圖像識別過程的特征提取及參數(shù)控制。郭秀軍[11]、張盟[12]利用GPR技術(shù)實現(xiàn)快速無損的渠道襯砌破損檢測。

利用無人機獲取渠道襯砌的圖像資料具有較大的優(yōu)勢，而圖像識別技術(shù)在相關(guān)領(lǐng)域的研究已取得了較好的成果，結(jié)合無人機與圖像識別技術(shù)可以實現(xiàn)快速、高效的渠道破損檢測及評估。本文使用無人機巡檢采集視頻圖像進行渠道襯砌損毀的分析，利用無人機航拍采集的圖像進行計算機圖像識別處理，使損毀的部分及詳細信息更為直觀地呈現(xiàn)出來，供渠道維修決策使用。

1 渠道襯砌損毀圖像識別過程

現(xiàn)階段應用計算機視覺檢測渠道襯砌損毀的技術(shù)應用較少。針對無人機視頻中獲取的渠道圖像，設計了基于計算機視覺算法的渠道襯砌損毀定位方法。該方法的主要流程如圖1所示，具體步驟如下：(1)對無人機拍攝的視頻按一定的幀數(shù)截取成相對連續(xù)的圖像；(2)基于雙窗Otsu閾值化方法將圖像中的渠道襯砌部分和非襯砌部分(包括非渠道部分與襯砌損毀部分)進行二值化分類，在渠道中尋找非襯砌結(jié)構(gòu)區(qū)域；(3)采用Canny邊緣檢測提取渠道的邊緣，在邊緣內(nèi)的非襯砌結(jié)構(gòu)即為渠道襯砌損毀區(qū)域。

圖1 渠道襯砌損毀檢測流程圖

利用上述步驟獲取的渠道損毀特征，識別出襯砌損毀區(qū)域以及渠道區(qū)域，進行渠道損毀比例分析；運用圖像拼接技術(shù)，根據(jù)單張損毀程度通過匯總定位與分析得到整個渠道的損毀信息，得出損毀判別結(jié)果。

1.1 視頻信息采集及分幀圖像獲取

利用無人機搭載的攝影機(如圖2所示)以一定高度及視角飛行，以某一起點為基準沿渠道軸線方向分別采集渠道兩側(cè)襯砌的視頻信息。將視頻分幀處理得到獨立的連續(xù)圖像，如圖3所示為視頻中截取的圖像，該圖像反映了無人機拍攝視頻的次序及河道的實際信息，再將無人機飛行時記錄的軌跡坐標信息與時間信息相結(jié)合并與圖像信息相匹配，即可以得到渠道的位置信息。

圖2 巡檢無人機

圖3 無人機采集的渠道影像信息

1.2 圖像閾值化

對獲取的渠道圖像，通過動態(tài)雙窗Otsu二值化處理，再進行基于結(jié)構(gòu)元素的膨脹、腐蝕、縫隙填充等一系機器形態(tài)學處理[13-14]，區(qū)分渠道襯砌部分和非襯砌部分，其中渠道中完好襯砌部分為一類，非襯砌部分呈現(xiàn)為對立的另一類，方便進一步處理。

在進行二值化處理時，首先進行雙邊濾波處理，采用動態(tài)自適應Otsu優(yōu)化分離渠道中的損毀區(qū)域。將Otsu的基于最大類間方差的最優(yōu)閾值[15]與Simphiwe提出的雙窗自適應閾值法相結(jié)合，根據(jù)圖像中渠道的圖像，針對同一中心像素確定雙窗尺寸，再對雙窗應用Otsu法分別求得各自局部最優(yōu)閾值，取兩者中的較小者為最佳閾值，其中灰度值大于最佳閾值的為渠道中完好部分，小于最佳閾值的為損毀部分，對原始圖像生成二值圖。

(1)

式中，t為灰度級范圍取值[0,1]；σB為最大類間方差，方差越大代表像素錯分類率越小。

其次，根據(jù)最優(yōu)閾值將圖像f(x,y)二值化，fb(x,y)為二值化后的結(jié)果。用1表示大于閾值的結(jié)果，在圖像中顯示為黑色；0表示小于閾值的結(jié)果，在圖像中顯示為白色。如式(2)所示：

fb(x,y)=

(2)

通過上述二值化處理，即可將渠道原始圖像處理為黑白交替的二值化圖像，實現(xiàn)襯砌區(qū)域與非襯砌區(qū)域的初步分離。

1.3 邊緣檢測

二值化處理得到的黑白交替圖像，再結(jié)合原圖進行一定方法的預處理，然后采用邊緣檢測、最大聯(lián)通閾、最小外接矩等方法，綜合得出單張圖片中河道的輪廓，并進行標記，完成渠道邊界定位。

Canny邊緣檢測算法是最常用的邊緣檢測算法，采用Canny算子對二值化圖片進行邊緣檢測時，先進行平滑濾波，后由微分算子進行邊界求導。預處理完的渠道圖像進行雙邊濾波[15-16]，按照一定的參數(shù)規(guī)則，求得待濾波圖像的像素點及其鄰域點的灰度值的加權(quán)平均值，有效濾去圖像中的高頻噪聲。其中高斯濾波方法較為常用，式(3)為一維的離散高斯函數(shù)，選取適當參數(shù)獲得一維高斯核。

(3)

式(4)為二維的離散高斯函數(shù)，選取適當參數(shù)獲得二維高斯核。采用高斯核后濾波，需要對其進行歸一化處理：

(4)

采用這兩個方式需要注意的是，求得高斯核后，需要對其進行歸一化處理。

濾波后對圖像進行微分計算，對圖像的梯度幅值進行非極大值抑制處理。像素點的梯度幅值很大，不表示該像素點位于邊緣位置。應該只保留那些在其8鄰域內(nèi)的灰度值最大的像素點，而將非8鄰域內(nèi)極大值的像素點的灰度值設為0，剔除非邊緣點。非極大值抑制是邊緣檢測過程中重要步驟，它可以實現(xiàn)圖像邊界的正確定位。圖4為非極大值抑制的原理圖。

圖4 非極大值抑制的原理圖

假設點C為待確定點，圖中線條的方向為C的梯度方向，局部的梯度極大值出現(xiàn)在這條線上，所以點dTmp1和點dTmp2也可能是局部極大值。通過判斷點C與點dTmp1、點dTmp2灰度值的大小即可判斷點C是否為局部極大值點，若點C的灰度值小于點dTmp1、點dTmp2中任一灰度值，說明點C非局部極大值，不是邊界點。該步處理完成后生成新的二值圖像，非邊界點的灰度值為0，可能的邊界點的灰度值為255，得到了圖像的邊界圖像。

2 工程應用

2.1 工程背景

某無壩引水工程地處高緯度寒冷地區(qū)[17]，經(jīng)過多年運行，凍融侵蝕造成渠道破損嚴重，其中襯砌沖淤變形、凍融破壞、襯砌滑塌等是最常見的破壞類型。由于其工程規(guī)模巨大，利用傳統(tǒng)的人工檢測方法對襯砌破損情況進行檢測存在效率低，評判水平不一致等缺陷。利用無人機搭載圖像采集工具獲取渠道沿軸線的襯砌情況，并基于圖像識別技術(shù)進行襯砌破損情況及等級的評估對于快速確定渠道襯砌破損情況具有重要的意義。

2.2 渠道襯砌破損檢測

利用前節(jié)論述的圖像處理方法，將無人機錄制的視頻轉(zhuǎn)為圖像，并利用閾值分析處理為二值圖，再利用邊緣檢測方法確定襯砌破損的區(qū)域。圖5為不同時段及不同位置的4個無人機采集的渠道原圖與對應的4個處理后的二值圖，其中黑色為渠道完好部分，白色為初步認定與渠道材質(zhì)不同的部分。

圖5 不同位置的渠道原圖及二值圖

在閾值化的基礎上，采用Canny邊緣檢測、最大聯(lián)通域、最小外接矩等方法，綜合得出單張圖片中河道的輪廓，并進行標記，完成渠道定位。如圖6為最大連通域效果圖，即認定白色部分為渠道。將渠道邊界用灰色標記，覆蓋在二值圖上即完成渠道定位。如圖7所示，灰色為定位后的渠道邊界。

圖6 最大連通域效果圖

圖7 渠道定位效果圖

2.3 損毀程度判斷

在襯砌定位后的輪廓中，進行直線檢測及容錯處理[17-19]，識別出襯砌損毀區(qū)域以及未損毀區(qū)域，并進行定量分析，判斷出視頻分幀后每張圖片對應河道位置的損毀程度。量化后可以加入人為定義的損毀程度閾值，在該損毀閾值之上定義為需要修復并標記，閾值之下暫不輸出。首先統(tǒng)計圖中已經(jīng)定位渠道范圍的面積，然后統(tǒng)計出白色損毀區(qū)域的面積，即可量化損毀程度。由損毀部分面積與定位渠道的總面積可以計算出損毀比例。在如圖7所示的渠道中，經(jīng)圖像識別得到的渠道損毀比例為13.97%。再結(jié)合渠道破損閾值標準，即可自動判斷是否需要進行修復[20-22]。

由于最初采集的無人機視頻與渠道實際位置對應，經(jīng)圖像處理及損毀程度判斷后的圖片也與渠道實際位置對應。據(jù)此對損毀程度判斷后的圖片進行建模。建模后的渠道模型包括渠道以及根據(jù)渠道位置的相應段的損毀程度分析結(jié)果。

3 結(jié) 論

(1)本文提出了一種利用無人機及圖像識別技術(shù)進行渠道襯砌破損的方法，利用無人機對渠道拍攝視頻，提取視頻中圖像信息并使用圖像識別技術(shù)進行渠道損毀段圖像識別，可以實現(xiàn)實時、無人及快速的渠道襯砌破損狀況檢測。

(2)通過對某渠道的無人機巡檢的視頻信息的提取及圖像識別的應用，檢測出了襯砌破損部分，通過對河道輪廓的確定，得到了破損比例，可供維修決策使用。

(3)本文研究成果可以為圖像識別渠道損毀的檢測向工程推廣應用提供基礎，在工程現(xiàn)場使用時，還應根據(jù)渠道實際運行水位情況進行識別算法參數(shù)的調(diào)整。