基于無(wú)人機(jī)圖像拼接技術(shù)的大壩健康監(jiān)測(cè)方法

王琳琳 李俊杰 康飛 馬傳波

摘要：為克服傳統(tǒng)視覺(jué)檢測(cè)方法的局限性，提出了一種基于無(wú)人機(jī)圖像拼接技術(shù)的大壩結(jié)構(gòu)損傷檢測(cè)方法。該方法以無(wú)人機(jī)作為大壩結(jié)構(gòu)表面損傷的圖像采集工具，通過(guò)提出的圖像配準(zhǔn)和融合算法，將分布在若干張圖像中的同一結(jié)構(gòu)損傷拼接為完整的損傷圖像，在保證圖像分辨率和檢測(cè)精度的基礎(chǔ)上，擴(kuò)寬了檢測(cè)視野;所提出圖像分組拼接的方法減少了多圖像拼接時(shí)產(chǎn)生的累積誤差。研究結(jié)果表明：與傳統(tǒng)的視覺(jué)檢測(cè)方法相比，研究提出的檢測(cè)方法具有經(jīng)濟(jì)、高效、易于操作和安全性高的特點(diǎn)，并有利于觀察壩面損傷情況，在大壩的健康監(jiān)測(cè)中具有一定的應(yīng)用價(jià)值。

關(guān) 鍵 詞：大壩監(jiān)測(cè); 圖像拼接技術(shù); 無(wú)人機(jī); 視覺(jué)檢測(cè)

中圖法分類(lèi)號(hào)： TV39;TP391.1

文獻(xiàn)標(biāo)志碼： A

DOI：10.16232/j.cnki.1001-4179.2021.12.037

0 引 言

大型水電站是大國(guó)重器。大壩作為最主要的水利樞紐建筑物，一旦失事，將造成重大的生命財(cái)產(chǎn)損失。根據(jù)《第一次全國(guó)水利普查公報(bào)》[1]的統(tǒng)計(jì)，截至2011年12月，中國(guó)水庫(kù)已達(dá)98 002座，總庫(kù)容超9 300億m3。目前，有一些大壩由于水文、工程地質(zhì)、設(shè)計(jì)、施工以及自然老化等原因，已被定義為病險(xiǎn)壩[2-3]。因此，需要對(duì)大壩的安全性和穩(wěn)定性進(jìn)行監(jiān)控。目前，大壩表面損傷檢測(cè)仍然采用人工目視檢測(cè)。該方法工作量大，成本高，且檢測(cè)人員的安全很難得到完全保證[4]。不僅如此，由于大壩的特殊外觀和所處位置等因素，使得在某些特殊情況下，無(wú)法實(shí)現(xiàn)對(duì)結(jié)構(gòu)關(guān)鍵構(gòu)件的檢測(cè)[5]。為了解決上述傳統(tǒng)視覺(jué)評(píng)估方法的缺陷，急需一種無(wú)損、高效、低成本、易操作而且準(zhǔn)確又安全的檢測(cè)方法。隨著無(wú)人機(jī)（Unmanned Aerial Vehicle，UAV）技術(shù)的發(fā)展與普及，可以采用無(wú)人機(jī)來(lái)獲取結(jié)構(gòu)的視覺(jué)信息?；赨AV的視覺(jué)檢測(cè)方法成本低，可操作性強(qiáng)且安全性能高[6]。

在對(duì)大壩損傷圖像進(jìn)行采集時(shí)，為了獲取壩體表面的高分辨率圖像，往往需要近場(chǎng)采集圖像。這就使得每張圖像僅可覆蓋一小塊區(qū)域，在各張圖像中很難獲得完整的壩面信息。因此，為了全面評(píng)估結(jié)構(gòu)的健康狀況，需要運(yùn)用圖像拼接的方法，將從混凝土結(jié)構(gòu)表面采集的多個(gè)圖像拼接成單個(gè)的寬視角圖像。圖像拼接是一種將重疊部分的多個(gè)圖像融合在一起，以產(chǎn)生高分辨率全景圖像的技術(shù)[7]。該技術(shù)已在土木工程領(lǐng)域得到了一定的應(yīng)用。Zhu等[8]應(yīng)用圖像拼接技術(shù)來(lái)描繪橋柱區(qū)域，使得橋柱生成大圖片以供進(jìn)一步分析。Adhikari等[9]提出了一種基于圖像處理技術(shù)的混凝土裂縫特征提取方法。該方法應(yīng)用圖像拼接技術(shù)，將分布在兩張圖像中的裂縫進(jìn)行拼接。李新科等[10]使用圖像拼接算法，將分布在2張圖像上的橋梁拉索表面損傷進(jìn)行拼接，以顯示出完整的缺陷圖。Chen等[11]介紹了一種無(wú)人機(jī)圖像拼接方法，從而實(shí)現(xiàn)了遙感影像的全景拼接。但是，圖像拼接技術(shù)目前尚未真正應(yīng)用于水工結(jié)構(gòu)中解決實(shí)際問(wèn)題。

研究提出了以無(wú)人機(jī)作為大壩健康監(jiān)測(cè)的圖像采集工具，發(fā)展了一種新的大壩結(jié)構(gòu)損傷檢測(cè)方法，以克服傳統(tǒng)視覺(jué)檢測(cè)的局限性。應(yīng)用圖像拼接算法對(duì)采集到的損傷圖像進(jìn)行拼接，將分布在多張圖像中的損傷完全呈現(xiàn)在同一張圖像中，以實(shí)現(xiàn)在不降低圖像分辨率的情況下提高檢測(cè)的精度。

1 算法原理及實(shí)現(xiàn)

算法的實(shí)現(xiàn)步驟如圖1所示，共分為3個(gè)部分：

（1） 圖像采集，采用UAV作為圖像采集工具，以獲取損傷圖像;

（2） 圖像配準(zhǔn)，應(yīng)用Brown等[12]提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法，提取圖像中的關(guān)鍵點(diǎn)，并對(duì)其進(jìn)行匹配;

（3） 圖像融合，根據(jù)每幅圖像間的匹配點(diǎn)，對(duì)采集到的損傷圖像進(jìn)行拼接，當(dāng)圖像過(guò)多時(shí)，則采用分組拼接的形式。

1.1 圖像采集

為了更安全、高效地獲取壩體表面圖像，以無(wú)人機(jī)作為圖像采集工具，通過(guò)控制無(wú)人機(jī)的飛行軌跡拍攝不同區(qū)域壩體表面的損傷圖像。該采集工作需要一名具備無(wú)人機(jī)飛行操控和飛行規(guī)劃能力的地面操作員來(lái)實(shí)現(xiàn)遠(yuǎn)程控制。本次研究選用大疆（DJI PHANTOM 4 PRO）無(wú)人機(jī)收集原始圖像數(shù)據(jù)，配備1英寸2 000 M像素的CMOS圖像傳感器和高分辨率鏡頭，圖像像素為5 472×3 078。在圖像采集過(guò)程中，需盡量確保相機(jī)主光軸與壩面正交，而且與壩面保持相同的飛行距離（約5.0 m），對(duì)采集到的圖像，需盡量保證至少有50%的重疊率。

1.2 圖像配準(zhǔn)

圖像配準(zhǔn)是將同一場(chǎng)景的2張或多張圖像轉(zhuǎn)換為同一個(gè)坐標(biāo)系的過(guò)程，包括特征點(diǎn)檢測(cè)、特征點(diǎn)匹配和圖像變換。

1.2.1 特征點(diǎn)檢測(cè)

特征點(diǎn)檢測(cè)，即檢測(cè)圖像中的控制點(diǎn)。比如，一些獨(dú)特的對(duì)象、邊緣、線的相交點(diǎn)和角點(diǎn)等[13]。目前，SIFT特征點(diǎn)檢測(cè)算法應(yīng)用最為廣泛，其檢測(cè)的特征點(diǎn)不隨比例和旋轉(zhuǎn)的變化而變化，具有很高的辨識(shí)度，對(duì)圖像噪聲具有魯棒性[13]，因此，更適合于無(wú)人機(jī)采集到的圖像處理。

SIFT算法是通過(guò)在圖像的尺度空間中找到局部極值來(lái)識(shí)別特征點(diǎn)。然后，對(duì)每個(gè)極值點(diǎn)一定鄰域內(nèi)的像素點(diǎn)計(jì)算梯度直方圖。最終，通過(guò)梯度直方圖生成一個(gè)由128個(gè)數(shù)據(jù)組成的特征向量來(lái)描述特征點(diǎn)。

1.2.2 特征點(diǎn)匹配

當(dāng)提取SIFT的特征描述符后，需要在參考圖像和待配準(zhǔn)圖像中提取正確的匹配特征點(diǎn)。

首先，根據(jù)描述符的歐式距離來(lái)判斷特征點(diǎn)是否匹配。兩幅待匹配圖像所生成的特征描述符及其歐式距離為

Ri=ri1ri2…ri128，Si=si1si2…si128（1）

dRi，Si=128j=1（rij-sij）2（2）

式中：Ri與Si分別為待匹配圖像生成的特征描述符，dRi，Si為特征點(diǎn)之間的歐式距離。

然后，采用如下2個(gè)步驟來(lái)對(duì)特征匹配點(diǎn)對(duì)進(jìn)行篩選，以消除特征點(diǎn)的誤匹配，保證關(guān)鍵點(diǎn)匹配的準(zhǔn)確性。

步驟1。基于Lowe[14]提出的比較某個(gè)特征點(diǎn)E與其最近鄰點(diǎn)P和次近鄰點(diǎn)P′之間的歐式距離比率的匹配策略進(jìn)行篩選。即，計(jì)算EP和EP′之間的距離比率R，如果R值比某一閾值T小，則認(rèn)為（E，P）作為匹配點(diǎn)對(duì)匹配成功，反之，則為匹配失敗。在本研究中，依據(jù)經(jīng)驗(yàn)將閾值T設(shè)置為0.6，即所有匹配距離比大于0.6的匹配都將被拒絕。

步驟2。使用隨機(jī)抽樣一致性（Random Sampling Consensus，RANSAC）算法[15]，進(jìn)一步刪除錯(cuò)誤匹配點(diǎn)對(duì)。計(jì)算2幅圖像之間的單應(yīng)性以及查找異常值，即不正確的匹配點(diǎn)，來(lái)提高圖像特征點(diǎn)匹配率。

1.2.3 圖像變換

在獲得2幅圖像的精確匹配特征點(diǎn)對(duì)后，可根據(jù)式（3）的圖像變換關(guān)系求解出單應(yīng)性矩陣H。通過(guò)H，可將待配準(zhǔn)圖像I′變換為與參考圖像I相同的坐標(biāo)系下。

x′y′1=Hxyz=h11h12h13h21h22h23h31h321xy1（3）

式中：（x′，y′）和（x，y）是待配準(zhǔn)圖像I′和參考圖像I的匹配點(diǎn)對(duì)。

1.3 圖像融合

將待配準(zhǔn)圖像I′與參考圖像I轉(zhuǎn)換為同一坐標(biāo)系后，需選擇適當(dāng)?shù)膱D像融合方法來(lái)完成圖像拼接。鑒于本研究使用無(wú)人機(jī)作為圖像采集工具，可更接近拍攝結(jié)構(gòu)物，取景范圍相對(duì)較小，而且相鄰2幅圖像的拍攝時(shí)間間隔很短，所以采集到的圖像受光照等因素的影響較小，可以采用直接圖像融合算法，即取單幅圖像上的重疊區(qū)域進(jìn)行圖像融合，這樣簡(jiǎn)單快捷。

為了克服在拼接多幅圖像時(shí)產(chǎn)生的累積誤差，選用了中間圖像作為最佳參考圖像，并提出了一種通過(guò)分組拼接實(shí)現(xiàn)多圖像拼接的方法。即，先對(duì)組內(nèi)的圖像進(jìn)行拼接，再進(jìn)行組間圖像的拼接。在組間圖像拼接過(guò)程中，會(huì)重新計(jì)算相鄰2組圖像的配準(zhǔn)參數(shù)，并以組的方式進(jìn)行圖像變化，從而減少圖像的變換次數(shù)，進(jìn)而降低拼接誤差的累積。根據(jù)經(jīng)驗(yàn)，當(dāng)拼接圖像數(shù)量不大于4張時(shí)，拼接結(jié)果未呈現(xiàn)出拼接錯(cuò)誤及明顯變形;當(dāng)拼接圖像數(shù)量多于4張時(shí)，拼接結(jié)果易出現(xiàn)明顯的拼接錯(cuò)誤和圖像變形。因此，本文在保證有50%圖像重疊率的前提下，選擇以4張圖像為一組的分組圖像拼接方式，來(lái)解決多圖像拼接易產(chǎn)生拼接錯(cuò)誤的問(wèn)題。

2 實(shí)驗(yàn)驗(yàn)證與分析

2.1 工程概況

以位于遼寧省太子河干流上的葠窩水庫(kù)混凝土重力壩為例進(jìn)行分析。該工程于1970年11月開(kāi)工建設(shè)，1974年11月基本建成并投入運(yùn)行，是以防洪、灌溉、城市供水為主，并結(jié)合發(fā)電的大（2）型水利工程，總庫(kù)容為7.91億m3。2013年，大壩被鑒定為三類(lèi)壩。目前，存在開(kāi)裂、滲水、溶蝕和凍融等損傷，嚴(yán)重影響到該大壩的安全性與穩(wěn)定性。因此，需要對(duì)大壩狀態(tài)進(jìn)行評(píng)估。

2.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提出方法的可行性，選擇該壩作為研究對(duì)象，圖2為所研究大壩的上游面。矩形框是用于拍攝壩體表面圖像的采集設(shè)備。

為了驗(yàn)證所提出的方法在大壩安全健康監(jiān)測(cè)中的實(shí)用性，本研究將列舉2個(gè)算例對(duì)其進(jìn)行說(shuō)明驗(yàn)證。算例1為無(wú)人機(jī)采集的該大壩25號(hào)壩段和26號(hào)壩段的7張分段圖像，如圖3所示。算例2為無(wú)人機(jī)采集的該大壩26號(hào)壩段、27號(hào)壩段和28號(hào)壩段的7張分段圖像，如圖4所示。各分段圖像包括裂縫及其編號(hào)，圖像間的重疊率不小于50%。此外，由于無(wú)人機(jī)采集到的圖像為高分辨率圖像，在拼接過(guò)程中，各圖像將包含大量冗余信息，使得處理時(shí)間過(guò)長(zhǎng)。所以，本文將采集到的圖像下采樣至1 824×1 026 像素。

圖5為算例1中分段圖像1-1與分段圖像1-2實(shí)現(xiàn)圖像拼接的過(guò)程圖。圖5（a）為利用SIFT算法提取的2個(gè)圖像中的特征點(diǎn)，圖5（b）為對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選后的特征點(diǎn)配準(zhǔn)并連線，圖5（c）為采用直接融合算法進(jìn)行拼接后的拼接效果圖。從圖5（a）與圖5（b）中能明顯看出通過(guò)匹配點(diǎn)對(duì)的篩選，大部分錯(cuò)誤匹配均被刪除，即在圖5（b）中存在很多并未被連線的特征點(diǎn)。

算例1與算例2均由無(wú)人機(jī)采集的7張分段圖像構(gòu)成，屬于多圖像拼接問(wèn)題。在本研究中，為了減少圖像拼接過(guò)程中產(chǎn)生的累積誤差，將按組拼接所獲取的多張圖像。分組拼接情況如圖6所示，將7張分段圖像分為2個(gè)組，分別為分段圖像組1和分段圖像組2，然后再將這兩組圖像拼接在一起，以形成完整的損傷圖。

圖7（a）與圖7（b）是按順序依次拼接的算例1和算例2中7張分段圖像的結(jié)果圖，在圖中均出現(xiàn)了明顯的拼接錯(cuò)誤，如圖中矩形框所示。

圖8（a）與圖8（b）分別是算例1與算例2采用分組拼接方式獲得的結(jié)果圖，均由7張分段圖像拼接而成，圖像大小分別為6 748×1 026像素和6 590×1 026像素。從圖8（a）和圖8（b）中可以看出：結(jié)果圖中皆未出現(xiàn)明顯的融合錯(cuò)誤與圖像變形，而且都能夠顯示出各壩段的損傷分布情況。與圖7相比可知：本文采用所提出的分組拼接方式，可以顯著地提高圖像拼接的整體效果。除此之外，在圖8（a）中用矩形框出的26號(hào)壩段的2號(hào)裂縫，最初是分別分布在算例1的分段圖像1-1、分段圖像1-2和分段圖像1-3中，而最終結(jié)果是完全顯示在同一張圖像中。因此，該方法可以將壩體損傷圖像拼接在一起形成完整圖，有助于更全面地觀察裂縫走向及損傷分布，同時(shí)也有利于進(jìn)行后續(xù)的損傷提取和分析。

表1列舉出了2個(gè)算例中待拼接圖像之間的匹配點(diǎn)數(shù)量，包括相鄰圖像與兩組拼接圖像之間的匹配點(diǎn)的數(shù)量。由表1可看出，大約有90%的錯(cuò)誤匹配被刪除，即提高了特征點(diǎn)的匹配率。

分組拼接算例1的計(jì)算時(shí)間為425.708 s，分組拼接算例2的計(jì)算時(shí)間為196.438 s。2個(gè)算例雖均是拼接7張圖像，但是圖像的特征點(diǎn)數(shù)量不同，使得在拼接時(shí)間上存在較大的差異。同時(shí)，本研究也計(jì)算出了未采用分組方式拼接2個(gè)算例的計(jì)算時(shí)間，分別為190.229 s和106.465 s。盡管采用分組拼接的方式略耗時(shí)，但可以減少拼接多幅圖像產(chǎn)生的誤差。

3 結(jié) 論

本文基于無(wú)人機(jī)獲取壩體表面影像數(shù)據(jù)，采用圖像拼接技術(shù)，將分布在若干張圖像中的損傷呈現(xiàn)于同一圖像中，形成了寬視野的損傷圖像，實(shí)現(xiàn)了混凝土壩面高精度、高效率的損傷檢測(cè)。

提出了采用分組形式來(lái)拼接多幅圖像的拼接方法，減少了拼接多張圖像帶來(lái)的累積誤差，從而避免了圖像拼接錯(cuò)誤及拼接變形。

該方法的圖像拼接過(guò)程雖略長(zhǎng)，但與傳統(tǒng)的視覺(jué)檢測(cè)方法相比，仍具有較大的優(yōu)勢(shì)。在后續(xù)的研究中，將在如何減少拼接時(shí)間且又不影響拼接質(zhì)量方面加以改進(jìn)。

參考文獻(xiàn)：

[1] 中華人民共和國(guó)水利部.第一次全國(guó)水利普查公報(bào)[J].水利信息化，2013（2）：64-64.

[2] 王秘學(xué)，譚界雄，田金章，等.以ROV為載體的水庫(kù)大壩水下檢測(cè)系統(tǒng)選型研究[J].人民長(zhǎng)江，2015，46（22）：95-98.

[3] 吳中如，徐波，顧沖時(shí)，等.大壩服役狀態(tài)的合評(píng)判方法[J].中國(guó)科學(xué)：技術(shù)科學(xué)，2012（11）：1243-1254.

[4] 徐陳勇，李云帆，王喜春.基于低空無(wú)人機(jī)的大壩滲漏安全檢測(cè)技術(shù)研究[J].電子測(cè)量技術(shù)，2018（9）：84-86.

[5] KIM J W，KIM S B，PARK J C，et al.Development of crack detection system with Unmanned Aerial Vehicles and Digital Image Processing[C]∥Advances in Structural Engineering and Mechanics，2015.

[6] MORGENTHAL G，HALLERMANN N.Quality assessment of Unmanned Aerial Vehicle（UAV）based visual inspection of structures[J].Advances in Structural Engineering，2014，17（3）：289-302.

[7] WANG Z，YANG Z.Review on image-stitching techniques[J].Multimedia Systems，2020，26（4）：413-430.

[8] ZHU Z，GERMAN S，BRILAKIS I.Detection of large-scale concrete columns for automated bridge inspection[J].Automation in Construction，2010，19（8）：1047-1055.

[9] ADHIKARI R S，MOSELHI O，BAGCHI A.Image-based retrieval of concrete crack properties for bridge inspection[J].Automation in Construction，2014，39（APR.）：180-194.

[10] 李新科，高潮，郭永彩，等.利用改進(jìn)的SIFT算法檢測(cè)橋梁拉索表面缺陷[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2015，40（1）：71-76.

[11] CHEN J，XU Q，LUO L B，et al.A robust method for automatic panoramic UAV Image Mosaic[J].Sensors（Basel），2019，19（8）：1898.

[12] BROWN M，LOWE D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision，2007，74（1）：59-73.

[13] JAHANSHAHI M R，KELLY J S，MASRI S F，et al.Survey and evaluation of promising approaches for automatic image-based defect detection of bridge structures[J].Structure and Infrastructure Engineering，2009，5（6），455-486.

[14] LOWE D G.Distinctive image feature from scale-invariant key points[J].International Journal of Computer Vision，2004，60：91-110.

[15] FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Communication of the ACM，1981，24（6）：381-395.

（編輯：趙秋云）

Dam health monitoring method based on image mosaic technology of Unmanned Aearial Vehicle

WANG Linlin1，LI Junjie1，KANG Fei1，MA Chuanbo2

（1.Faculty of Infrastructure Engineering，Dalian University of Technology，Dalian 116024，China; 2.Liaoning Water Conservancy and Hydropower Research Institute Co.，Ltd.，Shenyang 110003，China）

Abstract：

In order to overcome the limitations of traditional visual inspection methods，this paper proposed a dam structure damage detection method based on image mosaic technology of Unmanned Aearial Vehicle （UAV）.In this method，the UAV is used as a tool to collect damage images of the dam surface，and the same structure damage distributed in several images is stitched together by the proposed image registration and fusion algorithm to perform a complete damage image.This method can expand the detection field on the basis of ensuring the image resolution and detection accuracy.At the same time，the method of image grouping mosaic can reduce the cumulative error of multi-image mosaic.The results demonstrate that the proposed method is more economical，efficient，easy to operate and safer than traditional visual inspection methods，and is convenient to observe the damage of the dam surface，which can be applied in practical dam safety and health monitoring.

Key words：

dam monitoring;image mosaic technology;UAV;visual inspection