基于雙目視覺的電力塔傾斜檢測方法

陳廣華，葛夢瑩，黃白瑤，梁國賢，李瀟凱

（北京交通大學機械與電子控制工程學院，北京100044）

電力塔長期暴露在戶外，受到強風、地震等自然災害和人為因素的影響，導致受力不平衡發(fā)生傾斜，若不及時修復會發(fā)生嚴重事故，造成地區(qū)性的停電和經(jīng)濟損失，因此，建立高效智能的電力塔傾斜檢測系統(tǒng)對電力系統(tǒng)安全穩(wěn)定運行有重大意義.

傳統(tǒng)電力塔傾斜檢測主要采用鉛垂法、平面鏡法、經(jīng)緯儀法和全站儀免棱鏡等方法.其中，鉛垂法適用范圍廣泛，要依靠人工登塔完成測量，安全性低［1］.平面鏡法利用光學原理解決了特殊地形下的測量受限問題，但平面鏡設置繁瑣，需要大量人工調(diào)整，一般在特殊地形下采用.經(jīng)緯儀法要依靠人工棱鏡來配合，儀器需多次設站，易受地形所限［2］.全站儀免棱鏡測量法通過測量電力塔空間信息的特性，利用制圖工具繪圖，計算得到傾斜度［3-4］，此法仍然需要人眼瞄準，受人為因素影響大.

近些年出現(xiàn)了多種測量塔傾斜度的先進方法，如傳感器監(jiān)測法、激光雷達法、圖像處理法等.Ngabo 等［5］提出基于加速度計的無線傳感器網(wǎng)絡三 維 傾 斜 測 量，Zhang 等［6］通 過MPU6050 傾 斜 傳感器和無線通信LoRa 模塊，將桿塔傾斜參數(shù)通過NB-IoT 上傳到在線實時監(jiān)測系統(tǒng)，Shi 等［7］提出了一種基于LoRa 傳感器節(jié)點和滑動XGBoost 預測器的輸電塔傾角預測方法.以上3 種方法都利用傳感器可實現(xiàn)實時監(jiān)測或預測.郭明等［8］利用地面激光雷達和高精度全站儀得到應縣木塔的點云數(shù)據(jù)并進行剖切，經(jīng)過點云處理得到木塔傾斜度.陳亮［9］提出基于高密度機載激光雷達點云的桿塔信息提取.這兩種方法都利用激光雷達重建三維點云，精度高，但成本較高.Gang 等［10］采用雙正方形人工標記和由Matlab 確定的鉛垂線，基于單目圖像處理技術(shù)記錄建筑物傾斜角度的變化，此法能夠觀察到實地情況并預警，但數(shù)據(jù)處理工作繁雜、計算量大，且關(guān)于鏡頭畸變的計算部分理論上無法 通過計 算完全 消除［1］.王榆夫等［11］利用無人機對航拍圖像中電力桿塔傾斜進行自動識別，此法通過無人機采集多張不同角度的二維圖像計算傾斜度，易受地形和風力影響［4］.

雙目視覺作為一種典型的測量技術(shù)，廣泛應用于許多領(lǐng)域，如幾何測量、機器人路徑校正和質(zhì)量檢測.Lin 等［12］設計了一種基于雙目視覺技術(shù)的針尖自動測量系統(tǒng)，激光干涉儀被用作測量針尖位置的參考，并設計了一種針尖提取算法，可以在不安裝標記點的情況下完成針尖像素坐標的檢測，最后通過實驗評估提出系統(tǒng)的性能，系統(tǒng)精度可控制在0.362 1 mm 以內(nèi).Xia 等［13］提出了一種精確、魯棒的圓孔測量方法，通過像素強度信息并優(yōu)化邊緣來精確地重建空間圓孔，實驗表明該方法測量誤差在0.05 mm 左右.此外，針對成捆原木自動化檢尺中原木端面徑級檢測的關(guān)鍵問題，一種利用雙目立體視覺原理完成原木徑級快速三維測量的方法被提出，該算法能夠在10 s內(nèi)完成原木徑級的檢測，測量誤差在2 mm 內(nèi)［14］.

雙目視覺方法是一種精確的非接觸式三維測量方法，與傳感器監(jiān)測法相比，擁有更多的現(xiàn)場信息，可靠性更高；與激光雷達法相比，成本更低且可實現(xiàn)遠程檢測.電力塔傾斜是在空間中的傾斜，單目視覺圖像處理不能直接準確測量出空間角度，因此，本文作者提出利用雙目視覺技術(shù)，結(jié)合深度學習方法實現(xiàn)復雜背景下電力塔區(qū)域的提取，并結(jié)合雙目三維測量原理［15］實現(xiàn)電力塔傾斜度的計算，對干字塔、貓頭塔、酒杯塔和鋼管塔等多種塔形可用，能夠?qū)崿F(xiàn)電力塔傾斜度遠程智能檢測，測量結(jié)果準確.

1 系統(tǒng)的電力塔傾斜檢測原理

電力桿塔傾斜度定義為桿塔傾斜值S與桿塔地面上部高度H之比的百分數(shù).電力桿塔傾斜度如圖1 所示.

圖1 電力塔傾斜度Fig.1 Power tower tilt

桿塔傾斜度計算公式為

式中：θ為傾斜角.

國家標準規(guī)定：50 m 以下鐵塔允許的最大傾斜度是1.0%，50 m 及以上鐵塔允許的最大傾斜度是0.5%［16］，以此作為衡量電力塔是否安全工作的依據(jù).電力塔傾斜檢測系統(tǒng)的總體結(jié)構(gòu)如圖2 所示.攝像機A 和攝像機B 布置在電力塔對角的延長線上，利用水平儀保證攝像機主光軸方向垂直重力方向.攝像機與電力塔距離需要保證左右攝像機視野中能夠完整顯示電力塔左右側(cè)棱的下半部分，具體距離范圍需要根據(jù)攝像機廣角范圍和電力塔實際高度確定.左右相機分別同時拍攝電力塔圖像，左攝像機得到左圖像，右攝像機得到右圖像.左右圖像輸入到計算機，計算機通過桿塔區(qū)域分割算法自動識別出電力塔區(qū)域，將識別出來的結(jié)果再利用立體視覺測量算法，最終得到電力塔傾斜度并顯示在數(shù)據(jù)管理系統(tǒng)中.

圖2 電力塔傾斜檢測系統(tǒng)總體結(jié)構(gòu)Fig.2 Overall structure of detection system for power tower tilt

系統(tǒng)硬件由兩臺高分辨率的工業(yè)攝像機、標定板、水平儀和固定架組成.電力塔傾斜檢測系統(tǒng)由計算機、兩臺500 萬像素高分辨率攝像機、標定板和攝像機水平輔助儀組成.其中標定板和攝像機水平輔助儀屬于安裝校準設備，需要在初次安裝時使用.攝像機通過USB3.0 接口進行傳輸，兩臺攝像機光心距離（即基線）為160 mm.標定板是格數(shù)9×7 的黑白棋盤格，每格為28 mm，用于攝像機標定.

桿塔區(qū)域分割算法和立體視覺測量算法是檢測系統(tǒng)的核心部分.桿塔區(qū)域分割算法主要是在Deep-Lab V3+網(wǎng)絡基礎上實現(xiàn)，由于電力塔側(cè)棱特征提取需要有較為精細的邊緣，所以在DeepLab V3+基礎上進行改進，進一步細化了分割邊緣.立體視覺測量算法包括雙目標定與校正、立體匹配、三維重建和塔傾斜度算法，其中立體匹配和塔傾斜度算法是重難點.檢測系統(tǒng)整體技術(shù)路線如圖3所示.

2 塔區(qū)域分割算法

塔區(qū)域分割算法基于DeepLab V3+模型，分析了塔區(qū)域分割的需求，在網(wǎng)絡中增加了低階特征融合，使得塔分割邊緣更加精細，邊緣大面積缺少情況減少.

圖3 電力塔傾斜檢測系統(tǒng)技術(shù)路線Fig.3 Technical route of detection system for power tower tilt

2.1 DeepLab V3+網(wǎng)絡結(jié)構(gòu)

DeepLab V3+［17］圖像語義分割模型是由谷歌研究人員Chen 等提出的DeepLab［5，7，9，10］系列的最新版本，該模型是目前最先進的圖像語義分割模型之一，DeepLab V3 是DeepLab V3+的前代模型.DeepLab［5，7，9，10］系列在圖像語義分割的發(fā)展中具有重要的意義，該系列所提出的一些思想或方法對后續(xù)的研究產(chǎn)生了深遠的影響，DeepLab V3+被廣泛應用于圖像分割領(lǐng)域［18］.DeepLab V3＋由編碼器和解碼器組成，編碼器主要由帶空洞卷積的特征提取模塊（DCNN）和空洞空間金字塔池化模塊（ASPP）組成.解碼器部分來自DCNN 的低階特征out1 和ASPP 模塊輸出的高階特征out2融合.圖4為DeepLab V3＋網(wǎng)絡結(jié)構(gòu).

鑒于DeepLab 網(wǎng)絡的優(yōu)秀性能，本文以DeepLab V3+為基礎，考慮到電力塔區(qū)域分割為二分類任務，過多的網(wǎng)絡層數(shù)會使收斂變慢，而Resnet101 相對Resnet34 和Resnet50，分割結(jié)果的最佳精度和平均精度更高［19］，所以骨干網(wǎng)絡采用DeepLab V3 的骨干網(wǎng)絡即ResNet［20］系列的ResNet101，將電力塔部分區(qū)域和背景作為二分類標簽，建立基于DeepLab V3+的電力塔區(qū)域分割算法并進行改進，實現(xiàn)電力塔區(qū)域的準確分割.

圖4 DeepLab V3＋網(wǎng)絡結(jié)構(gòu)Fig.4 Deeplab V3+ network architecture

2.2 增加低階特征融合的DeepLab V3+改進網(wǎng)絡

圖5 顯示了增加低階特征融合后的模型結(jié)構(gòu).該模型由編碼器和解碼器兩部分組成.編碼器模塊使用ResNet-101 作為基本網(wǎng)絡.本文中使用的網(wǎng)絡由5 個卷積層（Conv1-Conv5）組成，每個卷積層包含不同數(shù)量的瓶頸殘差模塊.較低級別的卷積結(jié)果具有較高分辨率且擁有更豐富的全局細節(jié).隨著卷積層的加深，卷積計算的輸出特征由于下采樣和匯集操作而降低了圖像的空間分辨率，導致初始全局細節(jié)的丟失.因此，為了細化邊緣特征，需要保留足夠數(shù)量的初始全局信息，選擇在匯集操作后，將第一卷積層的特征圖作為低階特征1，并且選擇第二卷積層中的第三瓶頸殘差塊的特征圖作為低階特征2，然后通過插值將其拉伸到與低階特征1 相同的大小.這兩個低階特征圖被連接成一個特征圖，該特征圖隨后通過與64 個通道的1 × 1 卷積，最終輸出通道的數(shù)量為64，不超過ASPP 模塊的輸出通道.

圖5 增加低階特征融合后的網(wǎng)絡結(jié)構(gòu)Fig.5 Network structure after adding low-order feature fusion

在5 個卷積層中執(zhí)行下采樣之后，連接ASPP 模塊.來自第5 卷積層的輸出特征圖被視為ASPP 模塊的輸入特征圖.ASPP 的5 個并行計算的特征圖被連接成一個具有1 280 個通道的特征圖，然后通過1 ×1 卷積層降維，再向上采樣，使得上采樣后的特征圖大小與要連接的低階特征圖大小相同.

3 立體視覺測量算法

3.1 雙目視覺三維空間坐標計算原理

雙目視覺三維空間坐標計算原理［21］是利用兩臺不同位置的攝像機同時進行拍攝，分別獲取兩幅圖像，通過立體匹配與三角測量原理計算目標特征點在兩幅圖像上的成像偏差，以此獲取特征點的深度信息，深度信息能夠反映特征點與左攝像機光心在沿Zl軸方向上的距離，進而計算三維空間坐標.電力塔特征點A三維空間坐標計算原理圖如圖6 所示.

圖6 電力塔特征點三維空間坐標計算原理圖Fig.6 Schematic diagram of 3D coordinate calculation of power tower feature points

圖6 中，A是電力塔上一特征點，其三維坐標為A(X，Y，Z)；圖像1 是左攝像機成像面，圖像2是右攝像機成像面；A點在圖像1、2 上的成像位置分 別 為al(xl，yl)，ar(xr，yr)；Ol，Or分 別 是 左 右 攝像機光心，假設兩攝像機光軸距離為b且互相平行，以左攝像機光心為原點建立三維坐標系XCYC-ZC，通過相似三角形定理可得

式中：xl-xr為視差.由式（2）可知電力塔特征點A的三維坐標可由視差和攝像機參數(shù)計算得出.

3.2 攝像機標定

空間點A在左相機坐標系下的坐標映射為

式中：R為左攝像機坐標系相對世界坐標系的旋轉(zhuǎn)矩陣（正交單位矩陣）；T為左攝像機坐標系相對世界坐標系的平移向量；比例參數(shù)Zc和物體距離有關(guān)；dx與dy分別表示每個像素在橫軸x和縱軸y上的物理尺寸；(u0，v0)代表圖像主點在像素坐標系下的坐標.此式實現(xiàn)世界坐標A(X，Y，Z)到像素坐標(u，v)的轉(zhuǎn)化.

標定的過程就是求解式（3）中未知參數(shù)的過程.未知參數(shù)的準確性直接影響系統(tǒng)的定位精度［22］.

張正友標定法［23］是通過檢測棋盤格角點實現(xiàn)標定參數(shù)的計算，相對傳統(tǒng)標定法而言，僅需一個棋盤格，相對于自標定而言，可操作性更強.攝像機需要在安裝時進行標定，若運行過程中相機位置沒有改變，則后續(xù)檢測不需要重新標定.

3.3 畸變校正和立體校正

對左右兩幅圖像進行畸變校正和立體校正，消除失真，將匹配點約束在一條直線上，可以減少誤匹配并大大縮短匹配時間.

建立畸變模型如下

式中：(x，y)為校正前圖像坐標；(x′，y′)是校正后圖像 坐標；k1、k2、k3為 徑向畸 變系數(shù)；p1、p2為切向畸變系數(shù).

立體校正采用Bouguet 校正算法，得到校正后的重投影矩陣如下

式中：cx、cy分別是左圖像主點的x、y坐標；c′x是右圖像主點的x坐標；Tx是右相機相對左相機的偏移矩陣.可實現(xiàn)電力塔特征點像素坐標和世界坐標的轉(zhuǎn)換.

3.4 立體匹配

畸變校正和立體校正后的圖像輸入電力塔區(qū)域分割算法，得到電力塔區(qū)域分割后的左右圖像分別記為圖像1 和圖像2.立體匹配是雙目測量中的核心環(huán)節(jié)，通過立體匹配計算得到視差，進而求取三維坐標.為了符合電力塔傾斜檢測的快捷需求，本文基于極線匹配的電力塔側(cè)棱視差計算方法，其主要原理是將雙目校正后的行對準圖像，利用極線幾何約束，分別從圖像左右兩端向中間遍歷，且只在圖像1 和圖像2 的同一行上遍歷尋找匹配點，能夠快速有效地獲取電力塔側(cè)棱視差圖.

雙目視覺中的對極幾何關(guān)系如圖7 所示，Ol為左圖像平面原點，Or為右圖像平面原點，OlOr為基 線，空間點P在左右視圖中的像點分別為Pl、Pr，極平面由左右圖像坐標系原點Ol、Or和點P構(gòu)成.極平面與兩圖像平面分別相交于極線l1、l2.從圖中可以看出，Pl和Pr正位于各自對應極線上.因此對極幾何約束定義為：Pl的對應點Pr可以在對應極線l1上尋找，Pr的對應點Pl可以在對應極線l2上尋 找.當左右視圖通過雙目校正，實現(xiàn)行對準后，匹配對應點可以保證在對應圖像的同一行上，極大地縮減了搜索時間和范圍.

圖7 對極幾何關(guān)系Fig.7 Geometric relationship of opposites

4 電力塔傾斜度算法

電力塔傾斜度算法主要由深度圖轉(zhuǎn)化為三維點云、求解方向向量、求解側(cè)棱與水平面夾角、求解電力塔傾斜度4個步驟組成.

深度與視差間的關(guān)系表示為

式中：Depth表示深度；disp為視差，baseline為基線距離；由攝像機內(nèi)參數(shù)矩陣得到.

由式（7）可將電力塔側(cè)棱視差圖轉(zhuǎn)換為深度圖，通過式（2）可將深度圖轉(zhuǎn)換成三維點云，運用PCL讀取點云坐標. 由三維點云用奇異值（Singular Value Decomposition，SVD）分解法求擬合直線的方向向量a、c，取垂直于地面的法向量n=（0，1，0）.如圖8 所示，ABCD為理想中絕對垂直地面的塔，A′BC′D′是實際中發(fā)生一定傾斜的塔，重力方向垂直W平面，b和c分別為電力塔左右側(cè)棱與絕對水平面W的夾角.b和c分別為

根據(jù)電力塔傾斜度定義，由幾何推導可得b、c與傾斜度的關(guān)系式為

整理總結(jié)得傾斜度表達式如式為

圖8 幾何關(guān)系圖Fig.8 Geometric diagram

5 實驗結(jié)果與分析

5.1 電力塔區(qū)域分割實驗結(jié)果與分析

實驗基于英特爾酷睿i5-11 400f 平臺，深度學習環(huán)節(jié)采用英偉達RTX2060 Super 顯卡以及Pytorch1.8.1 進行訓練.實驗數(shù)據(jù)集來自北京市西小口實地拍攝的電力塔圖像10 000 張.數(shù)據(jù)集、驗證集和測試集按照8∶1∶1比例劃分.

為了衡量每個模型的性能和學習成本，并更有效地評估模型，實驗使用多級控制參數(shù)變量進行評估.主要評價指標包括模型訓練時間、模型預測精度、內(nèi)存占用和模型參數(shù)大小.在控制硬件配置和固定參數(shù)的條件下，進行了對比實驗.衡量圖像分割精度的標準有很多.在語義分割領(lǐng)域，最常用的指標是平均交并比（MIoU），對于多類別來說，MIoU 就是分別對每個類計算（IoU）真實標簽和預測結(jié)果的交并比，然后對所有類別的IoU 求均值，得出

式中：k是類別的數(shù)量，總共（k+1）個類別（包括背景類別）；pii是預測正確的像素數(shù)；pij是預測為背景但實際上是正標簽的像素數(shù)；pji是被預測為前景但實際上是負標簽的像素數(shù).

由于本文只針對電力塔區(qū)域進行標注和計算，因此就只計算一類的IoU 值，也就是對于實際標注區(qū)域和最終生成的標注區(qū)域之間進行交并比的計算.總的來說，MIoU 是最具代表性的評價指標.改進前后部分圖像預測結(jié)果對比如圖9所示.

圖9 改進前后預測結(jié)果對比Fig.9 Comparison of prediction results before and after improvement

改進后算法與DeepLab V3+（骨干網(wǎng)絡為ResNet101）相比，MIoU 提高了1.4%；但收斂速度稍微變慢.整體樣本檢測結(jié)果對比如表1.

表1 整體樣本檢測結(jié)果Tab.1 Test results of the whole sample

由以上實驗結(jié)果可知，電力塔區(qū)域分割算法能有效地檢測出電力塔區(qū)域，為雙目測量提供條件.

5.2 電力塔傾斜度計算結(jié)果與分析

在電力塔實地進行實驗，實景圖如圖10（a）所示.雙目攝像機距離電力塔5～10 m，先進行攝像機的調(diào)平，固定攝像機并通過氣泡水平儀進行粗調(diào)，再采用TLL-90 S 高精度雙軸數(shù)顯水平儀和燕尾微調(diào)儀進行精細調(diào)平.之后進行攝像機的標定與校正，采集了20 對標定板圖像如圖10（b）所示.校正前后電力塔左圖像分別如圖10（c）和如圖10（d）所示.

標定與校正完成后，通過電力塔區(qū)域分割算法進行塔區(qū)域分割，分割結(jié)果如圖11 所示.通過極線匹配，分別提取出左右側(cè)棱的深度圖像，左側(cè)棱深度圖如圖12 所示.求解三維點云并擬合側(cè)棱直線，最終得到此電力塔傾斜度為0.35%.輸電線路桿塔傾斜智能監(jiān)測裝置技術(shù)規(guī)范規(guī)定［16］，50 m 以下桿塔傾斜度小于1%即為正常，所以此桿塔正常工作.移動攝像機并重新調(diào)平拍攝其他桿塔得到更多實驗結(jié)果，將得到的傾斜度與經(jīng)緯儀測得的結(jié)果對比并進行誤差分析.如表2 所示.其中，攝像機雙軸傾斜角為精細調(diào)平后數(shù)顯水平儀示數(shù).誤差分析如圖13 所示.

通過經(jīng)緯儀方法與本文方法進行結(jié)果對比，經(jīng)計算，可以得出本文方法測量結(jié)果相對經(jīng)緯儀測量結(jié)果的誤差.輸電線路桿塔傾斜智能監(jiān)測裝置技術(shù)規(guī)范規(guī)定，桿塔傾斜角度測量誤差的絕對值≤0.05°即為符合規(guī)定.由此可得本文方法的測量誤差符合技術(shù)規(guī)定.

圖10 實景及標定圖像Fig.10 Real-world and calibrated images

圖11 分割結(jié)果Fig.11 Segmentation results

由圖13 可知，攝像機雙軸傾斜角與誤差絕對值存在線性相關(guān)關(guān)系，當攝像機雙軸傾斜角為0.005°時，誤差的絕對值分別為0.013 和0.014，誤差較小.當攝像機雙軸傾斜角為0.015°時，誤差的絕對值為0.028，誤差較大.擬合后直線表明攝像機雙軸傾斜角越大，誤差的絕對值也越大.由此可知調(diào)平的準確性直接影響測量結(jié)果準確性，測量前對攝像機進行精細調(diào)平，應當使得攝像機光軸盡量垂直重力方向.除此之外，還可能引起誤差的原因有以下3 點：1）雙目攝像機鏡頭參數(shù)略有不同.雙目攝像機兩個鏡頭會存在制造引起的參數(shù)差別，使得參數(shù)不能完全相同.2）攝像機標定過程中存在一定誤差.標定誤差會受到標定圖像拍攝角度、標定圖像張數(shù)、光照等因素影響.3）雙目圖像分辨率不高影響測量準確度.

圖12 左側(cè)棱深度圖Fig.12 Left-edge depth map

上述實驗證明了雙目測量理論和塔傾斜度算法的正確性和可行性.本文所提出的基于雙目視覺技術(shù)和DeepLab V3+網(wǎng)絡的電力塔傾斜度檢測方法實現(xiàn)了高精度、高效率的自動化塔傾斜度測量，便于企業(yè)的數(shù)據(jù)化管理以及應用推廣.

表2 本文算法與經(jīng)緯儀測量結(jié)果對比Tab.2 The algorithm in this paper is compared with the longitudinal measurement results

圖13 誤差分析圖Fig.13 Error analysis diagram

6 結(jié)論

1）針對雙目測量中立體匹配的匹配效率低的問題，直接利用極線幾何約束，縮減了匹配點搜索空間，提高了匹配效率，能夠快速準確地獲取電力塔側(cè)棱特征點的三維坐標.

2）在電力塔特征提取中，采用了基于Deep-Lab V3+的電力塔區(qū)域分割算法，并根據(jù)電力塔邊緣分割結(jié)果進行分析，提出需要進一步優(yōu)化電力塔側(cè)棱邊緣的分割精確度.在DeepLab V3+網(wǎng)絡基礎上，引入了更多的低級特征，提高了電力塔邊緣劃分的準確性，實現(xiàn)了電力塔區(qū)域的準確分割.

3）設計電力塔傾斜度計算算法，進行實驗和誤差分析，檢測結(jié)果表明基于雙目視覺的電力塔傾斜檢測方法誤差滿足國家標準要求.

4）實驗證明了利用雙目視覺和深度學習方法檢測電力塔傾斜度是合理且可靠的.本文提出的基于雙目視覺的電力塔傾斜檢測方法對多個不同種類的電力塔實現(xiàn)了高精度、高效率的傾斜度測量.且可行性高、成本低，便于大規(guī)模推廣使用.