基于無人機系統(tǒng)的起重機結構狀態(tài)自動評估系統(tǒng)

何 炅 徐元斌 陳 昆

武漢理工大學物流工程學院 武漢 430063

0 引言

起重機械是現代物流的重要組成部分，作為關鍵的設施部件，必須保障其持續(xù)的安全性和可維護性。起重機的老化與機械損傷導致結構性能下降，通過定期的結構評估和維護，以確保起重機在其預期設計壽命期間甚至更長時間內的安全使用。對于起重機的常規(guī)檢測大多基于受過專門訓練的起重機檢測人員進行相關的目測巡檢及專業(yè)檢測，然而因起重機結構尺寸較大，部分構件位置難以到達，檢測耗時長，且存在一定危險性，故需采取新的技術手段。

在檢測的基礎上，考慮到起重機整體的結構健康和經濟效果，還需有系統(tǒng)性的維保方案。然而，延時的維保導致許多港口起重機使用壽命不及預期，并存在安全隱患，這就需要智能和準確的狀態(tài)評估模式。

基于新興數字化方法的無人機系統(tǒng)將為這種新評估模式鋪平道路?；趥鞲衅鞯慕Y構健康監(jiān)測（SHM）作為一種獲取結構狀態(tài)關鍵信息的方法已被廣泛接受和實施。最近，配備高清晰度照相技術的小型電動和遙控無人機系統(tǒng)（UAS，亦稱無人機）的突破，引起了人們對基于圖像的方法作為結構狀況信息來源的興趣[1]。GB/T 31052.1－2014《起重機械 檢查與維護規(guī)程 第1部分：總則》[2]中要求傳統(tǒng)的目測檢查、數字成像與創(chuàng)新的攝影測量和圖像分析方法相結合能帶來新的策略。然而，只有通過開發(fā)組合評估方法才能充分開發(fā)潛力，這些評估方法允許有效地獲取數據及對數據進行自動處理，從而得到定量的狀況信息。只有將強大的算法集成到完全自動化的工作流程中，才能從根本上改變常規(guī)起重機檢測及維保中存在的不全面、成本高、耗時長、危險度高、不及時等現象。

1 系統(tǒng)流程

該框架系統(tǒng)整合了適合無人機系統(tǒng)獲取圖像數據并進行診斷分析的算法組件。根據各領域的技術水平和實際考慮因素選擇相應的算法組件，將它們結合到一個數據分析鏈中，使分析程序完全自動化。主要組成部分是基于無人機系統(tǒng)的飛行規(guī)劃、數據采集、攝影測量、三維重建、圖像分析、仿真建模和相對應的數據建模等，這些功能結合起來的目的是自動提取結構狀態(tài)信息作為結構評估的基礎。完整的框架包括算法組件及相對應的參數和數據集，如圖1所示。某些流程步驟由外部數據集來提供，如參考地面控制點的坐標、有限元模型等。該框架由10個主要流程組成，由灰色方框表示，在流程開始前先對檢查任務進行初步定義，并制定評估標準。

圖1 基于無人機系統(tǒng)的結構狀態(tài)評估的詳細框架

1）最初的步驟對于具體檢查來說是獨一無二的，這個要求通過任務定義確定當前檢查的目的，有可能是一個單純的掃描任務，以獲得結構的幾何信息，通過對結構的重新計算進行安全評估，或是一個后續(xù)檢查。在這個檢查中，已確定的狀態(tài)數據將被重新生成，以便確定損壞的擴展模式。任務定義是唯一的組成部分，在整個流程中保持不變。

2）評估標準的定義是指定如何以及基于哪些屬性對先前定義的任務進行評估，并確定這些屬性的極限值。例如，基于視覺信息的結構狀態(tài)評估的評估標準是裂紋許用寬度或許用變形。評估標準的定義可作為流程迭代的一部分，其中從框架中獲得的信息有可能不適合當前的任務，而需要一套新的標準，例如從基于損傷的評估轉向基于變形的結構狀態(tài)分析。

3）在評估標準的基礎上，可選擇用于表達結構狀況的目標量，并根據已確定的標準進行檢查。這些可以是起重機的幾何形狀、變形、裂紋屬性（如寬度、長度和方向）、材料損失（如剝落和腐蝕），除目標數量外還需確定所需的識別質量，此可以是可檢測到的裂紋寬度，也可以是在考慮測量原則和可能的不確定性前提下相應的準確度和精度要求。此外，還必須考慮外部參數以及使用無人機系統(tǒng)的法律規(guī)定或安全要求（如最大風速和光照條件），以選擇合適的技術硬件（如飛行系統(tǒng)、相機和鏡頭）及其軟件。因此，這一步驟稱為準備工作（任務控制），為基于無人機系統(tǒng)的檢測任務和后續(xù)的自動飛行路徑生成過程提供了全面的面向結果的參數。

1.1 無人機飛行路徑規(guī)劃

攝影測量勘測和檢查通常以足夠數量的正射和斜射圖像為基礎，這種圖像數據可通過配備攝像頭的無人機系統(tǒng)沿多個視點飛行來獲取。在手動飛行控制和導航的情況下執(zhí)行這樣的任務很有挑戰(zhàn)性，通常需要第二個人操作相機以捕獲合適的圖像，圖像在空間覆蓋范圍上的規(guī)則化分布很難實現。在掃描大型物體或地形的情況下，如不需要高分辨率的復雜結構細節(jié)，無人機系統(tǒng)可通過預先規(guī)劃的飛行路徑，在安全距離上記錄一組重疊的正弦圖像，然后自動進行表面重建。全球導航衛(wèi)星系統(tǒng)（GNSS）允許無人機系統(tǒng)沿著一系列視點自動飛行，按照連續(xù)的、相對平滑的軌跡掃描整個區(qū)域。然而，在這種情況下，飛行高度以及觀察方向通常是固定的。通過額外的斜向圖像可實現對建筑外墻和簡單結構件的視角覆蓋。然而，目前還無法應用于復雜的起重機巡檢任務，尤其是起重機的底部。商業(yè)化的飛行規(guī)劃工具可用于輔助攝影測量的三維重建，如AscTec導航儀和Pix4D采集。然而，目前這些工具只支持簡單的三維形狀，并未利用所有可用的場景信息。因此，在場景上方的高空自動生成傳統(tǒng)軌跡可能會產生不準確或不完整的3D模型。

適合于無人機系統(tǒng)攝影測量勘測的無人機系統(tǒng)飛行路徑一般通過兩步程序獲得。第一步：必須找到一組合適的、覆蓋表面的、圖像質量不變的候選視圖。第二步：計算出以最佳序列通過所有視點的飛行路徑?；诔跏既S模型生成優(yōu)化飛行路徑，該模型由概覽飛行和稀疏三維重建生成，或直接從現有模型容器中提取，如地理參考幾何模型。它用于計算合適的相機視點。相機規(guī)格如傳感器尺寸和焦距，記錄參數如光圈和快門速度等參數都包括在這個計算中，這些參數在規(guī)劃階段前的任務控制功能中定義。通過視點的最佳順序產生了飛行路徑，即GNSS位置、高度序列、相應的相機方向和圖像捕捉參數。在實際工作中，由于影響圖像數據質量的外部因素多種多樣，基于無人機系統(tǒng)的自動數據采集程序是本框架中最關鍵的步驟。在數據質量不足的情況下，調整初始參數，作為檢測程序的新的加載參數，從而得到可用于檢測的圖像數據。

1.2 攝影測量三維重建

密集的三維點云是結構三維建模和可視化的基礎，可進一步形成點云分析的有限元模型輸入。在無人機攝影測量中，基于立體原理的SfM方法被廣泛使用。SfM可同時估計單個相機的運動、恒定成像特性以及三維物體信息，實現高度靈活的圖像采集過程。該方法主要包括識別突出的對應圖像點、計算初始成像幾何體以及稀疏的三維點云、準確的全局優(yōu)化等步驟。

一般來說，可以基于覆蓋對象的無序原始圖像集來進行攝影測量對象的三維重建。為了提高所建模型的質量，必須在預處理步驟中對圖像進行輻射增強和幾何增強。輻射增強包括對比度拉伸、白平衡、虛化去除和邊緣保存降噪等，能確保得到輻射一致和降噪的圖像集。幾何增強可以基于已知的相機參數自動去除已知的徑向和切向透鏡畸變，也可在SfM方法的束調整步驟中進行補償。雖然這種預處理能消除許多不利影響，但圖像采集過程中一些光照條件的影響無法調整，如在采集相鄰圖像之間移動了陰影邊界，SfM算法會嘗試將該邊界重建到一個點上，將不確定性引入到最終的點云中。

自動識別和匹配同源圖像點，在同源點的識別過程中，每個圖像的所有點都會與所有其他圖像的點進行比較，即可構成識別匹配數量最多的圖像對。如果將圖像采集過程中記錄的GNSS位置納入其中，則可跳過空間上不重疊的圖像，顯著提高處理速度。由于有可能出現錯誤的點對應，特別是在視角變化較大的情況下，故通常使用迭代的RANSAC離群檢測方案來估計相對方向。然后，將所有相對定向的圖像對連接到一個網絡。通過全局優(yōu)化，改進完整的成像幾何（所有攝像機的相對方向和校準）以及包括離散度測量的3D目標點，再應用密集立體匹配技術，以找到所有像素的點對應。在進一步分析步驟中，所得到的密集點云可轉換為由三角形組成的紋理表面模型。

1.3 異常檢測

識別結構中的異常和缺陷是許多無損檢測方法所涉及的一個重要領域。在此，以鋼結構裂紋的檢測為例進行論述，目前已有多種裂紋技術（如紅外、熱、超聲、激光和射線檢測以及光學圖像分析方法）[3]。本文所述圖像識別檢測法的主要困難來自于裂紋的隨機形狀、不規(guī)則尺寸、各種物體表面特征和紋理造成的誤檢。為檢測具體異常和缺陷特征而對圖像集進行自動分析時，應先進行圖像冗余檢查。為了減少圖像分析中的計算工作量，應將攝影測量中的冗余圖像集減少到覆蓋整個物體表面的最小集。對于基于圖像識別的鋼結構表面裂紋檢測任務，可采用Sironi等人[4]提出的多尺度中心線檢測方法，該方法可得到較好的檢測結果，而需要的訓練圖像數量相對較少。該方法可檢測出具有不同特征的連續(xù)裂紋中心線，特別是具有不同寬度的裂紋。此外，裂紋寬度計算出來并存儲在每個中心線像素形成的數組中。

在攝影測量中獲得的成像幾何圖形有兩方面價值：每個圖像像素的物體尺寸信息可對檢測到的裂縫進行度量表征；檢測到的異常點集，包括其尺寸和其他屬性可被整合到三維表面模型中，通過精確的攝像機位置、圖像比例和曲面模型的地理參照物之間的關系來實現異常點的映射，異常點的映射能提供檢測到的異常點尺寸和精確位置。

1.4 結構狀態(tài)評估

所提出的框架的前幾步已經提供了結構的幾何信息，以及視覺識別損傷的表征。為了對結構狀況進行定量評估（如在某些設計荷載下的承載能力和失效概率），需要建立一個有代表性的力學模型。為此，通常采用基于有限元模型的數值分析方法，結合起重機的結構健康監(jiān)測（SHM）系統(tǒng)采集的應變數據，通過與設計階段最初假設的不同材料參數來說明損傷和劣化效應或是這種模型已經存在，需要調整；或是所獲得的幾何數據需要通過額外的設計數據和基于工程判斷的假設來修正，以生成一個有限元模型。實際行為特征的表示通過模型校準完成，這需要參數化（如構件的剛度）。在已知荷載作用下，可通過貝葉斯模型更新來校準測量的結構狀態(tài)，以匹配測量的變形狀態(tài)或發(fā)現的機械誘導裂紋模式（如參考文獻[5]）。然而，這些程序的細節(jié)、其潛在的應用和準確性還待進一步的研究。

2 適用于框架的數據庫設計

本文所述起重機檢測數據采集由多個步驟組成，由于任務的連續(xù)特性，建立的數據集之間存在關聯，例如飛行路徑到相機視點，相機視點到圖像（包括檢測到的異常），圖像到地理參照的三維點云中的點。代表整個流程的數據模型必須擁有足夠的信息，以重現檢查的任何任務。此外，需要保持連續(xù)數據集之間的關系，以確保每項任務的相互聯系。這些數據集作為結果應為結構分析應用和狀態(tài)評價提供基礎。因此，對每個任務進行一致的數據建模和軟件設計，對避免信息丟失和保證數據一致性至關重要。

根據項目的實際情況，起重機三維模型可由起重機設計過程的數據或對起重機的現場初步調研而生成。這些模型被存儲在一個模型容器中，且必須包含足夠的測量數據。模型容器中存有特定模型之間的鏈接，這些模型包括三維幾何形狀、材料定義或力學性能，以及所收集測量數據的檢測數據庫。此外，它還用于與其他應用程序和任務進行數據交換，如用于生成和調整有限元模型等。通過使用地理參考幾何體的位置，可將起重機模型的對象與檢測數據直接連接起來。圖2所示為模型容器與檢測數據庫之間的關系結構，結構使用一對一或一對多的關系，并指出了連續(xù)數據集若干檢測任務之間的相互關系。實體關系模式表示檢查組件（如飛行路徑和點云）之間的聯系，作為與模型容器（包括特定模型）相聯系的數據庫實體（虛線框），它還顯示了檢查任務之間的關系，形成它們的關系表示度，也稱為卡度，其中1:m意味著一對多的關系。對于包含的屬性一對多的卡度用符號[ ]表示。

圖2 檢測數據庫關系結構

圖3中給出了一個由建立的關系管理進行數據請求的示例。在該示例中，起點是連接到單幅圖像的相機視圖，該圖像用于異常檢測。每幅圖像與相應重建的三維點之間的對應關系能保證識別圖像覆蓋的點云表面，這樣即可計算出圖像中檢測到的異常點的地理參照，從而計算出點云的映射，如此即可進一步與起重機模型的幾何數據進行比較，例如有限元模型。圖3所示的工作流程可在每次檢測中重復進行，通過再次檢測已發(fā)現的異常（如跟蹤裂縫寬度和長度擴展趨勢）來跟蹤異常的發(fā)展變化，對起重機生命周期內的結構狀況進行更全面、更透明的評估，以提取幾何形狀以及定位損傷的位置。

圖3 數據模型對應關系示例

此外，在發(fā)生嚴重損壞的情況下，有針對性地規(guī)劃維保措施，可根據起重機模型對象的異常描述做出相應處理。針對起重機壽命期間的檢測歷史，在時間歷史數據庫中保留每個檢測視覺數據是很有必要的，可將后續(xù)檢測數據與之前的檢查數據進行比較，并更新模型與檢查數據一起保存在數據庫中。

3 結束語

本文介紹了使用無人機系統(tǒng)進行基于圖像的起重機結構評估過程中，數據生成和處理的連續(xù)自動化工作流程的實現框架。該框架包含了智能路徑規(guī)劃、基于圖像的異常檢測、點云分析等。在全數字化工作流程中，現代無人機系統(tǒng)、成像技術與先進的數據分析方法相結合，能進一步優(yōu)化起重機的評估。