百色能源投資發(fā)展集團有限公司輸電管理所 李宏偉
近年來,無人機技術在電力系統(tǒng)的不同應用中得到了大規(guī)模發(fā)展。使用裝有人工視覺系統(tǒng)的飛行器執(zhí)行檢查任務越來越普遍。處理和分析圖像的目的是檢測線路故障,通過使用分段檢測算法或具有并行約束的霍夫變換來檢測傳輸線。視覺工業(yè)檢測是無人機的一個重要應用領域,因為其提供了在困難和危險的區(qū)域捕獲圖像的功能。姿態(tài)的導航和控制對電力系統(tǒng)的應用具有一定挑戰(zhàn),目前已經研究了不同的解決方案,如卡爾曼濾波器和PID控制器。然而,以前的兩種技術都依賴于使用本體感覺傳感器,適合偏差[1-3]。
該檢測算法由三個階段組成:自適應閾值、多任務學習、圖像檢測,前兩個階段與預處理有關,在最后的第三階段對預處理進行了調整,以適應核心線檢測算法。本文使用自適應閾值來隔離不同光照條件下的輸電線路。
無人機可以在輸電線路上方的高度飛行,并且相對靠近進行監(jiān)控拍攝,由于反射而具有良好亮度的輸電線容易被判斷。然而,偏遠地區(qū)的輸電線在復雜的地形長距離運行,圖像或視頻背景可以從樹木和綠色斑塊到不同的平坦空間,如貧瘠的斑塊以及房屋和道路等其他物體。自適應閾值算法根據(jù)鄰域中的像素強度為每幀中的每個像素使用不同的閾值,可以解決這些問題。因此筆者設計了一種新的檢測算法,可檢測任何不同背景中的線條。
通過使用單個全局閾值,將電力線與強度變化的背景隔離變得具有挑戰(zhàn)性,此外在幀之間,捕捉到的輸電線本身的強度,根據(jù)無人機的位置而變化。最后,檢查可在一天中的任何時間段進行,即不同的日光亮度條件,并且該算法能夠在所有條件下成功檢測。
自適應閾值算法可解決圖像處理中的圖像二值化和分割問題。在圖像二值化中,傳統(tǒng)的全局閾值算法將整個圖像使用一個固定的閾值進行二值化,但對于光照不均勻或背景復雜的圖像,會產生較多的錯誤分類。而自適應閾值算法則能根據(jù)圖像的局部信息和特性,為不同區(qū)域或像素分配不同的閾值,提高二值化的準確性和魯棒性,尤其在處理有光照變化或背景復雜的情況下效果更好。
在圖像分割中,自適應閾值算法可根據(jù)圖像的特性和需要,將圖像中的前景對象從背景中分離出來。通過對圖像局部區(qū)域的像素信息進行分析,可確定局部區(qū)域的特定閾值,并將符合條件的像素分配到前景或背景中。這在自動化的圖像分析和對象識別中較為重要,能夠準確地分割出精確的對象,為后續(xù)的圖像處理、分析和識別提供基礎。因此,自適應閾值算法在圖像處理領域具有廣泛的應用前景。
該算法采用模糊函數(shù)來計算鄰域強度,模糊功能的選擇取決于背景特性及其自定義調整。在本文的案例中,電源線只有2~3像素厚,背景綠化、房屋和道路分布在更多的像素上。因此,與任何其他類型或大小的內核相比,使用高斯內核,計算加權平均函數(shù),能夠抑制更多的背景,同時保留輸電線路圖像。這是因為內核是單個像素覆蓋了足夠的背景,一般覆蓋了2~3個像素的粗線。
考慮到卷積層,有幾種類型的內核卷積圖像及其相應的激活圖。在轉發(fā)階段,將生成一組新的激活映射。假設一幅二維圖像的濾波器權重為W,濾波泛化的公式可以簡化為:Y=W×Im,其中:Y是計算矩陣,并且使用二維卷積運算來表示行x和列中的條目,將J和K作為濾波器的尺寸,表示卷積的方程將得到如下結果:
對于子采樣階段,可使用池層來減少激活映射的維數(shù)以及網絡參數(shù)。此任務常用的方法是最大共享一般層。另一方面,完全連接的層通常分配在卷積網絡的最后階段,并對應于大多數(shù)參數(shù)。
即使目標是一項特定的分類任務,學習其他目標也可成為一種常見的做法,這也有利于主要任務執(zhí)行。多任務學習利用個體學習任務之間的內在關系來提高分類性能。因此,在這項工作中,筆者不僅試驗了基于單獨作業(yè)的單獨學習任務,還試驗了同時將兩項任務聯(lián)合起來的多任務學習。
在三個學習任務的各個情況下,要最小化的損失函數(shù)L是交叉熵,定義如下:對于N個觀測值和K個類,模型輸出每個觀測值i∈{1,…,N}和類k∈{1,…,K}的概率,這與真實標簽yi,k形成對比,當觀測值i屬于類k時,k為1,否則為0。
在多任務的情況下,最終損失L'將材料L(m)和缺陷L(d)的兩個損失組合為簡單的未加權和:。
自適應閾值算法的輸出是二維值圖像,其中電源線像素厚度從原始圖像和某些明亮的背景補丁中保留。在頭頂跟蹤過程中,正面攝像頭電源線的透視圖會在圖像上產生不同厚度的線。線條在邊框底部邊緣附近最粗,在圖像頂部附近向地平線逐漸變細。
為了得到這樣均勻的線條,筆者使用了一種新的基于多數(shù)的侵蝕算子。該算子專門用于線檢測,因為其通過將線厚度減薄到單個像素來進行操作。當算子的核在圖像上移動n×n的全一矩陣時。取或更小的SOP(總和乘積)作為有利的候選輸出,將中心像素設置為1或0。前提條件是,任何方向的線在n×n核中的總和乘積不能超過“n2”。
步驟如下:如果施加全1,n×n內核后的總和乘積>n個像素,則前景包含電源線以外的其他圖像,其應該被抑制;如果SOP=n,其有一條沿著核主對角線的任何旋轉相交的電源線,而沒有其他圖像,必須保留;若SOP<n,其有一條沿核的一個小對角線的任何旋轉相交的電源線,而沒有其他圖像,必須保留。
形態(tài)學算子用于保留二維值圖像中的線條并去除其他任何內容,基本上是一個形狀保持器,在該應用中,形狀是線條。前景面片的內部將被刪除,僅保留其邊緣。運算符的大小是根據(jù)行之間的間隔距離來選擇的,很明顯,對于n×n核,線條之間的距離應該是最小的“n”像素所確定的距離,以便保留兩條線。圖像表明,大小為3×3的內核最大限度地減少了假陰性,而大小為7×7的內核最大限度地減少了偽陽性,即折中。
眾所周知,金屬物體會反射其上的視覺波段中的大部分電磁輻射,因此除了典型的頭頂框架中地平線上方的可見視野外,框架內的其他偽影都不會跟像素強度矩陣中捕捉到的那樣具有高強度。由于使用了侵蝕操作,可以容易捕捉天空畫面,因此在侵蝕后的框架中,電力線仍然是最明亮的。在試驗中也觀察到了同樣的情況,作為處理的所有階段:從彩色圖像到HSV(顏色模型)表示的圖像,再到二維值圖像。具體而言,在圖像的HSV表示中,沿著所捕獲的細電源線的表面,電源線在值維度上始終顯示強度>65%。視頻中捕捉到的電源線是3個像素寬的。然而,在前置攝像頭拍攝的透視圖中,輸電線路的平行邊緣與地平線交匯。因此,線條厚度隨著其與攝影機的距離增加而逐漸變細。
上述性質在侵蝕后也成立。侵蝕后,線條為單像素寬,由于相機CCD背板上的圖像捕獲網格的頭頂檢測和離散性,線條也具有預期的略微交錯的外觀。較小的交錯,即向右或向左均勻傾斜1個像素,表現(xiàn)為以階梯方式一個接一個堆疊的小垂直線段。在架空檢測過程中,線路越垂直,線段的長度就越大,抖動越小。筆者使用這種一致的啟發(fā)式方法來追蹤線條,研究中也以不同的形式使用了這種啟發(fā)式方法。
在頭頂檢測中,電源線通常從圖像矩陣的底部延伸到頂部。追蹤這些線,首先必須確定其的起始位置,前置攝像頭可看到圖像底部最接近的線條。因此,圖像的底部具有在所有幀中最突出的線條,中間沒有破損。在侵蝕后矩陣的底部幾行中,注意所有1的垂直運行。假設線之間相隔至少3個像素的距離,因此使用窗口來局部識別起始位置。一旦確定了起始位置,就繼續(xù)從下到上逐行掃描,重復地檢測和累積線路長度,直到遇到線路中斷。
本文算法使用OpenCV軟件包實現(xiàn),該算法在大約800幀上進行了測試,為了展示算法的有效性,本文中展示了兩個特定幀中的電力線跟蹤。這兩張照片的背景不同了,選擇其是為了表明所提出的方法在不同條件下都能較好地工作。圖1(a)的背景比圖2(a)的背景更為復雜,完成處理和跟蹤后的圖像分別如圖1(b)和圖2(b)所示。結果定性地表明,能夠檢測到大多數(shù)架空電力線,對于作為電力線檢查下一階段的故障來說,電力線檢測的初步成功至關重要。
圖1 樣本幀1中的線條檢測
為了以跟蹤線長度的形式對結果進行定量分析,提出了算法的最壞情況和平均情況分析。在進行分析之前,討論以像素為單位的兩個連續(xù)幀捕獲之間需要跟蹤的線長度的下限。無人機以大約10m/s的速度飛行,幀捕獲率為24幀/s。因此,在兩次幀捕捉之間,無人機飛行距離約為0.4m,對于根據(jù)網格設計相距100m的兩極,其之間的導線覆蓋圖像長度的3/4,即360像素。因此,0.4m對應于1.44像素的距離。在頭頂檢測中,幀間距離對直線跟蹤提出了重要的要求,這樣前置攝像頭正下方的線段的檢測效果會更好。
為了進行統(tǒng)計分析,筆者選擇了281個樣本幀,其在真實視頻序列中均勻地間隔3幀放置。從對所有這些圖像幀的檢測長度數(shù)據(jù)的分析中可看出,只有9/281幀具有很少的誤報。對于所有其他幀,再次看到檢測到的最小長度是從幀底部起大約17個像素,每幀中的電源線大約有300個像素長。然而,當將其與要求進行比較時,即能夠從每幀底部跟蹤至少1.44個像素,那么即使在最壞的情況下,也可以實現(xiàn)。
轉到平均案例分析,通過對平均值周圍10%的變化進行閾值處理,對每幀中的長短線進行分類。發(fā)現(xiàn)只有13%的線路具有小于檢測到的短線路數(shù)量。這意味著在大多數(shù)幀中,檢測到的行距足夠長。此外,還獲得了所有幀中所有此類檢測線的全局平均值,在視頻中,真實線的300像素長的表示中,179個像素的全局平均值不僅比要求的邊界好125倍,而且覆蓋了直到地平線的可見網格總長度的60%。
在本文中,算法的設計基于一種新的形態(tài)學侵蝕算子,以及一種魯棒的圖像像素空間啟發(fā)式算法來提取電力線路圖像,覆蓋了直到地平線的60%的可見線長度。因此,當涉及重要線段時不會發(fā)生漏檢。目前,正致力于在兩個計數(shù)上進一步提高每幀中檢測到的線路長度的程度。每當電力線下有一塊明亮的貧瘠斑塊時,就會發(fā)現(xiàn)并提取。因此,總的來說該電力線檢測算法足夠穩(wěn)健,具有良好的性能,因此也可應用于任何其他真實戶外視頻中的任何線路檢測場景。