快速傅里葉模板匹配算法及其在輸電線中的應(yīng)用

廣東工業(yè)大學(xué)機(jī)電工程學(xué)院 呂耀輝 傅 惠

隨著我國經(jīng)濟(jì)的快速發(fā)展，提供可靠性和高質(zhì)量的電力系統(tǒng)成為首要任務(wù)，高壓輸電線路在進(jìn)行電力傳輸時(shí)，必須要求安全穩(wěn)定運(yùn)行，從而使電力系統(tǒng)的可靠穩(wěn)定。

由人工巡檢維護(hù)方式存在運(yùn)行維護(hù)成本高，考慮如何綜合多種檢測方式，研究高壓巡檢機(jī)器人實(shí)現(xiàn)輸電線橫擔(dān)處螺栓缺陷檢測的自動(dòng)化及提高在線檢測的環(huán)境適應(yīng)能力成為了重要的研究課題。

1 圖像預(yù)處理

自適應(yīng)中值濾波：

觀察本文采集的輸電線圖片有大量的斑點(diǎn)噪聲，考慮到中值濾波法在去除斑點(diǎn)、脈沖噪聲后對(duì)圖片邊緣細(xì)節(jié)影響不大。將像素點(diǎn)鄰域灰度值的中值代替該像素點(diǎn)的灰度值是中值濾波的核心。由于中值濾波效對(duì)濾波窗口沒有加以限制，太小則沒有去噪能力，太大模糊邊緣信息，且噪聲點(diǎn)的灰度變化很類似于邊緣點(diǎn)的，故中值濾波去除噪聲的同時(shí)也將使邊緣像素的灰度值同等程度改變。考慮到鄰域內(nèi)變化劇烈的像素點(diǎn)一般都是噪聲點(diǎn)，而邊緣往往不在領(lǐng)域內(nèi)，則本文采用了自適應(yīng)中值濾波。該算法核心思想是在濾波窗口覆蓋下，消除了邊緣點(diǎn)是極值的情況，所以，如果是極值，則該像素使用中值濾波處理；如果不是極值，則保留原像素點(diǎn)。改進(jìn)之后的中值濾波在不影響邊緣信息的前提下，有效地去除孤立的噪聲點(diǎn)，尤其是斑點(diǎn)噪聲。在本文中，螺栓檢測區(qū)域各點(diǎn)相關(guān)性很強(qiáng)且要尋找該區(qū)域的邊緣，所以很適合用中值濾波去除噪點(diǎn)。

圖1 斑自適應(yīng)濾波前后對(duì)比

2 螺栓區(qū)域定位

鑒于高壓巡檢機(jī)器人所傳回的為分辨率較高的圖片、并且背景較為復(fù)雜，使得用螺栓缺陷檢測整張的圖片時(shí)，所要求達(dá)到的計(jì)算量過大，但是，如果可以對(duì)故障進(jìn)行精確的定位，僅針對(duì)感興趣的故障定位，也就是螺栓區(qū)域，進(jìn)行處理的時(shí)候，不僅僅可以大幅度的減少計(jì)算量，對(duì)系統(tǒng)資源的要求也會(huì)降低，而且可以提升整個(gè)系統(tǒng)的效率還有進(jìn)行檢測時(shí)的準(zhǔn)確率。由此可見，螺栓的定位在次處變得尤為重要和必不可少。對(duì)螺栓區(qū)域的定位先需要利用快速傅里葉模板匹配方法來判定得出區(qū)域的大致邊界，接著采用改進(jìn)的霍夫變換，進(jìn)一步逐漸實(shí)現(xiàn)對(duì)位置的精確化。

圖2 螺栓區(qū)域定位算法流程圖

2.1 螺栓區(qū)域定位

需要了解的是，模板匹配的定位原理以及模板匹配的思路。當(dāng)運(yùn)行時(shí)，將該模板放入到輸入圖像當(dāng)中，接著以此來進(jìn)行逐像素掃描，每當(dāng)掃描一個(gè)位置時(shí)，將對(duì)模板和覆蓋區(qū)域的匹配相似度展開一次計(jì)算。最后，即可在輸入圖像中搜索獲取到模板的最佳匹配位置。模板在輸入圖像當(dāng)中每移動(dòng)一個(gè)位置時(shí)，即對(duì)應(yīng)了一個(gè)相應(yīng)的候選窗口。我們?cè)O(shè)定一個(gè)候選窗口集用setcan表示，即：，該集合中的代表第S個(gè)候選窗口。與此對(duì)應(yīng)，對(duì)于最佳匹配窗口的定義，為與目標(biāo)模板具有著最佳匹配的相似度的候選窗口，此候選窗口即被命名為最佳匹配窗口。對(duì)于輸入的圖像f(x,y)，其大小為Wp*Hp時(shí)，以及模板Xt，其大小為Wt*Ht，此種條件下，通常符合以下條件，其對(duì)應(yīng)的候選窗口集，即定義為setcan，其所包含的元素個(gè)數(shù)M可以通過以下公式獲得，即。

為了度量候選窗口與模板之間的匹配相似度，采用了一種簡單的方法，我們所熟悉的歸一化相關(guān)系數(shù)（Normalized Cross Correlation，簡稱 NCC）。

本文采用快速傅里葉變換算法，省去了模板對(duì)候選窗口逐一掃描，僅通過一次運(yùn)算，得到模板在圖像各個(gè)位置上的相似度值。公式(1)可以展開為如下形式：

圖3 匹配效果圖

圖4 螺栓區(qū)域粗提取

快速傅里葉變換算法的應(yīng)用，可以在很大程度上減少計(jì)算量，使模板匹配定位更加實(shí)用。

2.2 桿塔橫擔(dān)區(qū)域定位

對(duì)于螺栓區(qū)域進(jìn)行的定位，實(shí)質(zhì)性為對(duì)桿塔橫擔(dān)上需要待檢查的螺栓的粗定位。桿塔上所安裝的螺栓以及螺母通常數(shù)量較多，此種螺栓區(qū)域粗定位的方式會(huì)包含一部分無關(guān)螺栓。由此會(huì)增加檢測的難度系數(shù)和增加很多工作量。所以，對(duì)螺栓區(qū)域進(jìn)行進(jìn)一步的精確定位提取是十分有必要的，將范圍縮小在桿塔橫擔(dān)處。本節(jié)通過結(jié)合桿塔橫擔(dān)所具有的一些特征，充分利用改進(jìn)的霍夫變換，對(duì)桿塔進(jìn)行直線檢測來實(shí)現(xiàn)目標(biāo)。

2.2.1 基于霍夫變換的圖像旋轉(zhuǎn)

將粗提取圖像使用高斯-拉普拉斯邊緣檢測算子輸出圖像中的雙邊緣?；舴蜃儞Q直線檢測可以很好的檢測出桿塔橫擔(dān)處的邊緣線。

圖5 LoG邊緣檢測

通過LoG算子提取邊緣，采用hough變換提取直線，得到比較長的桿塔橫擔(dān)處的邊緣線，為了進(jìn)一步做螺栓區(qū)域的精確提取，將圖像旋轉(zhuǎn)一定角度。具體步驟如下：

（1）利用改進(jìn)的hough()函數(shù)執(zhí)行霍夫變換，得到霍夫矩陣；

（2）利用 houghpeaks()函數(shù)在霍夫矩陣中尋找峰值點(diǎn)；

（3）利用 houghlines()函數(shù)在之前 2 步結(jié)果的基礎(chǔ)上得到原二值圖像中的直線信息；

（4）找出最長直線段并求得該直線傾斜角度，青色標(biāo)注為最長直線段，如圖 6所示；

（5）將二值圖旋轉(zhuǎn)該角度，得到圖7所示結(jié)果。

圖6 檢測出的直線

圖7 旋轉(zhuǎn)后的二值圖

2.2.2 桿塔橫擔(dān)精確提取

經(jīng)過旋轉(zhuǎn)后的圖像，需要再一次通過改進(jìn)的霍夫變換直線檢測方法，來展開直線檢測。需要注意的是，通過Hough變換提取直線并不具有指定性，并且邊緣圖中滿足條件的直線會(huì)全部被檢測出來，此種情況下，為了獲取桿塔橫擔(dān)上邊緣線與下邊緣線，則需要將檢測出來的所有直線進(jìn)行篩選。篩選的準(zhǔn)則為：通過篩選獲得與最長直線段斜率相同的直線，檢測結(jié)果如圖8所示，綠色為上邊緣，青色為下邊緣。接下來就是利用得到的兩條直線段對(duì)目標(biāo)圖像進(jìn)行精確的提取。由圖9可以得出，待檢測的螺栓在兩條平行線之間，以兩條直線段為基礎(chǔ)，選擇一個(gè)矩形區(qū)域作為提取區(qū)域。結(jié)構(gòu)體lines()中保存著直線段信息，將點(diǎn)(1，lines(1).point1(1,2))作為圖像區(qū)域提取的起始點(diǎn)，并結(jié)合兩條直線的端點(diǎn)，選擇適當(dāng)?shù)母吆蛯?。最終，實(shí)現(xiàn)獲得精確提取的桿塔橫擔(dān)區(qū)域。

圖 8 直線檢測結(jié)果

圖9 螺栓缺陷檢測區(qū)域

3 螺栓缺陷的特征提取

對(duì)于輸電線桿塔橫擔(dān)處的螺栓缺陷，可以主要分為兩類，一類為螺栓平帽，一類為螺栓螺母松動(dòng)。這兩類螺栓缺陷的特征表現(xiàn)形式有著較大的區(qū)別，因此，本文將針對(duì)這兩類不同的特征表現(xiàn)形式，設(shè)計(jì)出各自不同的檢測算法。

圖10 螺栓特征提取算法流程圖

3.1 螺栓平帽特征提取

分析此類缺陷可以看出，我們發(fā)現(xiàn)螺栓平帽有著明顯特征。由于螺栓顏色與桿塔顏色比較分明且桿塔顏色比較高亮，故將其感興趣區(qū)域做反二值化處理，結(jié)果如圖11所示。本節(jié)將采用數(shù)學(xué)形態(tài)學(xué)，對(duì)桿塔橫擔(dān)分割圖像中的噪聲進(jìn)行過濾剔除的處理，并且保留各螺栓所具有的原有的特征信息。先將二值圖腐蝕去除噪聲，再將其進(jìn)行膨脹處理使其棱角分明，有效尋找螺栓輪廓。由于感興趣區(qū)域是由螺栓區(qū)域圖像經(jīng)過旋轉(zhuǎn)提取得到的，導(dǎo)致桿塔橫擔(dān)最左邊是由大片黑色像素填充的區(qū)域并與無關(guān)螺栓連通，同時(shí)，我們不排除由于拍攝角度的原因，橫擔(dān)右邊存在螺栓部分被桿塔所遮擋的情況，如果遮擋區(qū)域過大，可將連通面積設(shè)定閾值去除最左邊旋轉(zhuǎn)后的無像素區(qū)域與殘缺螺栓，圖像最右邊存在一個(gè)橫擔(dān)外的螺栓，該螺栓并不需要檢測。為了提高檢測的準(zhǔn)確率以及減少計(jì)算量，可將該螺栓去掉?？紤]到桿塔橫擔(dān)處的螺栓數(shù)量固定，因此可以直接通過從左往右遍歷，把橫擔(dān)外的螺栓像素賦值為0。具體算法步驟如下：

（1）將開運(yùn)算效果圖提取連通分量，并分配編號(hào)給每個(gè)連通區(qū)；

（2）計(jì)算各連通區(qū)域的面積；

（3）本文根據(jù)實(shí)驗(yàn)數(shù)據(jù)，設(shè)定閾值為500＜連通區(qū)域面積＜1400；

（4）令不在閾值范圍內(nèi)的連通像素為0，效果如圖14；

（5）對(duì)圖14標(biāo)記連通分量，循環(huán)遍歷，將標(biāo)號(hào)大于5的連通區(qū)域像素賦值為0，結(jié)果如圖15。

圖11 螺栓區(qū)域二值圖

圖12 開運(yùn)算效果圖

圖13 去除無關(guān)區(qū)域

圖14 待檢測目標(biāo)

經(jīng)上述算法處理后，最終得到待檢測目標(biāo)螺栓。分析該圖可知，正常螺栓的高度非常接近，而存在平帽缺陷的螺栓，明顯低于正常螺栓。同時(shí)，考慮到殘缺螺栓為橫向遮擋并沒有改變?cè)撀菟ǖ恼w高度，故殘缺螺栓不影響螺栓平帽檢測?？紤]到不能直接通過比較各螺栓之間的高度來斷定存在平帽缺陷的螺栓。本文采用限幅濾波法，首先計(jì)算每個(gè)螺栓的高度，即圖像中每個(gè)螺栓的最大列值與最小列值之差。接著比較各螺栓高度，找出高度最小的那個(gè)。把每個(gè)螺栓的高度與之做差，分析螺栓平帽與正常螺栓數(shù)據(jù)可知兩者高度相差超過15個(gè)像素點(diǎn)，故設(shè)定閾值為15。如果差值大于該值，則判定為平帽并將其該區(qū)域的像素賦值為0；否則不是。螺栓平帽缺陷由圖16給出，用紅色矩形框標(biāo)注平帽缺陷的螺栓。

圖15 平帽區(qū)域像素為0

3.2 螺栓螺母松動(dòng)特征提取

螺栓螺母松動(dòng)與正常螺栓高度相似且分為較明顯松動(dòng)和輕微松動(dòng)，采集圖片時(shí)，輕微松動(dòng)的螺栓在松動(dòng)區(qū)域形成暗影，造成與正常螺栓形狀特征相似的結(jié)果，不容易識(shí)別。所以首先檢測較明顯松動(dòng)的螺栓，最后利用面積閾值法判定輕微松動(dòng)的螺栓。

分析螺栓平帽與螺栓螺母松動(dòng)圖片可得，兩者互不相容。分析圖15可知，殘缺螺栓的連通面積遠(yuǎn)遠(yuǎn)小于待檢測的螺栓連通面積，由實(shí)驗(yàn)結(jié)果分析設(shè)定閾值為900時(shí)可排除小于該閾值殘缺螺栓即將該區(qū)域像素賦值為0，進(jìn)而提取待檢測螺栓的輪廓，如圖17所示，用以角點(diǎn)檢測，該算法步驟如下：

（1）計(jì)算圖像的方向?qū)?shù)，并分別保存為數(shù)組Ix和Iy，進(jìn)而求得M中四個(gè)元素值。

這里*w代表對(duì)M的四個(gè)元素進(jìn)行高斯濾波，可消除不必要的獨(dú)立點(diǎn)和凸起。

（2）利用M計(jì)算對(duì)應(yīng)每個(gè)角點(diǎn)函數(shù)u，即：

其中k是在[0.04,0.06]之間的一個(gè)固定參數(shù)。最后對(duì)計(jì)算得到的u進(jìn)行極大值抑制。

（3）在角點(diǎn)函數(shù)u中，同時(shí)滿足大于一定閾值和u是某領(lǐng)域內(nèi)的局部最大值，即被斷定為角點(diǎn)。角點(diǎn)檢測結(jié)果如圖19。

圖17 輪廓圖

圖18 焦點(diǎn)檢測圖

角點(diǎn)檢測結(jié)果圖得到后，可以通過分析結(jié)果得到這樣的信息，螺栓以及螺帽的松動(dòng)明顯的情況，檢測后得到的角點(diǎn)數(shù)量是非常多的，而正常螺栓與螺帽和出現(xiàn)輕微松動(dòng)的螺栓螺帽是較為平滑的，檢測到的角點(diǎn)數(shù)量是比較少的。此時(shí)通過找出最大的角點(diǎn)數(shù)，并且和剩余的螺栓的角點(diǎn)數(shù)做差得出結(jié)果。當(dāng)設(shè)定閾值為4時(shí)，將得出結(jié)果的差值大于4的螺栓提取出來，并將這部分結(jié)果的螺栓判定為螺栓螺母明顯松動(dòng)，并實(shí)現(xiàn)目標(biāo)。將此連通區(qū)域像素賦值為0，并在精確定位圖中用矩形框框出該螺栓，如圖19所示；最后將輕微松動(dòng)螺栓連通面積和正常螺栓連通面積求得平均連通面積，判斷各連通面積與平均面積的差值，本實(shí)驗(yàn)設(shè)定閾值為90個(gè)像素點(diǎn)，如有大于90的連通面積即可判斷為輕微松動(dòng)的缺陷螺栓，并在精確定位圖中用矩形框標(biāo)出，如圖20所示。

圖19 明顯松動(dòng)缺陷

圖20 輕微松動(dòng)缺陷

4 結(jié)束語

本文通過快速傅里葉模板匹配以及圖像分割算法精確定位感興趣區(qū)域即待檢測螺栓的位置，減少了螺栓缺陷特征提取的工作量，針對(duì)性的識(shí)別螺栓缺陷，提高了檢測的準(zhǔn)確率，滿足了高壓巡檢機(jī)器人在線檢測的要求。

[1]張國福,沈洪艷.機(jī)器視覺技術(shù)在工業(yè)檢測中的應(yīng)用綜述長[D].春工業(yè)大學(xué),吉林俄語專修學(xué)院.

[2]陳建可.基于機(jī)器視覺的實(shí)時(shí)輪轂智能識(shí)別系統(tǒng)的研究[D].太原科技大學(xué).

[3]Szeliski R.Computer vision:algorithms and applications[M].Berlin:Springer.

[4]vision,w.H.FreemanandeomPanysaHFraneisco.姚國正,劉磊,汪云九澤.中譯本:視覺計(jì)算理論[M].科學(xué)出版社.

[5]肖海榮,周風(fēng)余,宋洪軍,等.lloKv架空輸電線路巡檢機(jī)器人視頻圖像傳輸[J].計(jì)算機(jī)工程與應(yīng)用.

[6]張運(yùn)楚,梁自澤,譚民.架空電力線路巡線機(jī)器人的研究綜述[J].機(jī)器人.

[7]李振宇.高壓輸電線路巡線機(jī)器人控制系統(tǒng)的研制[D].武漢大學(xué)碩士學(xué)位論文.

[8]MilanSonka,VaclavHlavae,RogerBoyle.ImageProeessing,Analysis,andMaehine Vision[M].Thomson Learning and PTPress.

[9]岡薩雷斯,數(shù)字圖像處理(第二版)[M].北京:電子工業(yè)出版社,2003.

[10]張宏林.模式識(shí)別技術(shù)及工程實(shí)踐[M].北京:人民郵電出版社,2003.

[11]曹光植.適用于機(jī)器人視覺的算法開發(fā)和系統(tǒng)實(shí)現(xiàn)[D].浙江大學(xué)碩士學(xué)位論文.