基于機(jī)器視覺(jué)的飛機(jī)防護(hù)柵無(wú)損檢測(cè)系統(tǒng)

曹　強(qiáng)，曾曉利，程宗輝，錢　青

(1.蕪湖國(guó)營(yíng)機(jī)械廠, 蕪湖 241007；2.南京理工大學(xué), 南京 210094)

?

基于機(jī)器視覺(jué)的飛機(jī)防護(hù)柵無(wú)損檢測(cè)系統(tǒng)

曹強(qiáng)1，曾曉利1，程宗輝1，錢青2

(1.蕪湖國(guó)營(yíng)機(jī)械廠, 蕪湖 241007；2.南京理工大學(xué), 南京 210094)

摘要：介紹了基于機(jī)器視覺(jué)的飛機(jī)防護(hù)柵無(wú)損檢測(cè)系統(tǒng)，該系統(tǒng)由硬件子系統(tǒng)和軟件子系統(tǒng)組成，其中硬件子系統(tǒng)由精密移動(dòng)控制系統(tǒng)、數(shù)字成像系統(tǒng)、高性能運(yùn)算平臺(tái)、電源系統(tǒng)等組成，軟件子系統(tǒng)由檢測(cè)控制軟件和裂縫柵格圖像后驗(yàn)檢索與定位軟件組成。針對(duì)某型飛機(jī)進(jìn)氣道防護(hù)柵結(jié)構(gòu)特點(diǎn)，系統(tǒng)通過(guò)智能檢測(cè)算法自動(dòng)檢測(cè)和識(shí)別防護(hù)柵的表面裂紋和缺陷，對(duì)裂紋等異常區(qū)域進(jìn)行標(biāo)注和存儲(chǔ)，消除了人工檢測(cè)的不穩(wěn)定性，提高了檢測(cè)效率和準(zhǔn)確率。

關(guān)鍵詞：防護(hù)柵；機(jī)器視覺(jué);無(wú)損檢測(cè)；表面裂紋

發(fā)動(dòng)機(jī)被稱為飛機(jī)的“心臟”，飛機(jī)在地面試車、滑行、起飛滑跑和著陸滑跑時(shí)，為防止沙石等外來(lái)物吸入進(jìn)氣道而打傷發(fā)動(dòng)機(jī)，發(fā)動(dòng)機(jī)進(jìn)氣口處都設(shè)計(jì)有專門(mén)的防護(hù)裝置，又稱為防護(hù)柵。

防護(hù)柵在使用過(guò)程中，因受到高速氣流作用以及沙石等一些不可避免的外來(lái)物的沖擊，防護(hù)柵網(wǎng)格突然斷裂而失效的情況時(shí)有發(fā)生。內(nèi)外場(chǎng)曾出現(xiàn)多起防護(hù)柵不同程度的裂紋故障，其中一起甚至因防護(hù)柵裂紋損壞致使異物被吸入發(fā)動(dòng)機(jī)，導(dǎo)致發(fā)動(dòng)機(jī)多片葉片嚴(yán)重打傷。因此，長(zhǎng)期以來(lái)，防護(hù)柵表面裂紋檢測(cè)一直是飛機(jī)外場(chǎng)維護(hù)和進(jìn)廠大修時(shí)的必檢項(xiàng)目。

防護(hù)柵結(jié)構(gòu)具有特殊性，如某型飛機(jī)防護(hù)柵由1.8 mm厚度的鈦合金板材加工而成，在外形尺寸上分布有9 000多個(gè)2.5 mm×2.5 mm的小網(wǎng)格，網(wǎng)格之間的格框?qū)挾葍H為0.55 mm，常規(guī)無(wú)損檢測(cè)技術(shù)(如滲透、超聲波和渦流等)因其技術(shù)上的局限性，在使用時(shí)均受到嚴(yán)重制約。因此，長(zhǎng)期以來(lái)，一直都是采用目視并借助放大鏡和手持照明燈對(duì)防護(hù)柵進(jìn)行檢查(見(jiàn)圖1)，但因防護(hù)柵網(wǎng)格多而密，而且顏色較深，人工檢測(cè)難免受到檢測(cè)者視力、工作姿態(tài)、心理等因素的影響，而無(wú)法連續(xù)、穩(wěn)定和準(zhǔn)確地完成這些帶有高度重復(fù)性和智能性的工作;而且裂紋非常細(xì)小，有的裂紋寬度僅10 μm左右，不可避免地會(huì)出現(xiàn)裂紋漏檢，嚴(yán)重危及飛行安全。

圖1　某型飛機(jī)防護(hù)柵人工檢測(cè)現(xiàn)場(chǎng)

為解決人工檢測(cè)存在的這些問(wèn)題，筆者介紹了基于機(jī)器視覺(jué)的飛機(jī)防護(hù)柵檢測(cè)無(wú)損檢測(cè)系統(tǒng)，其可通過(guò)智能檢測(cè)算法自動(dòng)檢測(cè)和識(shí)別防護(hù)柵的表面裂紋和缺陷，提高了檢測(cè)效率和準(zhǔn)確率。

1檢測(cè)系統(tǒng)構(gòu)成

系統(tǒng)由硬件子系統(tǒng)和軟件子系統(tǒng)兩部分組成。硬件子系統(tǒng)由精密移動(dòng)控制系統(tǒng)、數(shù)字成像系統(tǒng)、高性能運(yùn)算平臺(tái)、電源系統(tǒng)等組成；軟件子系統(tǒng)由檢測(cè)控制軟件和裂縫柵格圖像后驗(yàn)檢索與定位軟件組成。

1.1　硬件子系統(tǒng)設(shè)計(jì)

1.1.1精密移動(dòng)控制系統(tǒng)

精密移動(dòng)控制系統(tǒng)包含精密移動(dòng)系統(tǒng)、精密伺服控制系統(tǒng)、PCI伺服控制卡等部分。

精密移動(dòng)控制系統(tǒng)由四組精密驅(qū)動(dòng)控制平臺(tái)組成，每組精密驅(qū)動(dòng)控制平臺(tái)由一個(gè)伺服驅(qū)動(dòng)器，一個(gè)伺服電機(jī)和一根傳動(dòng)軸與配套軌道組成(見(jiàn)圖2)。四組精密驅(qū)動(dòng)控制平臺(tái)統(tǒng)一由一塊高速通訊型PCI接口12軸運(yùn)動(dòng)控制卡控制，軟件子系統(tǒng)通過(guò)對(duì)運(yùn)動(dòng)控制卡的控制實(shí)現(xiàn)對(duì)整個(gè)硬件系統(tǒng)的控制。運(yùn)動(dòng)卡的控制結(jié)構(gòu)示意如圖3所示。

圖2　精密移動(dòng)控制系統(tǒng)組成示意

圖3　運(yùn)動(dòng)卡控制結(jié)構(gòu)示意

1.1.2數(shù)字成像系統(tǒng)

數(shù)字成像系統(tǒng)包括千兆以太網(wǎng)Prosilica工業(yè)相機(jī)、配備高精度Scheimpflug調(diào)節(jié)器的TCSM 3D雙遠(yuǎn)心鏡頭(圖4(a))、Intel千兆以太網(wǎng)卡、長(zhǎng)壽命環(huán)形低角度漫射光源和光源控制器(圖4(b))。

圖4　雙遠(yuǎn)心鏡頭與低角度穩(wěn)定高亮度漫射光源外觀

Prosilica工業(yè)相機(jī)擁有500萬(wàn)像素(2 448×2 050)的Sony Type 2/3 CCD Progressive的成像單元。其能夠以15 frame/s的速度采集14 bit圖像，通過(guò)千兆以太網(wǎng)傳輸給計(jì)算機(jī)。TCSM 3D雙遠(yuǎn)心鏡頭極高的低畸變特性，能夠?qū)?fù)雜3維物體精確成像。Intel千兆以太網(wǎng)負(fù)責(zé)實(shí)時(shí)接收相機(jī)圖像數(shù)據(jù)，并上傳給精密機(jī)器視覺(jué)智能檢測(cè)系統(tǒng)檢測(cè)控制軟件。環(huán)形低角度漫射光源配合光源控制器為防護(hù)柵提供均勻高亮度照明。

1.1.3高性能運(yùn)算平臺(tái)

設(shè)計(jì)了工作溫度在-20 ℃～+70 ℃間，無(wú)風(fēng)扇, 密封性能良好且體積小的高可靠性工控機(jī)，選用的是研華UNO3085G工業(yè)控制計(jì)算機(jī)，配備Intel Core i7 2.2 GHz處理器，4G DDR3內(nèi)存，支持DVI-I, HDMI兩組獨(dú)立顯示。

1.1.4電源系統(tǒng)

電源系統(tǒng)由精密穩(wěn)壓電源與UPS不間斷電源組成。其中UPS電源在外部斷電的情況下可持續(xù)供電，能避免工控機(jī)不正常關(guān)機(jī)而導(dǎo)致的硬盤(pán)損害。

1.2　軟件子系統(tǒng)設(shè)計(jì)

軟件子系統(tǒng)包括檢測(cè)控制軟件和裂縫柵格圖像后驗(yàn)檢索與定位軟件。

1.2.1檢測(cè)控制軟件

檢測(cè)控制軟件是系統(tǒng)的核心軟件，主要具有以下功能：控制硬件子系統(tǒng)與監(jiān)視電機(jī)工作狀態(tài)、采集與存儲(chǔ)防護(hù)柵圖像、智能檢測(cè)裂縫、使用過(guò)濾規(guī)則標(biāo)注裂縫，拼接顯示防護(hù)柵全貌、監(jiān)視檢測(cè)進(jìn)程等。

1.2.2裂縫柵格圖像后驗(yàn)檢索與定位軟件

裂縫柵格圖像后驗(yàn)檢索與定位軟件用于顯示拼接后的裂縫疑似圖像，以及裂縫疑點(diǎn)來(lái)源圖像和防護(hù)柵全景拼接圖像。

檢測(cè)控制軟件檢測(cè)后的裂縫疑似圖像與拼接全景圖像共同存儲(chǔ)于原圖像同目錄下的Res目錄中。每28(7×4)幅可疑裂縫圖像拼接成一幅圖像用于顯示。

2檢測(cè)原理

2.1　圖像預(yù)處理

圖像預(yù)處理主要分為圖像幾何變換和濾波處理。

2.1.1圖像幾何變換

由于相機(jī)采集到的圖片分辨率為2 448×2 050，不便于圖像前期處理，所以需要將圖片縮小[1]。常見(jiàn)的圖像尺寸變換的插值方法有最近鄰插值、雙線性插值、三次線性插值[2]。雖然三次線性插值方法效果較好，但是由于計(jì)算量比較大，時(shí)間較長(zhǎng)，不利于實(shí)時(shí)處理，故筆者選擇采用雙線性插值方法。雙線性插值[3]是一種常用的圖像尺度變換方法，經(jīng)常應(yīng)用于視頻和圖像處理中。

2.1.2圖像濾波

在圖像采集，傳輸及處理的過(guò)程中，不可避免地會(huì)受到不同程度噪聲的干擾，故需要對(duì)圖像進(jìn)行去噪。最常見(jiàn)的去噪方法就是濾波，常見(jiàn)的濾波方法有：均值濾波法、高斯濾波法、中值濾波法。由于均值濾波、高斯濾波法容易造成邊緣模糊，筆者采用了一種高效中值濾波法[4]。使用該中值濾波算法可以快速去除圖像噪聲，更好地保證了系統(tǒng)實(shí)時(shí)性的要求。

2.2　基于邊緣強(qiáng)度的防護(hù)柵圖像二值化

飛機(jī)發(fā)動(dòng)機(jī)的防護(hù)柵由大小基本相同的格子組成，且每個(gè)格子水平和垂直方向的間距相同，根據(jù)這一特點(diǎn)，將防護(hù)柵每個(gè)格子劃分為3部分：Hole,Left,Bottom,如圖5所示。

圖5　防護(hù)柵格子示意

由于裂紋只會(huì)出現(xiàn)在每個(gè)防護(hù)柵格子的Bottom區(qū)域，所以只要確定好Hole區(qū)域，而防護(hù)柵格子都非常規(guī)則，故可根據(jù)間距確定Bottom區(qū)域。

筆者采用二值化技術(shù)分割出Hole。常見(jiàn)的二值化技術(shù)有：OTSU閾值化、二維OTSU閾值化[5]，固定閾值二值化等。根據(jù)防護(hù)柵的特點(diǎn)，采用了一種基于邊緣強(qiáng)度的閾值化技術(shù)；另外，使用Sobel算子[6]計(jì)算防護(hù)柵圖像的邊緣強(qiáng)度圖。

根據(jù)大量試驗(yàn)分析，設(shè)定一個(gè)閾值T=30然后使用9×9的核，對(duì)圖像進(jìn)行膨脹，腐蝕，得到一個(gè)防護(hù)柵圖像二值化圖。

2.3　基于輪廓跟蹤的Bottom區(qū)域定位

筆者采用一種通用的輪廓線跟蹤快速算法[7]。

利用該算法對(duì)步驟二中的二值化圖進(jìn)行輪廓跟蹤，并計(jì)算每個(gè)輪廓外接矩形的面積，設(shè)定一個(gè)面積區(qū)間(A1,A2)，面積在這個(gè)區(qū)間的輪廓就是需要的完整的孔。找到所有的孔之后，就可以確定Bottom區(qū)域了。

由于防護(hù)柵格子的垂直間距大小基本相同，所以可以設(shè)置一個(gè)間距yGap,通過(guò)yGap和檢測(cè)到的每個(gè)Hole的外接矩形就可以確定每個(gè)格子的Bottom區(qū)域。即，通過(guò)輪廓跟蹤，可以計(jì)算出Hole外接矩形為(x,y,w,h)，其中x,y分別表示矩形左上角點(diǎn)在圖像中的坐標(biāo)，w,h分別表示矩形的寬和高，從而得到Bottom區(qū)域?yàn)?x,y+h,w,yGap),確定好Bottom之后，就可以在Bottom區(qū)域中檢測(cè)裂紋了。

2.4　基于滑動(dòng)窗口行極小值連通性算法的裂紋區(qū)域定位

采用滑動(dòng)窗口的方法，窗口在整個(gè)Bottom區(qū)域滑動(dòng)，然后對(duì)每個(gè)滑動(dòng)窗口進(jìn)行裂紋檢測(cè)。將滑動(dòng)窗口的寬度設(shè)定為裂紋可能的最大寬度，滑動(dòng)窗口的高度設(shè)定為Bottom區(qū)域斜坡面的高度。

根據(jù)滑動(dòng)窗口每一行裂紋處的像素灰度值比其他地方的灰度值小的特點(diǎn)，采用了計(jì)算滑動(dòng)窗口行極小值的方法，即計(jì)算滑動(dòng)窗口每行的灰度極小值像素的位置，將極小值處的像素點(diǎn)作為可疑裂紋像素，每行的極小值位置記錄在數(shù)組minLocation[N]中。根據(jù)此方法進(jìn)行初步試驗(yàn)，標(biāo)記出滑動(dòng)窗口每行灰度值極小值的像素，結(jié)果如圖6所示。

由圖6可見(jiàn)，相比非可疑裂紋目標(biāo)，可疑裂紋具有以下特性：① 裂紋具有一定的線狀特征，即具有連續(xù)性。② 裂紋目標(biāo)具有一定的長(zhǎng)度。

圖6　可疑裂紋的行極小值標(biāo)記圖

故可根據(jù)連續(xù)性和長(zhǎng)度確定可疑裂紋。通過(guò)對(duì)大量防護(hù)柵圖像進(jìn)行觀察，采用了如下的準(zhǔn)則來(lái)判斷裂紋的連續(xù)性：

滑動(dòng)每行的極小值位置記錄在數(shù)組minLocation[N]中,第i行灰度極小值位置為minLoaction[i],如果下列3個(gè)條件：

3試驗(yàn)結(jié)果與分析

3.1　圖像預(yù)處理

防護(hù)柵檢測(cè)原圖與圖像預(yù)處理后的效果對(duì)比見(jiàn)圖7。

由試驗(yàn)效果圖可知，縮小濾波后的圖像去除了原圖中的噪聲，方便了后面的處理。同時(shí)由于圖像尺寸縮小，也提高了算法的速度。

3.2　基于邊緣強(qiáng)度的防護(hù)柵圖像二值化

原圖與基于邊緣強(qiáng)度的防護(hù)柵圖像二值化圖的對(duì)比見(jiàn)圖8。

由圖8可知，文章采用的二值化方法能夠很好地分割出防護(hù)柵中的格子。

圖8　原圖與二值化效果圖對(duì)比

3.3　基于輪廓跟蹤的Bottom區(qū)域定位

基于輪廓跟蹤的Bottom區(qū)域定位,見(jiàn)圖9,10。

圖9　在二值化圖中提取出的完整Hole

圖10　對(duì)每個(gè)格子的Bottom區(qū)域進(jìn)行精定位

從圖9,10可知，文章采用的方法，能夠很好地在二值化圖中提取出完整的Hole，且能夠很好地對(duì)Bottom區(qū)域進(jìn)行定位。

3.4　基于滑動(dòng)窗口行極小值連通性算法的裂紋區(qū)域定位

整個(gè)防護(hù)柵共有144(18×8)個(gè)大格，每個(gè)大格共668個(gè)柵格，整個(gè)防護(hù)柵總計(jì)有96 192個(gè)柵格。每組圖像共有96 192個(gè)格子。由于程序只能檢測(cè)出可疑裂紋，其到底是不是真的裂縫，還需要進(jìn)一步確定。筆者進(jìn)行了5組試驗(yàn)，試驗(yàn)結(jié)果如表1。

圖11是部分防護(hù)柵實(shí)物及其裂紋的檢測(cè)結(jié)果。圖11中，原圖中17#、27#、37#、47#格子中都有裂紋，試驗(yàn)中檢測(cè)出了17#、27#、37#格子的裂紋，47#格子中裂紋沒(méi)有檢測(cè)出。

由表1和部分檢測(cè)結(jié)果圖可看出，文章算法能夠較好地檢測(cè)出裂紋，檢測(cè)率較高，虛警率較低,能夠滿足實(shí)際應(yīng)用需求。

表1　裂紋檢測(cè)試驗(yàn)數(shù)據(jù)

圖11　防護(hù)柵實(shí)物圖片及其裂紋的檢測(cè)結(jié)果示例

4結(jié)語(yǔ)

針對(duì)目前飛機(jī)發(fā)動(dòng)機(jī)防護(hù)柵檢測(cè)的問(wèn)題，基于機(jī)器視覺(jué)的飛機(jī)發(fā)動(dòng)機(jī)防護(hù)柵檢測(cè)系統(tǒng),利用機(jī)器視覺(jué)相關(guān)技術(shù)，有效地解決了人工檢測(cè)帶來(lái)的不穩(wěn)定的問(wèn)題，在提高檢測(cè)效率的同時(shí)，還降低了檢測(cè)錯(cuò)誤率。

參考文獻(xiàn):

[1]王焱,劉洋,宋百春.人民幣紙幣號(hào)碼識(shí)別算法研究[J]. 計(jì)算機(jī)工程與科學(xué), 2013, 35(8): 103-108.

[2]鄧安良. 智能點(diǎn)驗(yàn)鈔機(jī)的圖像清分算法研究[D]. 南京:南京理工大學(xué), 2015：12-13.

[3]王森, 楊克儉. 基于雙線性插值的圖像縮放算法的研究與實(shí)現(xiàn)[J]. 自動(dòng)化技術(shù)與應(yīng)用, 2008, 27(7): 44-45.

[4]任薇. 基于圖像的駕駛主動(dòng)安全前防撞的方法研究與實(shí)現(xiàn)[D]. 南京:南京理工大學(xué), 2015:13-14.

[5]劉健莊,栗文青.灰度圖像的二維Otsu自動(dòng)閾值分割方法[J].自動(dòng)化學(xué)報(bào),1993,19(1):62-66.

[6]周心明, 蘭賽. 圖像處理中幾種邊緣檢測(cè)算法的比較[J]. 現(xiàn)代電力, 2000, 17(3): 65-69.

[7]REN Ming-wu, YANG Jing-yu, SUN Han.Tracing boundary contours in a binary image[J].Image and Vision Computing，2002,20(2):125-131.

The NDT System for Airplane Protective Grilling Based on Machine Vision

CAO Qiang1, ZENG Xiao-li1, CHENG Zong-hui1, QIAN Qing2

(1.The Wuhu State Machine Factory， Wuhu 241007, China；

2.Nanjing University of Science & Technology, Nanjing 210094, China)

Abstract：NDT system based on machine vision for airplane protective grilling comprises hardware subsystem and software subsystem. Hardware subsystem comprises control system of precision movement, system of digital imaging, high-performance operation platform, and power-supply system, etc. Software subsystem comprises control software of detection, crack search of grilling image and location software. The system aims at structure characteristic of air-inlet protective grilling about airplane of the third generation. Through automatic detection and identification of crack and flaw in the protective grilling surface based on algorithm of intelligence detection, crack and abnormal area can be marked and stored, detection instability can be removed. The system not only improves accuracy rate of detection, but also shortens the test time and thus improves the detection efficiency.

Key words:Protective grilling; Machine vision; Nondestructive testing; Surface crack

中圖分類號(hào)：TG115.28

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1000-6656(2016)02-0024-04

DOI:10.11973/wsjc201602006

作者簡(jiǎn)介：曹強(qiáng)(1962-)，男，本科，工程師，主要從事軍用飛機(jī)修理表面工程和無(wú)損檢測(cè)技術(shù)工作。

收稿日期：2015-05-06