摘 要:飛機裂紋的檢查貫穿飛機的整個生命周期,若不及時發(fā)現(xiàn)可能會帶來嚴重的后果,尤其是飛機盒段等狹小空間部位,人不可達,微小裂紋難以快速檢查,給飛機服役、地面強度及疲勞試驗等帶來重大安全隱患。本文研究了可自由進入狹小空間的仿生機器人平臺,涉及仿生機器人機構(gòu)、運動行為及步態(tài)規(guī)劃、環(huán)境感知和避障等。開展了大量圖像文本的數(shù)字增強、圖像預(yù)處理、基于深度學習的圖像裂紋算法等研究,在具有狹小空間特征的飛機盒段樣件上開展了試驗驗證,通過盒段內(nèi)部預(yù)設(shè)裂紋,有效地集成圖像采集模塊和仿生機器人平臺,并結(jié)合圖像采集環(huán)境調(diào)試,機器人路徑規(guī)劃、裂紋算法優(yōu)化研究等,成功實現(xiàn)了對狹小空間內(nèi)部的裂紋長度和位置的識別,為后續(xù)開展飛機裂紋全覆蓋快速檢查和維修策略提供技術(shù)支撐。
關(guān)鍵詞:狹小空間; 仿生機器人; 圖像處理; 深度機器學習; 裂紋識別
中圖分類號:V224 文獻標識碼:A DOI:10.19452/j.issn1007-5453.2024.07.011
飛行器服役過程中,其結(jié)構(gòu)處于復(fù)雜交變載荷的作用下,經(jīng)過長期運轉(zhuǎn)之后,結(jié)構(gòu)可能會在表面產(chǎn)生微觀裂紋,并逐漸擴展到臨界尺寸,然后導致低應(yīng)力的脆斷,這種破壞叫作疲勞破壞。疲勞裂紋作為機械結(jié)構(gòu)破壞形式的一種,占失效總數(shù)的 50%~90%。由于疲勞破壞發(fā)生前,結(jié)構(gòu)的塑性變形并不明顯,極難發(fā)現(xiàn),因此疲勞裂紋具備潛藏性與突發(fā)性,當疲勞破壞發(fā)生時,輕則導致停機整修,影響飛行器的服役,重則引發(fā)重大事故,造成機毀人亡的災(zāi)難性后果。同樣,在飛機地面強度及疲勞試驗中,如果不及時快速檢查結(jié)構(gòu)的微小裂紋萌生情況,可能s129dqThUJYokT8uSVGy0g==會發(fā)生結(jié)構(gòu)提前破壞,影響試驗安全,難以保障試驗進度,浪費經(jīng)費。因此開展對飛機結(jié)構(gòu)全覆蓋的裂紋快速檢查至關(guān)重要。
當前飛機的裂紋檢查過程主要是對飛機表面進行目視及超聲無損檢查,對進氣道、中央盒段內(nèi)部等狹小空間單靠傳統(tǒng)的檢查手段難以快速發(fā)現(xiàn)。如新型飛機進氣道需要在每一起降做目視檢測,空間狹小,且需長時間等待發(fā)動機冷卻,檢測人員很難進入;各類飛機中的盒段內(nèi)部狀態(tài)的檢測,目前多依賴于身材瘦小的專業(yè)人員著防護服進入油箱內(nèi)檢測,對人員體型和素質(zhì)要求較高,甚至有一些新型飛機的關(guān)鍵狹小空間,人不可達,很難進行探測,存在安全隱患。怎樣實現(xiàn)飛機狹小空間內(nèi)部裂紋的快速檢查是迫切需要解決的一個問題。
本文提出研制適用于狹小空間行走的仿生機器人代替人進入狹小空間進行圖像采集。在仿生機器人研究方面,國外發(fā)展起步較早,可以適應(yīng)不同的地面環(huán)境以及障礙物情況[1-5],如2017年波士頓動力研制的液壓機器人Spot mini具有更加靈活的運動能力,并在許多實際工業(yè)場景中開始推廣應(yīng)用;2019年美國MOOG公司合作開發(fā)了模塊化緊湊型液壓關(guān)節(jié)驅(qū)動單元,推出了最新一代基于ISA搭建的模塊化液壓四足機器人HyQReal,它實現(xiàn)了完全能量自給以及更高的堅固可靠性和關(guān)節(jié)輸出能力。國內(nèi)仿生機器人具備成熟的理論體系和試驗研究[6-10],如浙江大學研發(fā)的“赤兔”四足機器人,采用大功率轉(zhuǎn)矩電機來驅(qū)動腿部關(guān)節(jié);2020年,南京航空航天設(shè)計的四足機器人,對足端脫附力進行優(yōu)化,實現(xiàn)足端層面的運動穩(wěn)定,并設(shè)計了一種使用爬壁機器人的豎直表面全向移動的自主避障;小米在2021年推出的仿生四足機器人產(chǎn)品CyberDog,不僅擁有仿生的運動步態(tài),還擁有仿生的視覺和聽覺交互體驗,可以聽從指令,識別主人甚至自動跟隨主人運動。但是現(xiàn)有的仿生機器人一般適用在比較寬闊的環(huán)境,如平坦的室內(nèi)試驗場景和寬闊的山地場景等,都是基于機器人和接觸平面的平面約束,對于機器人的空間約束較少。針對狹小的檢測環(huán)境,環(huán)境的約束需要機器人具備更加豐富的傳感器來識別環(huán)境信息,并根據(jù)環(huán)境約束選擇合適的運動形態(tài)[11],涉及機器人結(jié)構(gòu)設(shè)計、步態(tài)規(guī)劃和穩(wěn)定運動控制、自主導航和定點停頓等關(guān)鍵技術(shù),以便更好地開展高質(zhì)量的圖像采集和裂紋識別研究。
在圖像裂紋識別方面,利用計算機算法實現(xiàn)對圖像中裂紋的自動識別與分析[12-13],如針對玻璃裂紋設(shè)計的一種基于數(shù)字圖像處理技術(shù)的檢測算法,通過對裂紋圖像平滑處理后進行閾值分割,實現(xiàn)對裂紋特征的提取;利用濾波器的方向特性與人類視覺原理相結(jié)合的方法,檢測到沿不同方向排列的裂紋等。計算機算法相比于人工檢測的方式,更加快速、準確和可靠,相比于紅外、超聲等無損檢測技術(shù)則具有成本低、易實現(xiàn)、適用性強等優(yōu)點。目前圖像裂紋識別主要有圖像處理和機器學習兩種。基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度機器學習方法是當前最有發(fā)展?jié)摿Φ牧鸭y識別方法之一,由此衍生出來的區(qū)域-卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)[14]算法通過預(yù)先提出候選框,并在后續(xù)處理中進行線性回歸獲取目標的邊界框,實現(xiàn)對目標的定位,因此具備了確定裂紋位置的能力,后續(xù)經(jīng)多次改進,產(chǎn)生了快速區(qū)域-卷積神經(jīng)網(wǎng)絡(luò)(Faster R- CNN)和掩膜區(qū)域-卷積神經(jīng)網(wǎng)絡(luò)(Mask R-CNN)等性能更佳的檢測算法,在識別精度、速度等方面有了很大提高[15-16]。該算法是一種在有效檢測目標的同時輸出高質(zhì)量的實例分割算法,在實例分割、目標檢測、姿態(tài)識別三個任務(wù)方面都取得了目前最好的效果。本文采用基于Mask R-CNN的方法開展圖像裂紋識別技術(shù)研究,同時采用數(shù)據(jù)增強等方法改善模型的魯棒性和泛化能力。
1 狹小空間裂紋識別總體方案
選用某型中央翼盒狹小空間,開展適用于狹小空間的仿生機器人平臺研究、適用于狹小空間的圖像采集和裂紋識別技術(shù)研究。首先開展仿生機器人平臺研發(fā),將中央翼盒結(jié)構(gòu)、材料、環(huán)境、可靠性等作為設(shè)計邊界,設(shè)計仿生機器人機構(gòu)、腳掌、控制和傳感等硬件系統(tǒng);利用雙目視覺傳感器和微型激光測距傳感器,設(shè)計環(huán)境識別算法,根據(jù)環(huán)境特征和狹小空間的先驗知識,規(guī)劃機器人路徑、步態(tài)和行為策略。其次開展裂紋圖像識別研究,采用深度機器學習方法,對拍攝和尋找的大量圖像進行濾波、灰度處理、數(shù)字增強等預(yù)處理,研究適用于微小裂紋檢測的Mask R-CNN裂紋識別算法,制定算法流程框架,進行多次模型訓練和優(yōu)化迭代,得到裂紋長度。最后將基于仿生機器人平臺的裂紋識別技術(shù)在某型機翼中央翼盒艙道模型中開展試驗驗證。
2 適用于狹小空間的仿生機器人平臺研究
仿生機器人在艙段中的的路線規(guī)劃如圖1所示。狹小空間選用某型機翼油箱盒段密閉空間,環(huán)境空間較為狹小,地面狀況復(fù)雜,采用站立式機構(gòu)并采用柔性仿生材料可更好地實現(xiàn)在任務(wù)環(huán)境中的穩(wěn)定行走及避障越障,實現(xiàn)機器人平臺攜帶圖像采集器行走的任務(wù)。從A口處進入,沿著B、C、D、E行走并原路返回,運動形式包括直線運動、越障運動、定點停頓等。
適用于狹窄空間的仿生機器人平臺設(shè)計方案如圖2所示,作者團隊在已有壁虎狹窄空間行為研究的基礎(chǔ)上,對仿生機器人尺寸、結(jié)構(gòu)進行了設(shè)計,采用能適應(yīng)復(fù)雜結(jié)構(gòu)環(huán)境的仿生機器人運動機構(gòu),足端采用柔性仿生材料來增強機器人地形適應(yīng)能力和黏附穩(wěn)定能力;根據(jù)仿生機器人的結(jié)構(gòu)系統(tǒng)參數(shù),采用機身動態(tài)平衡算法,配合上層感知系統(tǒng)完成步態(tài)規(guī)劃、穩(wěn)定運動控制及避障越障;同時按照裂紋圖片采集的位置需求,開展自主導航及設(shè)定定點停頓位置和時間等研究,以便圖像采集器根據(jù)預(yù)設(shè)位置和拍攝角度采集狹小空間內(nèi)部裂紋圖像,根據(jù)運動準確率和任務(wù)完成時間等性能指標,對仿生機器人進行多次迭代優(yōu)化。
機器人運動機構(gòu)設(shè)計如圖3所示,機器人整體具備12個主動自由度,以此建立D-H坐標,可得到機器人運動學模型。首先建立腿部各個連桿坐標系,進而推導各個連桿之間的變換矩陣,機器人的單腿正運動學方程由變換矩陣依次相乘得到,經(jīng)過一系列的數(shù)學變換得到逆運動學方程。坐標系定義及實物參數(shù)確定:各旋轉(zhuǎn)關(guān)節(jié)坐標系的Z軸與關(guān)節(jié)旋轉(zhuǎn)軸重合,坐標系的X軸沿相鄰兩關(guān)節(jié)Z軸的公法線方向,坐標軸的Y軸遵從右手定則。
仿生機器人平臺采用了大量的傳感器,實現(xiàn)步態(tài)規(guī)劃和自主導航控制,其中感知模塊主要采用觸覺傳感器LDT0-028K,可以在機器人與環(huán)境發(fā)生輕微接觸時產(chǎn)生信號,并經(jīng)過放大電路傳輸至感知信號處理板。激光單元采用傳感器VL53L0x可以準確快速測量機器人各關(guān)鍵位置與環(huán)境間的距離,可以達到20Hz的采集頻率以及10mm以內(nèi)的測量誤差。足端力傳感器采用RP-C18.5-ST,能夠準確測得機器人足端所處的狀態(tài)信息,通過觸地信息分辨機器人的仿生腿在支撐相還是擺動狀態(tài),提高機器人的環(huán)境適應(yīng)性。IMU姿態(tài)傳感器913fdb3230c19787b729755cca5c094dc89664ed9a65c0ec3cd4c6b1c15fde84選擇的是九軸高精度角度傳感器JY901L。足端柔性仿生材料如圖4(a)所示,是一種自制的高溫硫化模壓成形的有機硅混煉膠,將其制作成半圓球形粘連在機器人足端底部,在保證機器人和地面的接觸面積的同時,大大降低了接觸沖擊對足端力傳感器的影響。仿生機器人平臺實物如圖4(b)所示。
3 裂紋識別算法研究
3.1 圖像預(yù)處理
一般情況下采集到的原始圖像受當時拍攝環(huán)境的影響會有各種缺陷,如噪聲,有些用肉眼無法分辨出來,如果不及時把這噪聲濾掉,將會影響到后續(xù)的裂紋識別。圖像預(yù)處理方面,首先采用濾波處理把圖像上的噪聲去除,得到平滑圖像,通過圖像增強得到梯度圖像,可以使圖像變得清晰。邊緣檢測是根據(jù)灰度級別的不同來識別出裂紋,得到邊界點圖像,利用再次濾波處理來去除邊緣檢測帶來的附加噪聲,再次圖像增強處理使圖像邊緣變得更清晰,方便后期進行閾值處理。二值化處理如圖5所示,使裂紋與背景進一步有效分離,保存形成可用于進行深度機器學習模型訓練和識別的圖像庫。
3.2 基于Mask R-CNN(Region-CNN)的裂紋識別算法
Mask R-CNN算法的網(wǎng)絡(luò)架構(gòu)主要由基本骨架、區(qū)域候選網(wǎng)絡(luò)、對齊映射、邊界框檢測和掩膜分割組成。其中,基本骨架實現(xiàn)底層到高層的特征圖的融合,從而充分利用了提取到的各階段的特征。區(qū)域候選網(wǎng)絡(luò)在輸入圖像的特征圖上提出可能包含目標的候選區(qū)域,這些候選框被用作后續(xù)步驟的對齊映射,為后續(xù)的目標檢測和實例分割提供了基礎(chǔ)。邊界框檢測用于確定目標對象的位置和大小。
經(jīng)過圖像預(yù)處理后,得到圖像庫,通過Mask R-CNN算法實現(xiàn)裂紋的有效識別。通過骨干網(wǎng)絡(luò)提取可能含有裂紋對象的特征圖,生成候選區(qū)域,在特征圖上使用區(qū)域候選網(wǎng)絡(luò)(RPN)提取候選區(qū)域。對候選區(qū)域進行感興趣區(qū)域?qū)R映射操作,將不同大小和比例的候選區(qū)域映射到固定大小的特征圖上,并提取出對應(yīng)的特征。將提取的特征送入分類器和邊界框回歸器中,進行目標類別分類和邊界框調(diào)整。采用的全卷積網(wǎng)絡(luò)(FCN)可以通過有效的學習,對每像素任務(wù)進行密集預(yù)測,可以對圖片中的目標進行準確的分割,負責生成像素級別的掩碼,實現(xiàn)了對檢測到的對象進行精確的實例分割,為模型提供了對圖像中對象的精細理解和分割能力。
基于Mask R-CNN裂紋識別算法的流程框架如圖6所示。主要分模型訓練優(yōu)化和結(jié)合測試及UI界面設(shè)計兩大模塊。前半模塊主要負責完成模型的訓練,其中數(shù)據(jù)準備和收集階段包含數(shù)據(jù)集準備、數(shù)據(jù)格式轉(zhuǎn)換、生成config配置文件、修改訓練圖片大小和學習率、模型訓練等,由于采用的是監(jiān)督學習算法,對裂紋圖像進行人工標記并生成與之匹配的標簽文件,才能實現(xiàn)模型訓練。而數(shù)據(jù)增強策略主要采用圖像水平旋轉(zhuǎn)、改變亮度、平移和裁剪和混合4種有效的數(shù)據(jù)增強方法,擴充訓練樣本,增強模型的泛化能力和魯棒性能,減小過擬合發(fā)生的現(xiàn)象。經(jīng)過訓練和優(yōu)化的模型可以作為推斷器用于檢測和識別圖像中的裂紋。模型可以給出裂紋的位置、大小和類型等信息。本文設(shè)計了一套用戶界面(UI),用戶可通過該界面選擇被測圖像,經(jīng)過模型的處理計算后顯示裂紋檢測結(jié)果,包括圖像中裂紋的位置和實際長度。
模型的訓練和優(yōu)化采用MM Detection工具。該工具是基于Pytorch的目標檢測算法,包括經(jīng)典的單階段和雙階段檢測器,以及一些圖像分割等任務(wù)的模型。在具體的訓練過程中,數(shù)據(jù)集的標注需要使用圖像標注工具進行人工標注。對裂紋的標注需要用鼠標將圖像中的裂紋精確框選出來,標注的精度直接關(guān)系到模型裂紋長度檢測的精度。標注完成后,標注信息會保存在相應(yīng)的標注文件中,以供算法訓練和測試使用。不同的算法框架對標注數(shù)據(jù)的格式要求不同,通過轉(zhuǎn)換可以確保標注信息在不同框架之間的兼容性和一致性。
為保證裂紋長度測量具有一致性,本文將裂紋近似為一條線段,其長度統(tǒng)一定義為兩端點連線的長度。由于標注圖像中的裂紋時,裂紋的兩端點與矩形邊界框?qū)蔷€上兩頂點重合,因此邊界框的對角線長度也可視為裂紋的長度。裂紋樣本的實際長度測量方式如圖7所示。裂紋檢測算法能夠?qū)D像中的裂紋標記出來,但還需進行尺度標定才能推斷出裂紋的實際長度?;趨⒖紭顺邷y量法的原理進行尺度標定:在拍攝裂紋圖像時保證相機與目標表面的距離固定且相機的光軸垂直于該平面,則根據(jù)圖像成像原理可以將每個像素點代表的實際距離視為一致。對標尺測量獲得其像素點個數(shù)為a個,而標尺代表的距離為b,計算得b/a =0.077l,即為像素和實際距離的比例關(guān)系。使用所得的比例尺將裂紋區(qū)域的像素長度轉(zhuǎn)換為實際長度:裂紋識別矩形框區(qū)域?qū)蔷€長度乘以建立的比例尺,可以得到實際的裂紋長度。
4 狹小空間裂紋識別試驗驗證
將仿生機器人平臺和圖像采集模塊在飛機機翼艙道結(jié)構(gòu)中進行裂紋識別系統(tǒng)的測試與驗證。
對于艙段側(cè)壁裂紋圖片,裂紋識別算法能夠確定裂紋在圖像中的位置,但無法判斷裂紋在艙段中的位置,因此要實現(xiàn)對裂紋的精確定位,還需將圖片與其拍攝位置相關(guān)聯(lián)。機器人按照預(yù)設(shè)的路線對艙道進行檢查,檢查過程如圖8所示,分別在不同點位??坎⑴臄z樣本圖像。由于裂紋長度測量過程中尺度標定的前提是相機光軸與目標平面垂直并且兩者的距離保持不變,需要利用距離傳感器控制機器人在每次拍攝時相機與側(cè)壁的距離均保持在200mm。
完成圖像拍攝和位置信息整合后,選出6張圖片用以測試算法的性能。圖像中包含的所有裂紋的實際長度已經(jīng)過人工測量并記錄。軟件對圖像進行裂紋定位和長度測量,部分流程如圖9所示。經(jīng)過測試,樣本圖像中裂紋的檢出率為100%;裂紋的實際長度分布在8~150mm范圍內(nèi),算法測量的誤差最大值為3.73mm,平均值為1.39mm。
5 結(jié)論及展望
通過對適用于狹小空間的仿生機器人平臺及圖像裂紋識別算法研究,實現(xiàn)了對裂紋長度和位置的快速檢測,構(gòu)建了裂紋識別模型,評估了模型在不同數(shù)據(jù)集上的裂紋識別性能,具有較高的識別精度,使模型具備一定的泛化能力,并在典型盒段內(nèi)部空間進行了試驗驗證,實現(xiàn)了對裂紋長度的快速識別和標注,為后續(xù)的嵌入式部署和界面開發(fā)等提供一種可行性的指導方案。
根據(jù)本文的研究進展,對后續(xù)的研究展望如下:(1)現(xiàn)有模型在某些特定場景下存在一定的局限性,如光照變化較大、裂紋形態(tài)復(fù)雜的情況。未來的工作方向?qū)ㄟM一步改進模型的魯棒性,優(yōu)化數(shù)據(jù)增強策略,并探索更適用于復(fù)雜場景的新型模型架構(gòu)。(2)目前為采集圖像后統(tǒng)一輸入實現(xiàn)算法識別,下一步可考慮研究機器人邊走邊識別邊傳數(shù)據(jù),實現(xiàn)實時的裂紋檢測,優(yōu)化工作流程,提高算法效率。(3)裂紋識別技術(shù)在工業(yè)領(lǐng)域和安全檢測中具有重要應(yīng)用價值。未來的研究方向可能包括深入挖掘跨領(lǐng)域合作的可能性,結(jié)合其他領(lǐng)域的技術(shù)手段,進一步提升裂紋識別技術(shù)的實用性和普適性。
參考文獻
[1]Wooden D, Malchano M, Blankespoor K, et al. Autonomous navigation for BigDog[C]. IEEE International Conference on Robotics & Automation. IEEE, 2010: 4736-4741.
[2]Hutter M, Gehring C, Bloesch M, et al. StarlETH: A compliant quadrupedal robot for fast, efficient, and versatile loco-motion[C]. Adaptive Mobile Robotics Conference, 2012: 483-490.
[3]Rebula J R, Neuhaus P D, Bonnlander B V, et al. A controller for the littledog quadruped walking on rough terrain[C]// Proceedings 2007 IEEE International Conference on Robotics and Automation. IEEE, 2007: 1467-1473.
[4]Biswal P, Mohanty P K. Development of quadruped walking robots: A review[J]. Ain Shams Engineering Journal, 2021, 12(2): 2017-2031.
[5]Hutter M, Gehring C, Jud D, et al. Anymal-a highly mobile and dynamic quadrupedal robot[C]. 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2016: 38-44.
[6]王鵬飛.四足機器人穩(wěn)定行走規(guī)劃及控制技術(shù)研究[D]. 哈爾濱:哈爾濱工業(yè)大學, 2007. Wang Pengfei. Research on quadruped robot steadily walking planning and controlling technology[D]. Harbin: Harbin Institute of Technology, 2007.(in Chinese)
[7]王立鵬.液壓四足機器人驅(qū)動控制與步態(tài)規(guī)劃研究[D]. 北京:北京理工大學, 2014. Wang Lipeng. Research on actuator control and gait planning of hydraulic quadruped robots[D]. Beijing: Beijing Institute of Technology, 2014. (in Chinese)
[8]謝惠祥.四足機器人對角小跑步態(tài)虛擬模型直覺控制方法研究[D]. 長沙:國防科技大學, 2015. Xie Huixiang. Research on intuitive control method of virtual model for diagonal sprint gait of quadruped robot[D]. Changsha: National University of Defense Technology, 2015.(in Chinese)
[9]Wang Zhongyuan, Dai Zhendong, Yu Zhiwei, et al. Optimal attaching and detaching trajectory for bio-inspired climbing robot using dry adhesive[C]. 2014 IEEE/ASME International Conference on Advanced Intelligent Mechatronics.IEEE, 2014: 990-993.
[10]Zhang Houxiang, Zhang Jianwei, Zong Guanghua, et al. Sky cleaner 3: A real pneumatic climbing robot for glass-wall cleaning[J]. IEEE Robotics & Automation Magazine, 2006, 13(1): 32-41.
[11]姜延歡,楊永軍,李新良,等.智能無人系統(tǒng)環(huán)境感知計量評價研究[J].航空科學技術(shù),2020,31(12):80-85.Jiang Yanhuan, Yang Yongjun, Li Xinliang, et al. Research on environmental perception metrology and evaluation technology of intelligent unmanned system[J]. Aeronautical Science & Technology,2020,31(12): 80-85. (in Chinese)
[12]張文東,卓軼,董登科,等.一種裂紋識別方法的研究及試驗驗證[J].航空科學技術(shù),2020,31(5):81-88. Zhang Wendong, Zhuo Yi, Dong Dengke, et al. Research on the method of crack identification and experimental verification[J].Aeronautical Science & Technology,2020, 31(5): 81-88. (in Chinese)
[13]于翀,宋昊.航空結(jié)構(gòu)件孔邊裂紋監(jiān)測技術(shù)研究綜述[J].航空科學技術(shù),2021,32(12):1-17. Yu Chong,Song Hao. Summary of research on hole edge crack monitoring of aviation structures[J]. Aeronautical Science & Technology, 2021, 32(12): 1-17. (in Chinese)
[14]Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.
[15]Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6):1137-1149.
[16]He Kaiming, Gkioxari G, Dollár P, et al. Mask r-cnn[C]// Proceedings of the IEEE International Conference on Computer Vision, 2017: 2961-2969.
Narrow Space Crack Detection Technology Based on Bionic Robot
Wang Wenjuan1, Zhang Mengjie1, Liu Yuanbo1, Sun Jie1, Xue Jingfeng1, Duan Jinjun2, Liu Zhong3
1. Chinese Aeronautical Establishment,Beijing 100012,China
2. Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
3. Beijing University of Aeronautics and Astronautics, Beijing 100191, China
Abstract: The inspection of cracks runs tGgF+YvBKPMTddgoxGQygWfQpeBmMN/TwJ4ykIIwxuaw=hrough the entire life cycle of aircraft, and it may bring serious consequences with crack not found in time, especially in narrow space parts such as aircraft box segment, inaccessible to person, small cracks are difficult to be inspected quickly, which brings major safety risks to the aircraft service, ground strength and fatigue tests. A bionic robot platform that can freely enter a narrow space is studied, involving bionic robot mechanism, motion behavior and gait planning, environment perception and obstacle avoidance. Digital enhancement on a large number of images, image processing and image crack algorithm based on deep machine learning have been carried out. The sample of aircraft box segment with narrow space characteristics has been experimented. By means of presetting cracks inside the box segment, effectively integrating image acquisition module and the bionic robot platform, combining with the image acquisition environment regulation, robot path planning and crack algorithm optimization, the crack length and location in a narrow space is successfully detected, which provides technical support for the follow-up rapid inspection of full crack coverage of aircraft and maintenance strategy.
Key Words: narrow space; bionic robot; image processing; deep machine learning; crack detection