基于圖像識(shí)別的高強(qiáng)度螺栓松動(dòng)檢測(cè)方法的研究*

郭珍珠 趙 偉 陳涵深 呂 碩

(1.江蘇科技大學(xué)土木工程與建筑學(xué)院，江蘇鎮(zhèn)江 212000；2.浙江交通職業(yè)技術(shù)學(xué)院，教育部公路水運(yùn)鋼結(jié)構(gòu)橋梁應(yīng)用協(xié)同創(chuàng)新中心,杭州 311112；3.青島理工大學(xué)土木工程學(xué)院，山東青島 266525)

在鋼結(jié)構(gòu)橋梁連接中，高強(qiáng)度螺栓連接因具備強(qiáng)度高、耐久性好、現(xiàn)場(chǎng)施工簡(jiǎn)便等優(yōu)點(diǎn)，已經(jīng)基本取代鉚釘連接、銷(xiāo)軸連接和焊接連接而成為鋼結(jié)構(gòu)現(xiàn)場(chǎng)主要連接方式[1]。隨著橋梁服役的年限逐年增長(zhǎng)，鋼結(jié)構(gòu)橋梁在投入運(yùn)行中承受的疲勞荷載及強(qiáng)迫振動(dòng)等作用，使高強(qiáng)度螺栓的松弛斷裂現(xiàn)象不斷增加，給鋼橋連接長(zhǎng)壽命、高品質(zhì)服役帶來(lái)隱患。另外，螺栓失效現(xiàn)象發(fā)現(xiàn)不及時(shí)，將嚴(yán)重影響橋梁的節(jié)點(diǎn)連接性能，降低承載能力，甚至引發(fā)災(zāi)難性的后果。因此，有必要開(kāi)發(fā)鋼橋高強(qiáng)度螺栓快速松動(dòng)檢測(cè)及預(yù)緊力評(píng)估技術(shù)以增加橋梁連接可靠性，提高鋼結(jié)構(gòu)橋梁的承載力性能。

目前，鋼橋運(yùn)營(yíng)期間高強(qiáng)度螺栓連接的松動(dòng)檢測(cè)方法以人工目測(cè)和小錘敲擊檢查為主。人工目測(cè)法效率低、安全性差、結(jié)果差異性大，無(wú)法實(shí)現(xiàn)螺栓松動(dòng)檢測(cè)的快速、準(zhǔn)確。近年來(lái)發(fā)展起來(lái)的基于接觸傳感法如基于聲學(xué)、基于壓電主動(dòng)傳感和基于阻抗等[2-4]方法雖然具有一定的應(yīng)用基礎(chǔ)，但存在檢測(cè)設(shè)備價(jià)格高昂，操作過(guò)程需人工輔助，設(shè)備定期更換不易等問(wèn)題，無(wú)法應(yīng)用于鋼橋中高強(qiáng)度螺栓長(zhǎng)期、大批量的松動(dòng)檢測(cè)。

1 研究現(xiàn)狀

隨著檢測(cè)需求日益增加，基于視覺(jué)的圖像識(shí)別技術(shù)在結(jié)構(gòu)健康監(jiān)測(cè)(SHM)領(lǐng)域嶄露頭角。大量學(xué)者已在路面裂縫檢測(cè)、基坑深度監(jiān)測(cè)和鋼結(jié)構(gòu)銹蝕等[5-7]方向進(jìn)行了卓有成效的研究。在螺栓松動(dòng)檢測(cè)方面，國(guó)外學(xué)者對(duì)基于機(jī)器視覺(jué)的圖像識(shí)別螺栓松動(dòng)檢測(cè)法也進(jìn)行了初步研究。Park等提出了基于視覺(jué)螺栓松動(dòng)檢測(cè)法[8]，他們將霍夫(Hough)變換和坎尼(Canny)邊緣檢測(cè)算法相結(jié)合，通過(guò)跟蹤螺栓邊界的旋轉(zhuǎn)軌跡推算螺栓松動(dòng)的角度，結(jié)果精度可達(dá)4°；Cha等在Park等方法基礎(chǔ)上提出了一種基于視覺(jué)的新算法[9]，他們將圖像處理算法與支持向量機(jī)相結(jié)合，對(duì)螺栓桿及螺母圖像進(jìn)行分割，通過(guò)識(shí)別螺栓桿的高度來(lái)推算螺栓松動(dòng)角度。該算法適用于攝像機(jī)拍攝角度31°～51°、拍攝距離78～122 mm、有明顯松動(dòng)狀態(tài)的螺栓，但對(duì)螺栓的微小松動(dòng)角度檢測(cè)效果不佳，運(yùn)算量較大、對(duì)處理器要求較高；Ramana等通過(guò)將Viola-Jones算法與支持向量機(jī)相結(jié)合，在Cha等的方法基礎(chǔ)上做了進(jìn)一步改進(jìn)，對(duì)螺栓頭部尺寸及栓桿外露螺紋長(zhǎng)度進(jìn)行識(shí)別[10]，結(jié)果表明其算法可以檢測(cè)外露螺紋長(zhǎng)度不小于5 mm的松動(dòng)螺栓，且適用于多種幾何形狀的螺栓頭，但受拍攝角度的限制，無(wú)法對(duì)微小松動(dòng)角度進(jìn)行檢測(cè)。Zhao等使用單次多盒檢測(cè)器對(duì)螺栓識(shí)別定位，考慮不同角度光照對(duì)網(wǎng)絡(luò)穩(wěn)定性的影響，并對(duì)該方法的檢測(cè)精度進(jìn)行了試驗(yàn)驗(yàn)證[11]，結(jié)果表明該方法不受光照角度影響，具有較好的穩(wěn)定性，但最小識(shí)別角度僅達(dá)10°。雖然圖像識(shí)別法在結(jié)構(gòu)健康監(jiān)測(cè)領(lǐng)域展示了良好的效果，但其算法運(yùn)算速度及精度仍無(wú)法滿(mǎn)足鋼結(jié)構(gòu)橋梁高強(qiáng)度螺栓大批量松動(dòng)檢測(cè)的要求。

針對(duì)提高機(jī)器運(yùn)算速度及檢測(cè)精度需求，提出了一種基于圖像識(shí)別的高強(qiáng)度螺栓松動(dòng)檢測(cè)方法。該方法利用螺栓角點(diǎn)位置識(shí)別算法對(duì)螺栓圖像樣本進(jìn)行了白色掩膜構(gòu)建、掩膜小型噪點(diǎn)剔除和感興趣區(qū)域(ROI)分割等處理，確定螺栓角點(diǎn)位置坐標(biāo)，結(jié)合相機(jī)成像相似映射原理推算螺栓松動(dòng)角度，進(jìn)而根據(jù)螺栓松動(dòng)角度評(píng)估預(yù)緊力損失。對(duì)不同型號(hào)螺栓在不同水平視距下旋轉(zhuǎn)10°、20°、30°采集樣本，并將其導(dǎo)入算法，對(duì)該圖像識(shí)別方法在高強(qiáng)度螺栓連接松動(dòng)檢測(cè)及預(yù)緊力評(píng)估中的魯棒性進(jìn)行驗(yàn)證。

2 識(shí)別思路

識(shí)別的思路主要分為螺栓角點(diǎn)位置識(shí)別、松動(dòng)角度計(jì)算和預(yù)緊力損失判定三部分。其中，螺栓角點(diǎn)位置識(shí)別算法的流程如圖1所示。在相機(jī)機(jī)型、螺栓尺寸規(guī)格、拍攝距離參數(shù)已知情況下，獲取螺栓圖像樣本并將其輸入算法，監(jiān)測(cè)螺栓圖像特征標(biāo)記點(diǎn)的空間坐標(biāo)，由相機(jī)成像的坐標(biāo)系轉(zhuǎn)換原理推算螺栓的松動(dòng)角度，通過(guò)松動(dòng)角度與預(yù)緊力的關(guān)系，對(duì)螺栓預(yù)緊力損失進(jìn)行評(píng)估，為預(yù)緊力閾值的提出奠定基礎(chǔ)。

圖1 螺栓角點(diǎn)位置識(shí)別算法的流程Fig.1 The flow chart of position recognition algorithm for the bolt corner

2.1 螺栓角點(diǎn)位置識(shí)別

螺栓角點(diǎn)位置識(shí)別按下面4個(gè)步驟進(jìn)行：

1)構(gòu)建白色掩膜(mask)。首先，輸入圖像尺寸為1 624×1 240像素。為消除由于外界雜質(zhì)使圖像產(chǎn)生的強(qiáng)度隨機(jī)信號(hào)，首先采用高斯濾波對(duì)圖像進(jìn)行降噪處理，調(diào)節(jié)高斯濾波模板尺度為5×5[12]，平滑參數(shù)σ設(shè)為1.0;其次，采用COLOR_BGR2HSV顏色空間通道轉(zhuǎn)換，調(diào)節(jié)彩色閾值，使圖像顏色特征限定在紅色范圍內(nèi)；接著，為節(jié)省存儲(chǔ)空間，提高指令運(yùn)行速度，對(duì)圖像進(jìn)行二值化處理、與操作，構(gòu)建mask，對(duì)ROI無(wú)關(guān)背景進(jìn)行遮擋，此時(shí)色調(diào)顏色模型圖片中在顏色范圍內(nèi)的區(qū)域變成白色，其他區(qū)域變成黑色。

2)剔除mask中其他小型噪點(diǎn)。針對(duì)mask圖像中可能存在其他的離散點(diǎn)、游絲、毛刺線等小型噪點(diǎn)，調(diào)用形態(tài)學(xué)開(kāi)運(yùn)算[13]。首先，應(yīng)用腐蝕操作，使用卷積核尺寸為3×3的結(jié)構(gòu)元像素對(duì)待測(cè)圖像進(jìn)行卷積遍歷，將卷積核鄰域像素點(diǎn)的極小值賦予錨點(diǎn)指定像素，從而對(duì)圖像前景像素的邊界進(jìn)行黑暗處理，去除像素間斷點(diǎn)；其次，使用膨脹操作對(duì)圖像前景像素的邊界進(jìn)行擴(kuò)張，對(duì)圖像前景像素的邊界進(jìn)行高亮處理，連接相近間斷點(diǎn)，從而清晰mask輪廓特征。為提高運(yùn)行速度，腐蝕與膨脹函數(shù)迭代次數(shù)均為1次。

3)分割ROI。首先，對(duì)mask區(qū)域面積進(jìn)行統(tǒng)計(jì)，對(duì)矩形尺寸長(zhǎng)寬比大于8的圖像輪廓做自動(dòng)放棄處理，并對(duì)mask輪廓的垂直邊界最小正矩形進(jìn)行提取，留下符合要求的ROI；其次，對(duì)ROI的連續(xù)輪廓點(diǎn)的內(nèi)部進(jìn)行填充，并沿其外接輪廓進(jìn)行切割使之形成獨(dú)立圖像，輪廓邊緣線寬設(shè)為2像素。

4)確定角點(diǎn)位置。首先，計(jì)算ROI輪廓的中心并采用十字交叉線進(jìn)行標(biāo)志；其次，計(jì)算ROI的中心距，以圖像窗口左上角像素點(diǎn)為初始原點(diǎn)，對(duì)ROI中心坐標(biāo)(xn,yn)進(jìn)行計(jì)算自動(dòng)輸出，ROI的中心作為角點(diǎn)的坐標(biāo)，隨即完成螺栓角點(diǎn)位置識(shí)別。

2.2 松動(dòng)角度計(jì)算

上述算法依據(jù)相機(jī)成像相似映射原理將圖像從世界坐標(biāo)系向相機(jī)坐標(biāo)系過(guò)渡轉(zhuǎn)換，轉(zhuǎn)化原理如圖2所示。

圖2 試驗(yàn)原理Fig.2 Experimental principles

由圖2推得螺栓圖像像素點(diǎn)與相機(jī)型號(hào)及拍攝距離之間的關(guān)系，如式(1)所示：

(1)

式中：Df為相機(jī)焦距尺寸；D0為鏡頭到物體的距離；Xc為單個(gè)像素點(diǎn)對(duì)應(yīng)物體的實(shí)際長(zhǎng)度；Xccd為工業(yè)相機(jī)像元尺寸。

即單個(gè)圖像像素點(diǎn)對(duì)應(yīng)物體的實(shí)際長(zhǎng)度為：

(2)

將采集的螺栓圖像樣本導(dǎo)入算法中，利用算法對(duì)螺栓旋轉(zhuǎn)前后角點(diǎn)進(jìn)行檢測(cè)并進(jìn)行坐標(biāo)計(jì)算。螺栓旋轉(zhuǎn)過(guò)程中角點(diǎn)檢測(cè)原理如圖3所示。

圖3 螺栓旋轉(zhuǎn)過(guò)程中角點(diǎn)檢測(cè)原理Fig.3 The principle for detection of corner points during rotation of bolts

由圖3可知，螺栓旋轉(zhuǎn)引起的角點(diǎn)像素變化個(gè)數(shù)和角點(diǎn)軌跡變化弦長(zhǎng)分別為：

(3a)

Dc=Npxc

(3b)

式中：p1(x1,y1)、p2(x2,y2)分別為螺栓旋轉(zhuǎn)前后標(biāo)記角點(diǎn)像素坐標(biāo)；Np為螺栓旋轉(zhuǎn)引起的角點(diǎn)軌跡弦長(zhǎng)的像素點(diǎn)個(gè)數(shù)；xc為單個(gè)像素點(diǎn)實(shí)際對(duì)應(yīng)物體的長(zhǎng)度；Dc為螺栓旋轉(zhuǎn)引起的角點(diǎn)軌跡變化弦長(zhǎng)。

螺栓松動(dòng)角度與螺栓旋轉(zhuǎn)角點(diǎn)檢測(cè)長(zhǎng)度關(guān)系如圖4所示。計(jì)算公式為：

圖4 螺栓松動(dòng)角度與螺栓旋轉(zhuǎn)角點(diǎn)檢測(cè)長(zhǎng)度示意Fig.4 The schematic diagram of the detection length for looseing angles or rotation of bolts

(4a)

(4b)

式中：R為待測(cè)螺栓角點(diǎn)旋轉(zhuǎn)半徑；θ為螺栓角點(diǎn)旋轉(zhuǎn)角度。

當(dāng)使用相機(jī)型號(hào)MV-CA020-10GC、像元尺寸為4.5 μm、鏡頭到物體的距離為0.5 m時(shí)，對(duì)M30型號(hào)螺栓單個(gè)像素點(diǎn)進(jìn)行識(shí)別，該試驗(yàn)精度可達(dá)0.18°(由式(4)計(jì)算得到)。

由式(4b)分析可知，試驗(yàn)精度主要取決于相機(jī)型號(hào)、螺栓尺寸和拍攝距離；上述工況的識(shí)別精度理論上可達(dá)0.18°，完全滿(mǎn)足工程中對(duì)螺栓的松動(dòng)角度精度的要求。

2.3 預(yù)緊力損失判定

已知螺栓連接的自松動(dòng)過(guò)程包括兩個(gè)不同的階段。第一階段是材料的循環(huán)塑性變形，第二階段是螺母的后退。針對(duì)螺栓第二階段的自松動(dòng)過(guò)程建立松動(dòng)角度與預(yù)緊力的關(guān)系，為螺栓緊固評(píng)判標(biāo)準(zhǔn)的提出提供數(shù)據(jù)支撐。

螺栓松動(dòng)角度與預(yù)緊力損失值之間的關(guān)系[14]為：

(5)

式中：Kt為螺栓連接的拉伸彈簧常數(shù)；Kc為被聯(lián)接件的壓縮彈簧常數(shù)；φ為螺母的轉(zhuǎn)角；p為螺距(單頭螺紋)。

將式(5)導(dǎo)入算法，即可建立螺栓旋轉(zhuǎn)角度與預(yù)緊力損失的關(guān)系，從而對(duì)螺栓預(yù)緊力損失進(jìn)行評(píng)估。

3 試驗(yàn)驗(yàn)證

為驗(yàn)證方法的有效性，進(jìn)行了試驗(yàn)。試驗(yàn)在CPU Inteli7-8700、內(nèi)存8 G的硬件環(huán)境，采用python語(yǔ)言，基于OpenCV3.4庫(kù)在操作系統(tǒng)為windows 10的軟件環(huán)境下運(yùn)行。采用?？低暪I(yè)相機(jī)MV-CA020-10GC，傳感器型號(hào)為IMX430，傳感器類(lèi)型為CMOS，靶面尺寸為14.8 mm，像元尺寸為4.5 μm，分辨率為1 624×1 240像素，畫(huà)面?zhèn)鬏攷瑪?shù)為60幀/s，GigE接口，焦距為12 mm工業(yè)相機(jī),分別對(duì)M20和M30型號(hào)螺栓在鏡頭與螺栓中心點(diǎn)距離0.5，0.8 m處進(jìn)行定機(jī)位采樣，試驗(yàn)裝置如圖5所示。

圖5 試驗(yàn)裝置Fig.5 The experimental setup

3.1 圖像采集

分別設(shè)定相機(jī)拍攝距離為0.5，0.8 m，將螺栓角點(diǎn)初置于0°，對(duì)M20、M30螺栓進(jìn)行10°、20°和30°旋轉(zhuǎn)，在不同水平視距下M20和M30螺栓的圖像采集分別如圖6、7所示。

a—距離0.5 m;b—距離0.8 m。圖6 M20螺栓數(shù)據(jù)圖像Fig.6 The digital images of bolt M20

a—距離0.5 m;b—距離0.8 m。圖7 M30螺栓數(shù)據(jù)圖像Fig.7 The digital images of bolt M30

a—0°；b—10°；c—20°；d—30°。圖8 0.5 m處攝得的不同旋轉(zhuǎn)角度的M30螺栓圖像Fig.8 The images of bolt M30 rotated different angles from a distance of 0.5 m

0.5 m時(shí)，對(duì)M30螺栓依次進(jìn)行旋轉(zhuǎn)獲得的待測(cè)螺栓樣本如圖8所示。依次將角點(diǎn)初設(shè)角度為0°、10°、20°和30°的待測(cè)螺栓圖片輸入算法中，檢測(cè)螺母角點(diǎn)坐標(biāo)實(shí)際效果如圖9所示，其他工況類(lèi)似。

圖9 算法檢測(cè)角點(diǎn)實(shí)際效果Fig.9 The actual effect of the algorithm to detect feature points

3.2 數(shù)據(jù)處理

已知M20螺栓角點(diǎn)旋轉(zhuǎn)直徑為37 mm，將水平拍攝距離為0.5 m的螺栓圖像導(dǎo)入算法，識(shí)別螺栓角點(diǎn)坐標(biāo)分別為x1=925，y1=772；x2=943，y2=771；x3=960，y3=769；x4=976，y4=768。識(shí)別準(zhǔn)確率、預(yù)緊力損失值計(jì)算見(jiàn)表1。

表1 水平視距為0.5 m時(shí)M20螺栓樣本識(shí)別結(jié)果Table 1 Recognition results of specimen bolt M20 at a horizontal distance of 0.5 m

同理，將水平拍攝距離為0.8 m的螺栓圖像導(dǎo)入算法，識(shí)別準(zhǔn)確率、預(yù)緊力損失值計(jì)算見(jiàn)表2。

表2 水平視距為0.8 m時(shí)M20螺栓樣本識(shí)別結(jié)果Table 2 Recognition results of specimen bolt M20 at a horizontal distance of 0.8 m

已知M30螺栓角點(diǎn)旋轉(zhuǎn)直徑為56.63 mm，將水平拍攝距離為0.5 m的螺栓圖像導(dǎo)入算法，測(cè)得螺栓角點(diǎn)坐標(biāo)分別為：x1=734，y1=765；x2=759，y2=770；x3=784，y3=766；x4=809，y4=758。識(shí)別準(zhǔn)確率、預(yù)緊力損失值計(jì)算見(jiàn)表3。

表3 M30螺栓、0.5 m水平視距樣本算法識(shí)別結(jié)果Table 3 Recognition results of specimen bolt M30 at a horizontal distance of 0.5 m

同理，將水平拍攝距離為0.8 m的螺栓圖像導(dǎo)入算法，識(shí)別準(zhǔn)確率、預(yù)緊力損失值計(jì)算見(jiàn)表4。

表4 M30螺栓、0.8 m水平視距樣本算法識(shí)別結(jié)果Table 4 Recognition results of specimen bolt M30 at a horizontal distance of 0.8 m

試驗(yàn)數(shù)據(jù)表明，該算法識(shí)別角度與螺栓實(shí)際轉(zhuǎn)動(dòng)角度值相符，檢測(cè)準(zhǔn)確率可達(dá)90%以上，滿(mǎn)足實(shí)際橋梁螺栓批量檢測(cè)要求；隨著螺栓轉(zhuǎn)動(dòng)角度幅度、螺栓尺寸的增加，算法識(shí)別的準(zhǔn)確度越高。經(jīng)分析得到：M20螺栓每松動(dòng)1°，預(yù)緊力平均降低3.6 kN；M30螺栓每松動(dòng)1°，預(yù)緊力平均降低8.0 kN。這與經(jīng)驗(yàn)值相符。

4 結(jié)束語(yǔ)

1)提出了一種基于圖像識(shí)別的高強(qiáng)度螺栓松動(dòng)檢測(cè)方法，該方法能有效檢測(cè)高強(qiáng)度螺栓實(shí)際松動(dòng)的角度，檢測(cè)準(zhǔn)確率可達(dá)90%以上。

2)圖像識(shí)別算法的精度主要與所用相機(jī)型號(hào)、螺栓尺寸、拍攝距離有關(guān)。

3)該方法可有效評(píng)估預(yù)緊力損失，為檢測(cè)或監(jiān)測(cè)高強(qiáng)度螺栓松動(dòng)提供量化指標(biāo)。