基于防松線(xiàn)分割的螺栓松動(dòng)全角度檢測(cè)方法*

康晶杰

（中國(guó)兵器科學(xué)研究院寧波分院，浙江 寧波 315000）

螺栓作為現(xiàn)代工業(yè)標(biāo)準(zhǔn)緊固件的典型，重大應(yīng)用需求[1-4]等領(lǐng)域起至關(guān)重要的作用。但由于所緊固結(jié)構(gòu)件作業(yè)時(shí)的機(jī)械振動(dòng)或鑄造材料的先天缺陷，難免會(huì)使螺栓發(fā)生諸如松動(dòng)、疲勞斷裂等失效情況，造成難以估量的損失[5-6]。為確保螺栓安全有效服役，對(duì)螺栓定期的檢查緊固顯得尤為重要[7]。相較于傳統(tǒng)人工或接觸式方法巡檢檢修，通過(guò)基于機(jī)器視覺(jué)的螺栓自動(dòng)檢修設(shè)備中圖像處理及分析方法巡檢螺栓服役狀態(tài)，具有非接觸、可追溯以及智能化開(kāi)發(fā)程度高等優(yōu)勢(shì)[8]。

近幾年，對(duì)螺栓的松動(dòng)視覺(jué)檢測(cè)方法主要有傳統(tǒng)圖像處理和深度學(xué)習(xí)兩種。傳統(tǒng)圖像處理方面，Park J H 等[9]首先通過(guò)對(duì)螺栓上的圓形特征進(jìn)行圓形霍夫變換定位，然后利用霍夫直線(xiàn)檢測(cè)方法確定螺栓外部的直線(xiàn)特征相對(duì)圖像坐標(biāo)系的轉(zhuǎn)動(dòng)角度；Nguyen T C 等[10]利用直線(xiàn)霍夫變換檢測(cè)螺母圖像邊緣檢測(cè)后上的直線(xiàn)特征，采用計(jì)算各直線(xiàn)未松動(dòng)和松動(dòng)時(shí)所呈角度取平均值的方式定量計(jì)算螺栓松動(dòng)角度。深度學(xué)習(xí)方面，王勇等[11]使用Faster-RCNN目標(biāo)檢測(cè)算法檢測(cè)螺栓，在確保RCNN 算法檢測(cè)精度的基礎(chǔ)上加快了檢測(cè)速度，提升了檢測(cè)的效率，利用螺栓松動(dòng)前后的厚度變化定性判斷螺栓的松動(dòng)行為。為了克服上述雙階段算法檢測(cè)速度慢的缺點(diǎn)，Pan X 等[12]提出的螺栓識(shí)別檢測(cè)算法YOLOv3-tiny建立于楊培盛等[13]使用的原始YOLOv3 算法架構(gòu)之上，大大提高了檢測(cè)速度，同時(shí)仍保持較高的精度，之后通過(guò)基于光流的免標(biāo)靶目標(biāo)跟蹤算法，實(shí)現(xiàn)連續(xù)監(jiān)測(cè)和量化檢測(cè)螺栓的松動(dòng)角度。

上述基于深度學(xué)習(xí)的方法因螺栓的應(yīng)用場(chǎng)景甚廣，因此無(wú)法通過(guò)單一的識(shí)別模型做到定位的普適化；基于傳統(tǒng)圖像處理的方法因螺栓服役環(huán)境存在場(chǎng)景復(fù)雜、光照不均等干擾，難免會(huì)使霍夫變換造成誤檢。受現(xiàn)有人工目視巡檢螺栓方法，即通過(guò)在螺栓上標(biāo)畫(huà)防松線(xiàn)快速初判服役狀態(tài)的啟發(fā)，可利用防松線(xiàn)相對(duì)周遭環(huán)境的明顯顏色差別來(lái)分割防松線(xiàn)圖像，并對(duì)螺栓松動(dòng)前后防松線(xiàn)形狀特性變換來(lái)表征螺栓松動(dòng)行為[14-18]。由于該方法的核心是在顏色空間中利用防松線(xiàn)的顏色特征對(duì)其進(jìn)行分割及后續(xù)處理來(lái)定性或定量螺栓松動(dòng)，其利用了顏色特征的直觀(guān)性和僅需處理防松線(xiàn)的特殊性，相比基于圖像邊緣全局信息的螺栓整體形狀特征識(shí)別，顯著降低了處理數(shù)據(jù)的復(fù)雜度。同時(shí)，考慮到顏色特征的普遍性，使得該方法能夠適用于各種不同的場(chǎng)景和條件。因此，在計(jì)算成本和普適性上對(duì)比上述兩類(lèi)方法均存在明顯優(yōu)勢(shì)。然而，上述學(xué)者均未僅基于此方法對(duì)螺栓松動(dòng)角度進(jìn)行定量研究，更不必說(shuō)松動(dòng)全角度（0°～360°）檢測(cè)，而全角度檢測(cè)相對(duì)角度受限檢測(cè)在建立螺栓松動(dòng)角度和預(yù)緊力損失關(guān)系[19]、無(wú)人機(jī)等自動(dòng)巡檢設(shè)備檢測(cè)或定量擰緊螺栓[20]等諸多研究起著極為重要的完善作用。針對(duì)上述問(wèn)題，本文開(kāi)發(fā)了一種基于防松線(xiàn)分割的螺栓松動(dòng)全角度檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠?qū)崿F(xiàn)基于顏色分割和矢量運(yùn)算的方法對(duì)螺栓松動(dòng)全角度進(jìn)行檢測(cè)，檢測(cè)精度符合工程要求。同時(shí)，該方法還具備結(jié)構(gòu)簡(jiǎn)單、實(shí)施難度較低、易于應(yīng)用于工程實(shí)際的優(yōu)點(diǎn)。

1 全角度檢測(cè)方法

本文的研究場(chǎng)景如圖1 所示。在螺栓和基座上標(biāo)畫(huà)紅色防松線(xiàn)，其中隨著螺栓松動(dòng)而轉(zhuǎn)動(dòng)的為轉(zhuǎn)動(dòng)防松線(xiàn)，固定在基座上的為固定防松線(xiàn)，圖中分別用圓點(diǎn)框和點(diǎn)劃線(xiàn)框框出，后文不再說(shuō)明。通過(guò)螺栓和基座上防松線(xiàn)所呈角度來(lái)量化螺栓的松動(dòng)角度。基于此研究場(chǎng)景，本文的方法概述如圖2 所示。

圖1 研究場(chǎng)景

圖2 方法概述

首先，考慮到紅色防松線(xiàn)標(biāo)記相對(duì)背景具有明顯的顏色特征，因此利用一種基于Lab 和RGB 顏色空間中先后進(jìn)行a分量非線(xiàn)性拉伸和R分量最優(yōu)閾值分割的顏色分割方法來(lái)分割紅色防松線(xiàn)區(qū)域；其次，對(duì)分割得到的防松線(xiàn)圖像進(jìn)行開(kāi)運(yùn)算，在不改變防松線(xiàn)圖像的前提下，去除無(wú)用連通域；然后，利用一種角度遞進(jìn)最小包圍方法分別找出兩條防松線(xiàn)的最小外接矩形并確定防松線(xiàn)的方向矢量；最后，利用四象限反正切函數(shù)和一個(gè)角度規(guī)則來(lái)計(jì)算兩條防松線(xiàn)方向矢量在規(guī)定方向的方向夾角。

2 檢測(cè)方法原理

2.1 基于顏色空間轉(zhuǎn)換的防松線(xiàn)分割

2.1.1 顏色空間轉(zhuǎn)換

圖像處理中圖像通常采用RGB、HSV 和Lab等幾種顏色空間描述，其中以RGB 顏色空間最為常用，RGB 顏色空間將圖像分為R（紅色）、G（綠色）和B（藍(lán)色）3 個(gè)分量，3 個(gè)分量分別取值后混合，即得到了現(xiàn)實(shí)世界中的大部分顏色，常見(jiàn)于顯示器中的圖像顯示。但針對(duì)防松線(xiàn)分割這類(lèi)紅色標(biāo)記分割問(wèn)題，Lab 顏色空間相對(duì)RGB 顏色空間具有更高的分量分離度，分量不易受光照影響的優(yōu)勢(shì)，更符合人眼視覺(jué)，使得紅色像素點(diǎn)分割更為高效。Lab 顏色空間由L（亮度）分量、a和b兩個(gè)顏色對(duì)立分量組成。由于Lab 和RGB 顏色空間無(wú)法直接轉(zhuǎn)換，因此需要分兩步，先將RGB 顏色空間轉(zhuǎn)換為XYZ過(guò)渡顏色空間，再轉(zhuǎn)換為L(zhǎng)ab 空間模型[21-22]。

RGB 顏色空間轉(zhuǎn)XYZ過(guò)渡顏色空間，轉(zhuǎn)換過(guò)程如下：

然后，XYZ過(guò)渡顏色空間轉(zhuǎn)Lab 顏色空間，轉(zhuǎn)換過(guò)程如下：

式中：Xn、Yn和Zn分別是三原色XYZ在白光條件下的刺激值，取值為

在后續(xù)的圖像分割中為了消除光照的影響，可以利用Lab 顏色空間的分量分離度高的特點(diǎn)，將Lab 顏色空間模型中的L、a分量和b分量剝離（可設(shè)為0），僅將a分量作為研究對(duì)象。如圖3 所示，對(duì)原圖（圖3a）進(jìn)行處理，并進(jìn)行Lab 顏色空間轉(zhuǎn)RGB 顏色空間后，防松線(xiàn)圖像（圖3b）被粗分割出來(lái)，但通過(guò)仔細(xì)觀(guān)察依舊能夠發(fā)現(xiàn)周?chē)嬖谥T多噪聲點(diǎn)。

圖3 原圖及僅考慮a 分量處理后RGB 顏色空間示意圖

2.1.2a分量非線(xiàn)性拉伸

在Lab 顏色空間中，圖像的a分量正軸代表像素點(diǎn)接近紅色的程度，在灰度圖像顯示中擁有更高的灰度級(jí)。為了在后續(xù)算法中，直觀(guān)地突出紅色像素點(diǎn)相對(duì)背景的顯著差異，考慮使用非線(xiàn)性函數(shù)對(duì)a分量進(jìn)行拉伸。拉伸的目標(biāo)為突出紅色像素點(diǎn)，但同時(shí)盡可能不影響其他像素點(diǎn)的顏色。拉伸后a分量如下：

式中：a（i,j）表示拉伸前圖像中像素點(diǎn)（i,j）的a分量的值；anew（i,j）表示拉伸后圖像中像素點(diǎn)（i,j）的a分量的值；k1和k1為該非線(xiàn)性變換中的參數(shù)。選擇合適的參數(shù)，如k1=0.005，k2=3。拉伸效果如圖4 所示，a分量非線(xiàn)性拉伸后轉(zhuǎn)RGB 顏色空間（圖4b）相比于拉伸前RGB 顏色空間（圖4a），標(biāo)記線(xiàn)明顯灰度級(jí)更高。結(jié)合2.1.1 節(jié)，僅考慮a分量的效果如圖5 所示。

圖5 僅考慮a 分量處理的效果圖

2.1.3 原圖像中的標(biāo)記線(xiàn)分割

綜合2.1.1 節(jié)與2.1.2 節(jié)，僅考慮a分量且進(jìn)行非線(xiàn)性拉伸、轉(zhuǎn)RGB 顏色空間后，防松線(xiàn)區(qū)域較之前更為明顯，且易于分割。拉伸后在Lab 空間中僅考慮a分量存在后，轉(zhuǎn)換為RGB 顏色空間后的R分量如圖6b 所示。

圖6 原圖RGB 空間下的R 分量與僅考慮a 分量的非線(xiàn)性拉伸且轉(zhuǎn)RGB 顏色空間后的R 分量對(duì)比圖

相比于圖6a，圖6b 僅存在防松線(xiàn)圖像和與前者存在明顯差異的背景像素點(diǎn)，背景像素點(diǎn)由a分量非線(xiàn)性拉伸帶入?？紤]利用OTSU 算法[23]對(duì)圖像的R分量進(jìn)行分割，分割效果如圖7 所示。

圖7 防松線(xiàn)圖像分割結(jié)果

2.2 形態(tài)學(xué)操作

圖像在基于顏色空間的分割后，除目標(biāo)防松線(xiàn)區(qū)域外，存在2.1.3 節(jié)中的非目標(biāo)區(qū)域連通域。為了后續(xù)算法的順利開(kāi)展，需要形態(tài)學(xué)操作來(lái)對(duì)其進(jìn)行消除。使用形態(tài)學(xué)操作中的開(kāi)運(yùn)算對(duì)圖像進(jìn)行處理，參考式（5），開(kāi)運(yùn)算首先使用結(jié)構(gòu)元B 對(duì)圖像中的連通域集合A 進(jìn)行腐蝕，接著B(niǎo) 對(duì)腐蝕結(jié)果進(jìn)行膨脹操作[24]。

式中： ⊙為形態(tài)學(xué)處理中的腐蝕操作， ⊕為形態(tài)學(xué)處理中的膨脹操作。

2.3 防松線(xiàn)連通域的面積最小外接矩形

將圖7 所示圖像在進(jìn)行形態(tài)學(xué)處理后，命名兩條防松線(xiàn)連通域中隨著螺栓松動(dòng)轉(zhuǎn)動(dòng)的轉(zhuǎn)動(dòng)防松線(xiàn)連通域?yàn)閙arkLine1，將固定防松線(xiàn)連通域命名為markLine2?？紤]使用一種角度遞進(jìn)最小包圍方法找出防松線(xiàn)連通域面積最小外接四邊形反映防松線(xiàn)連通域的直線(xiàn)方向，進(jìn)而確定兩防松線(xiàn)方向矢量。以markLine2 為例，所提出的角度遞進(jìn)最小包圍方法如下。

步驟1：首先畫(huà)出長(zhǎng)邊和短邊均分別平行于圖像橫軸縱軸的連通域外接矩形，記錄面積S。

步驟2：以圖像上一個(gè)固定點(diǎn)旋轉(zhuǎn)目標(biāo)圖像。目標(biāo)圖像上任一點(diǎn)（xi1,yi1）繞一固定點(diǎn)（x0,y0）逆時(shí)針旋轉(zhuǎn)角度 α后得到（xi2,yi2），其對(duì)應(yīng)關(guān)系為

步驟3：旋轉(zhuǎn)目標(biāo)圖像0°～90°，間隔1°，求解每次旋轉(zhuǎn)后圖像的外接矩形的面積、頂點(diǎn)及旋轉(zhuǎn)的度數(shù)。

步驟4：比較旋轉(zhuǎn)過(guò)程中外接矩形的面積，并記錄下面積最小的外接矩形，獲得該矩形的頂點(diǎn)坐標(biāo)及旋轉(zhuǎn)度數(shù)。

步驟5：將步驟4 中矩形反方向旋轉(zhuǎn)相同的角度，即為面積最小的連通域外接矩形。

利用上述方法找出的markLine2 最小外接矩形如圖8a 所示，圖8b 所示為放大示意圖。markLine1最小外接矩形求解過(guò)程同理。

圖8 markLine2 最小外接矩形示意圖

2.4 基于方向矢量處理的防松線(xiàn)夾角計(jì)算

規(guī)定第2.3 節(jié)中由圖像中心出發(fā)沿求解出的最小外接矩形長(zhǎng)邊，朝向圖像邊界且大小為最小外接矩形長(zhǎng)邊的矢量為防松線(xiàn)的方向矢量，如圖9 所示，其中實(shí)線(xiàn)箭頭（左）為轉(zhuǎn)動(dòng)防松線(xiàn)方向矢量，虛線(xiàn)箭頭（右）為固定防松線(xiàn)方向矢量。

圖9 防松線(xiàn)的方向矢量

將兩個(gè)方向矢量進(jìn)行單位化處理，記轉(zhuǎn)動(dòng)防松線(xiàn)的單位向量為e1=（x1,y1），固定防松線(xiàn)的單位向量為e2=（x2,y2），則兩向量的點(diǎn)乘與叉乘分別為

式中： θ為向量e2到e1的夾角。結(jié)合式（7），由式（8）可獲得螺栓松動(dòng)的全角度：

式中：arctan2（四象限反正切）函數(shù)[25]可以返回兩個(gè)數(shù)值的反正切，其值域?yàn)椋?π,π]。若函數(shù)解得的角度為正，那么角度值就在（0,π]范圍內(nèi)，表示逆時(shí)針?lè)较颍蝗艉瘮?shù)解得的角度為負(fù)，那么角度值就在（-π,0]范圍內(nèi)，表示順時(shí)針?lè)较?。由于螺栓的松?dòng)方向?yàn)閱畏较颍虼丝稍O(shè)定逆時(shí)針為螺栓松動(dòng)方向，順時(shí)針為松動(dòng)方向的研究過(guò)程同理。由于逆時(shí)針螺栓松動(dòng)的全角度為θ ∈（0,2π]，則對(duì)式（8）所求的角度加上360°，并與360°進(jìn)行取模操作，使得所有松動(dòng)角度均符合檢測(cè)要求：

3 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證該角度檢測(cè)方法的效果與工程實(shí)用性，搭建實(shí)驗(yàn)平臺(tái)，如圖10 所示。在實(shí)驗(yàn)裝置中的鋼板表面固定有用于螺栓角度檢測(cè)精度驗(yàn)證的圓形尺，并用M20 螺栓貫穿，實(shí)際應(yīng)用中可將圓形尺去除。在圓形尺上畫(huà)紅色固定防松線(xiàn)markLine2，在螺栓表面畫(huà)紅色轉(zhuǎn)動(dòng)防松線(xiàn)markLine1。圖像采集由智能手機(jī)iPhone 13 mini 上自帶相機(jī)完成，相機(jī)主要參數(shù)見(jiàn)表1，距離實(shí)驗(yàn)裝置25 cm。圖像處理算法平臺(tái)硬件環(huán)境為intel i7，內(nèi)存為32 G，顯卡為NVIDIA Quadro T1000。軟件環(huán)境為Windows11、Matlab R2019a。算法中選取的參數(shù)見(jiàn)表2。螺栓松動(dòng)全角度測(cè)量結(jié)果見(jiàn)表3。絕對(duì)誤差測(cè)量結(jié)果如圖11 所示。

表1 相機(jī)參數(shù)

表2 算法選取的參數(shù)

表3 螺栓松動(dòng)全角度測(cè)量結(jié)果

圖10 實(shí)驗(yàn)平臺(tái)

圖11 角度測(cè)量絕對(duì)誤差結(jié)果

實(shí)驗(yàn)結(jié)果表明，本文方法能夠檢測(cè)螺栓0°～360°的松動(dòng)角度，最大測(cè)量絕對(duì)誤差為0.71°，最大相對(duì)誤差為1.43%。對(duì)于任意角度的檢測(cè)結(jié)果誤差均相對(duì)穩(wěn)定，且符合實(shí)際工程誤差標(biāo)準(zhǔn)，同時(shí)還具備較高的測(cè)量精度。對(duì)0°～30°松動(dòng)角度的識(shí)別上，絕對(duì)誤差不超過(guò)0.22°，相對(duì)誤差不超過(guò)1.45%，對(duì)螺栓早期松弛階段同樣具備較好的監(jiān)測(cè)效果。檢測(cè)誤差主要來(lái)自以下幾個(gè)方面：

（1）防松線(xiàn)的標(biāo)畫(huà)。由于本文方法的核心是利用防松線(xiàn)所呈夾角來(lái)量化螺栓松動(dòng)角度，因此人為標(biāo)畫(huà)防松線(xiàn)時(shí)，其呈現(xiàn)的方向會(huì)影響式（7）所計(jì)算的結(jié)果，繼而影響最后的檢測(cè)角度。

（2）顏色分割算法的分割效果。由于本文中的顏色分割方法是一種全局分割方法，對(duì)防松線(xiàn)邊緣顏色的判定上針對(duì)性欠佳，因此會(huì)存在一定誤差，繼而影響到后續(xù)算法中連通域面積最小外接矩形的確定。

（3）螺栓松動(dòng)后圓形尺的測(cè)量誤差。由于與檢測(cè)結(jié)果對(duì)比的螺栓實(shí)際松動(dòng)角度由人為從圓形尺測(cè)量得到，因此也會(huì)存在一定的測(cè)量誤差。

3.1 不同標(biāo)線(xiàn)下螺栓松動(dòng)全角度檢測(cè)實(shí)驗(yàn)

為了驗(yàn)證本文提出方法的可重復(fù)性及泛化能力，更換型號(hào)同樣為M20 且經(jīng)表面鍍鋅處理后的螺栓，并重新在螺栓表面和基座標(biāo)畫(huà)防松線(xiàn)對(duì)螺栓松動(dòng)全角度進(jìn)行檢測(cè)，更換螺栓并重新標(biāo)畫(huà)防松線(xiàn)檢測(cè)場(chǎng)景，如圖12 所示。算法中選取的參數(shù)見(jiàn)表2。不同標(biāo)線(xiàn)下螺栓松動(dòng)全角度測(cè)量結(jié)果見(jiàn)表4。絕對(duì)誤差測(cè)量結(jié)果如圖13 所示。

表4 不同標(biāo)線(xiàn)下螺栓松動(dòng)全角度測(cè)量結(jié)果

實(shí)驗(yàn)結(jié)果表明，在更換不同螺栓并重新標(biāo)畫(huà)防松線(xiàn)后，本文方法依舊能對(duì)螺栓進(jìn)行松動(dòng)全角度檢測(cè)，最大測(cè)量絕對(duì)誤差不超過(guò)0.58°，最大相對(duì)誤差為1.12%，說(shuō)明本文方法即使在使用不同標(biāo)畫(huà)線(xiàn)的情況下依然具有良好的識(shí)別結(jié)果和檢測(cè)精度。

4 結(jié)語(yǔ)

本研究開(kāi)發(fā)了一種基于防松線(xiàn)分割的螺栓松動(dòng)全角度檢測(cè)方法。該方法結(jié)合了顏色空間轉(zhuǎn)換、圖像分割和方向矢量處理等技術(shù)，為螺栓松動(dòng)評(píng)估提供了可靠、高效的解決方案。通過(guò)理論描述和實(shí)驗(yàn)驗(yàn)證，實(shí)現(xiàn)了區(qū)別于現(xiàn)有其他方法的角度定量檢測(cè)策略。采用智能手機(jī)上的相機(jī)作為數(shù)據(jù)采集設(shè)備，對(duì)畫(huà)有防松線(xiàn)的松動(dòng)螺栓進(jìn)行定量檢測(cè)，檢測(cè)結(jié)果最大相對(duì)誤差為1.43%。這表明該方法具備高精度、低成本的優(yōu)點(diǎn)的同時(shí)，還可實(shí)現(xiàn)自動(dòng)化、非接觸的螺栓松動(dòng)全角度測(cè)量。未來(lái)的研究可以進(jìn)一步考慮諸如螺栓傾斜等情景，探索更為廣泛的實(shí)際應(yīng)用。