基于機器視覺的計量檢定流水線非標(biāo)異物入侵自動化識別方法

摘 要：非標(biāo)準型的異物種類和尺寸差異性較大，識別過程較慢，識別結(jié)果準確率較低，導(dǎo)致流水線異物卡頓現(xiàn)象頻發(fā)。對此，以計量檢定流水線為研究對象，提出了一種基于機器視覺技術(shù)的計量檢定流水線非標(biāo)異物入侵自動化識別方法。獲取不同區(qū)域之間的顏色和紋理特征，計算卡方距離，實現(xiàn)異物空間測量，分析世界坐標(biāo)系和相機坐標(biāo)系、相機坐標(biāo)系與圖像坐標(biāo)系之間的齊次坐標(biāo)變換過程，對異物中心點坐標(biāo)進行轉(zhuǎn)換，采用基于 Hough變換的直線檢測方法，通過邊緣算子提取直線特征值，實現(xiàn)物體表面定位，校正非標(biāo)異物圖像產(chǎn)生的畸變，利用幀差法進行多圖像差分，結(jié)合多角度成像，并計算四圖像之間差值，計算出異物中心坐標(biāo)，實現(xiàn)異物入侵識別。研究結(jié)果表明，不同種類異物入侵下，設(shè)計的基于機器視覺的計量檢定流水線非標(biāo)異物入侵自動化識別方法誤差能夠控制在5%以內(nèi)，驗證了方法有效性。

關(guān)鍵詞：機器視覺；計量檢定；非標(biāo)異物；入侵自動化識別；坐標(biāo)系轉(zhuǎn)換

中圖分類號：TP274+，5文獻標(biāo)識碼：A

Automatic Identification Method for Non standard

Foreign Object Intrusion in Metrological Verification

Pipeline Based on Machine Vision

LU Guanna， LI Liang， LIU Ying， YUAN Ruiming， WANG Huinan

（Center of Metrology， State Grid Jibei Electric Power Company Limited，Beijing 102208，China）

Abstract：The types and sizes of non standard foreign objects vary greatly， and the recognition process is slow， resulting in low accuracy of recognition results and frequent occurrence of foreign object jamming in the assembly line. In this regard， a machine vision based automated identification method for non standard foreign object intrusion in the metrological verification assembly line is proposed， taking the metrological verification assembly line as the research object. Obtain color and texture features between different regions， calculate chi square distance， achieve foreign object spatial measurement， analyze the homogeneous coordinate transformation process between world coordinate system and camera coordinate system， camera coordinate system and image coordinate system， convert the center point coordinates of foreign objects， use line detection method based on Hough transform， extract line feature values through edge operator， and achieve object surface positioning， correct the distortion caused by non standard foreign object images， use frame difference method for multi image differentiation， combine with multi angle imaging， and calculate the difference between the four images to calculate the center coordinates of foreign objects， achieving foreign object intrusion recognition. The research results indicate that under different types of foreign object intrusion， the error of the designed machine vision based automated identification method for non standard foreign object intrusion in the metrological verification pipeline can be controlled within 5%， which verifies the effectiveness of the method.

Key words：machine vision; metrological verification; non standard foreign objects;intrusion automaticidentification; coordinate system conversion

隨著國內(nèi)計量檢定市場的不斷擴大，檢定機構(gòu)之間的競爭越來越激烈，為滿足制造業(yè)發(fā)展需求，需要提高企業(yè)生產(chǎn)效率、降低生產(chǎn)成本及能耗。尤其是在經(jīng)濟新常態(tài)下，提高生產(chǎn)效率，在競爭中取得優(yōu)勢地位，成為各檢測機構(gòu)共同追求的目標(biāo)。隨著我國制造業(yè)的發(fā)展以及質(zhì)量管理理念的深入，對計量檢定工作提出了新要求[1]。計量檢定自動化技術(shù)已成為當(dāng)前計量檢定發(fā)展的趨勢，也是實現(xiàn)計量檢定工作數(shù)字化、智能化和高效化的關(guān)鍵技術(shù)。傳統(tǒng)計量檢定方式已經(jīng)無法滿足新形勢下的發(fā)展需求[2-3]。為進一步提高計量檢定工作效率和質(zhì)量，需要借助自動化技術(shù)來實現(xiàn)計量檢定工作流程和操作過程的智能化、數(shù)字化和高效化。為提升計量檢定質(zhì)量，提高檢定效率，目前部分企業(yè)開展了計量檢定流水線的研制工作，該流水線能夠完成各類產(chǎn)品的計量檢定工作[4-5]。由于產(chǎn)品種類繁多，生產(chǎn)環(huán)境復(fù)雜多變，在實際生產(chǎn)中容易出現(xiàn)非標(biāo)異物入侵檢測困難的問題[6-7]。在傳統(tǒng)的流水線非標(biāo)異物入侵自動化識別方法中，由于異物的種類和尺寸差異性較大，導(dǎo)致傳統(tǒng)的基于紅外的異物識別方法存在較大的誤差，為此，本文以計量檢定流水線為研究對象，提出一種基于機器視覺技術(shù)的計量檢定流水線非標(biāo)異物入侵自動化識別方法，在檢定流水線上安裝攝像頭采集圖像數(shù)據(jù)，實現(xiàn)異物的識別。

1 計量檢定流水線非標(biāo)異物入侵自動化識

別方法

1.1 異物空間測量

為了實現(xiàn)對計量檢定流水線中的非標(biāo)異物進行檢測，需要對異物空間進行測量。在測量的過程中，使用到的是由鏡頭、光源、相機等硬件系統(tǒng)和圖像處理軟件組成的一個完整的圖像采集系統(tǒng)。其核心是四臺成像設(shè)備，通過不同角度的設(shè)備來將圖像數(shù)據(jù)傳輸?shù)接嬎銠C上，在計算機上對這些圖像數(shù)據(jù)進行處理和分析，并對異物進行檢測和定位。通過測量異物空間，可以有效實現(xiàn)對計量檢定流水線中非標(biāo)異物的檢測[8-9]。

為了保證鏡頭的成像精度，在流水線的沿線設(shè)置相機，流水線根據(jù)其走向可以劃分為直線型流水線和曲線型流水線。根據(jù)不同類型的流水線，對流水線上的異物進行空間測量。獲取其區(qū)域特征，根據(jù)不同區(qū)域之間的顏色和紋理特征，可以計算出卡方距離，計算公式如下：

Dχ2（Ai，Bj）=12∑ni=1，j=2，i≠j（ai－bj）2ai+bj（1）

其中，Ai、Bj分別代表不同的區(qū)域，ai、bj表示不同區(qū)域像素?？ǚ骄嚯x越大，說明圖像中兩個區(qū)域的差異性就越大。按照上述方式逐一提取出不同區(qū)域的特征，就能夠測量出流水線中異物所占用的空間。

1.2 異物中心點坐標(biāo)轉(zhuǎn)換

將異物中心在三維空間內(nèi)的點與二維圖像中的像素點進行一一對應(yīng)，如圖1所示，在此過程中存在以下關(guān)系：

在圖1中，根據(jù)精度和分辨率參數(shù)，分析世界坐標(biāo)系和相機坐標(biāo)系之間的齊次坐標(biāo)變換過程如下：

XCYCZC1=RT01XWYWZW1（2）

其中，（XC，YC，ZC）為相機坐標(biāo)系下的點， （XW，YW，ZW）為世界坐標(biāo)系下的點，R為旋轉(zhuǎn)矩陣，T為平移向量。根據(jù)鏡頭成像精度、穩(wěn)定性、光學(xué)特性等影響，得到相機坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如下[10-11]：

XCYCZC1f0000f000010=Zcxy1（3）

其中，Zc為深度值，x和y為圖像平面上點的坐標(biāo)。經(jīng)過以上轉(zhuǎn)換之后，能夠得到機器視覺成像。在考慮光源的均勻性、穩(wěn)定性，相機光學(xué)特性、成像特性等因素的影響下，實現(xiàn)精準的坐標(biāo)轉(zhuǎn)換。

1.3 基于機器視覺的非標(biāo)異物圖像畸變校正

以佳能公司生產(chǎn)的 CCD為鏡頭，以工業(yè)相機為圖像采集設(shè)備，不斷地對圖像進行采集和處理。但是非標(biāo)異物圖像會存在一定的噪聲干擾，導(dǎo)致圖像在一定范圍內(nèi)發(fā)生畸變，對于這種圖像來說，需要進行畸變校正[12-14]。圖像畸變校正主要是圖像增強、邊緣檢測、二值化、形態(tài)學(xué)等處理。本文采用的是基于 Hough變換的直線檢測方法。

首先，進行計量檢定流水線非標(biāo)異物入侵識別之前，首先需要對圖像進行預(yù)處理。預(yù)處理主要包括灰度化、二值化、濾波等步驟。將圖像中亮度不均勻或有噪聲的像素點轉(zhuǎn)化為灰度信息，將圖像中灰度級相同或相近的像素點分離出來。

其次，在保留更多有用信息的基礎(chǔ)上，引入羅伯特邊緣算子，其數(shù)學(xué)描述如下：

G（x，y）=fx，fyT（4）

其中，G（x，y）為圖像在點（x，y）處的梯度向量，f為圖像像素的函數(shù)，T為轉(zhuǎn)量符號。Gx為函數(shù)f在x方向上的偏導(dǎo)數(shù)，Gy為f在y方向上的偏導(dǎo)數(shù)。且存在：

Gx=fx=f（x，y）－f（x+1，y+1）（5）

Gy=fy=f（x+1，y）－f（x，y+1）（6）

對物體表面的特征值進行統(tǒng)計，將一個包含兩個參數(shù)的直線方程轉(zhuǎn)化為兩個具有相同長度、不同方向和不同夾角的線段。

最后，對每個線段進行距離測量，將圖像中的灰度值相同或相近的像素點分離出來，對這些部分進行 Hough變換，從而實現(xiàn)圖像畸變校正。

1.4 基于校正結(jié)果的異物入侵識別

在以上的畸變圖像校正結(jié)果下，對異物入侵進行識別。

采用監(jiān)督學(xué)習(xí)方法，利用幀差法進行多圖像差分，使用四相機同時多角度成像，并計算四圖像之間差值，將獲得的分類結(jié)果與標(biāo)準樣本進行比對，實現(xiàn)異物入侵識別[15]。

首先，提取非標(biāo)異物的特征點，生成異物差分圖像：

Id（x，y）=I1（x，y）－I4（x，y）+

I2（x，y）－I3（x，y）（7）

其中，I1（x，y）、I2（x，y）、I3（x，y）、I4（x，y）分別代表四個攝像頭得到的圖像，四個圖像在經(jīng)過前期的圖像處理校正之后，當(dāng)存在異物的情況下，對角圖像之間得到的圖片差異性最大。

然后，劃分校正結(jié)果以及異物差分圖像，計算得到異物的中心坐標(biāo)，如下式所示：

XC=ZC（u－u0）fx

YC=ZC（v－v0）fy

ZC=fxbd（8）

其中，ZC為中心點到相機光心的直線距離，（u，v）為校正前像素坐標(biāo)，（u0，v0）為校正后像素坐標(biāo)，fx、fy為相機標(biāo)定參數(shù)，得到的結(jié)果（XC，YC，ZC）為異物中心的坐標(biāo)值，d為視差，b為基線長度。

至此，完成基于機器視為覺的計量檢定流水線非標(biāo)異物入侵自動化識別方法的研究。

2 方法性能測試

2.1 測試設(shè)計

為了驗證基于機器視覺的計量檢定流水線非標(biāo)異物入侵自動化識別方法的可行性，綜合考慮到實驗效果及經(jīng)費問題，需要搭建測試平臺。

測試平臺主要由帶式輸送機、面陣相機、光源、檢測系統(tǒng)平臺組成，搭建效果如圖2所示。

用到的測試平臺為一整個完整的異物入侵識別系統(tǒng)，包含圖像采集、圖像校正增強預(yù)處理、圖像篩選分類、異物標(biāo)定等操作，確保異物識別檢測的準確性。

當(dāng)異物出現(xiàn)在目標(biāo)區(qū)域內(nèi)并通過上述測試平臺時，檢測效果會實時同步到上機電腦的界面上并彈窗提醒，提醒界面如圖3。

在圖3中，可以看到包括按鍵處理和識別分類等功能。檢測系統(tǒng)內(nèi)置的模塊可以根據(jù)實際情況進行相應(yīng)的參數(shù)設(shè)定，適配多種檢測模式及測試環(huán)境，進而保證識別效果。

本次測試將選取常見的80個異物作為樣本，按照品類可分為金屬、石頭、塑料、木材四大類，每個類別各20個樣本，涵蓋不同的尺寸規(guī)格。在以上實驗設(shè)計下，分別對不同的識別方法進行檢測。

2.2 測試結(jié)果分析

在以上的實驗準備下，使用本文設(shè)計的基于機器視覺的計量堅定流水線非標(biāo)異物入侵自動識別方法進行性能測試。在檢測過程中，流水線的圖像畸變校正如圖4所示。

圖5為分別使用本文方法和基于紅外的異物識別方法進行異物圖像畸變校正，并輸出單一機器視覺下的RGB視差圖。

圖5中，圖5（a）和圖5（b）分別表示機器視覺的左右目圖像，圖5（c）為本文方法視差圖，圖5（d）為傳統(tǒng)方法視差圖。視差圖像素偏冷色時，說明視差較小，在檢測的過程中更加直觀。在以上的圖像分析下，分析不同方法下異物的中心坐標(biāo)值，并將其深度分量與真實值進行對比，計算檢測誤差，得到的本文識別文法測試結(jié)果如表1所示。

表1中，兩種不同的異物自動識別方法對于不同品類的異物都能進行識別，但是準確性具有較大差異。根據(jù)上表中的數(shù)據(jù)可以測算出，本文設(shè)計的異物識別方法下，空間測量誤差可以控制到5%以下，但是傳統(tǒng)的基于紅外的異物識別方法下，空間測量誤差平均為11.3%，遠超過本文方法，這也驗證了本文方法在實際應(yīng)用中的有效性。

3 結(jié) 論

基于機器視覺的計量檢定流水線非標(biāo)異物入侵自動化識別方法，通過對異物圖像特征進行提取和分析，可以快速、準確地檢測出計量檢定流水線中的非標(biāo)異物，可以有效提高計量檢定流水線中的異物入侵識別效率和工作效率，而且可以進一步減少計量檢定流水線中的人工操作。該方法還可以避免人為因素對計量檢定流水線檢測結(jié)果產(chǎn)生的影響，在計量檢定流水線中具有良好的應(yīng)用前景，未來可進一步拓展應(yīng)用范圍。

參考文獻

［１］ 李智，但乃禹，李磊，等.基于機器視覺的散裝糧隨機扦樣方法研究[J].中國糧油學(xué)報，2023，38（2）：130-137.

[2] 胡璟皓，高妍，張紅娟，等.基于深度學(xué)習(xí)的帶式輸送機非煤異物識別方法[J].工礦自動化，2021，47（6）：57-62+90.

[3] 王瑞峰，陳小屹.基于改進YOLOv5的軌道異物入侵檢測算法研究[J].云南大學(xué)學(xué)報（自然科學(xué)版），2023，45（4）：799-806.

[4] 管嶺，賈利民，謝征宇.融合注意力機制的軌道入侵異物入侵識別輕量級模型研究[J].鐵道學(xué)報，2023，45（5）：72-81.

[5] 馬靜怡，崔昊楊，張明達，等.基于改進Faster RCNN的小尺度入侵目標(biāo)識別及定位[J].中國電力，2021，54（3）：38-44.

[6] 沈?qū)?基于雙目視覺的選煤廠用膠帶輸送機表面異物入侵識別[J].工礦自動化，2023，49（S1）：82-85.

[7] 薛旭升，楊星云，齊廣浩等.煤礦帶式輸送機分揀機器人異物識別與定位系統(tǒng)設(shè)計[J].工礦自動化，2022，48（12）：33-41.

[8] 何自芬，陳光晨，王森，等.融合自注意力特征嵌入的夜間機場跑道異物入侵檢測[J].光學(xué)精密工程，2022，30（13）：1591-1605.

[9] 傅薈瑾，郭鵬躍，徐成偉等.基于多傳感技術(shù)融合的高速鐵路周界入侵監(jiān)測技術(shù)方案研究[J].鐵道運輸與經(jīng)濟，2022，44（9）：122-129.

[10]劉朝輝，楊杰，陳智超.基于深度學(xué)習(xí)的軌道表面異物識別方法[J].中國鐵道科學(xué)，2023，44（3）：23-33.

[11]楊劍鋒，秦鐘，龐小龍，等.基于深度學(xué)習(xí)網(wǎng)絡(luò)的輸電線路異物入侵監(jiān)測和識別方法[J].電力系統(tǒng)保護與控制，2021，49（4）：37-44.

[12]史凌凱，耿毅德，王宏偉，等.基于改進Mask R-CNN的刮板輸送機鐵質(zhì)異物多目標(biāo)檢測[J].工礦自動化，2022，48（10）：55-61.

[13]肖曾翔，徐啟峰.基于改進卷積神經(jīng)網(wǎng)絡(luò)的變電站異物入侵識別[J].科學(xué)技術(shù)與工程，2022，22（4）：1465-1471.

[14]毛清華，李世坤，胡鑫等.基于改進YOLOv7的煤礦帶式輸送機異物識別[J].工礦自動化，2022，48（12）：26-32.

[15]朱夢瑞，牛宏俠.改進YOLOv3模型的鐵路異物入侵識別算法[J].北京交通大學(xué)學(xué)報，2022，46（2）：37-45.