工業(yè)智能坡口加工AI視覺識別系統(tǒng)研究

王 嘉，張 碩，劉世鵬，張華龍，張薈萱，楊鎧睿，曾文獻（通訊作者）

（河北經(jīng)貿(mào)大學 河北 石家莊 050000）

0 引言

為了實現(xiàn)工業(yè)坡口加工自主完成坡口切割與工件識別，解決目前坡口加工領(lǐng)域的難點，本文基于在機器視覺領(lǐng)域的技術(shù)和經(jīng)驗積累，將機器視覺系統(tǒng)應用于坡口切割，進行AI視覺系統(tǒng)圖像識別研究，研發(fā)一套工業(yè)智能坡口加工AI視覺識別系統(tǒng)。該系統(tǒng)可以在坡口加工中對待加工工件進行自動識別，引導坡口機完成切割作業(yè)。目前國內(nèi)市場，智能制造飛速發(fā)展，但坡口加工作為工業(yè)制造的一道重要工序，產(chǎn)品質(zhì)量不高，因此，本項目對理論進行了分析，同時進行相關(guān)技術(shù)實驗，研究工業(yè)智能坡口加工AI視覺識別系統(tǒng)。

1 國內(nèi)外發(fā)展現(xiàn)狀

當今時代，圖像識別技術(shù)與切割行業(yè)已經(jīng)相互融合，智能化切割技術(shù)逐漸成為未來發(fā)展的核心領(lǐng)域。國內(nèi)市場一些機械企業(yè)進行工業(yè)智能制造生產(chǎn)，與國外相比，國內(nèi)技術(shù)實力還有待提高。在行業(yè)發(fā)展過程中，大中型企業(yè)一般都運用半自動系統(tǒng)的數(shù)控坡口機結(jié)合手動編程的方式進行坡口切割，由于需要人工將加工參數(shù)輸入坡口機，導致工件加工的精度不高、質(zhì)量較差。而本項目的計算機識別系統(tǒng)能在提高工作效率和產(chǎn)品質(zhì)量的同時，排除零件本身和環(huán)境因素帶來的干擾，具有很大的發(fā)展前景。若將此機器視覺處理系統(tǒng)應用于坡口切割領(lǐng)域，立足技術(shù)研發(fā)，可打破傳統(tǒng)應用領(lǐng)域的局限，不斷深化技術(shù)研究，解決環(huán)境因素、人為因素和零件本身因素等問題，實現(xiàn)計算機視覺與坡口切割相結(jié)合，推進我國智能化坡口切割技術(shù)的發(fā)展。

在未來，智能化是社會的一個重要發(fā)展趨勢，隨著人們對于智能化、自動化的認知不斷提升和研發(fā)技術(shù)的實用化提高，人們的生產(chǎn)、生活和工作都將與智能化相結(jié)合。同時，越來越多的企業(yè)也開始重視通過掌握智能化技術(shù)來提高生產(chǎn)效率，未來智能化社會的發(fā)展也會更加多元化。智能化發(fā)展是我國科技進步的動力源，中國越來越多的學者和研究員將對機器視覺處理技術(shù)予以高度關(guān)注，國家也將推進計算機視覺、圖像處理和圖像識別等方面的學科建設(shè)，加強智能化方面的人才培養(yǎng)，并且將越來越重視智能化在切割領(lǐng)域的發(fā)展。因此，智能化的發(fā)展進程將成為我國科技水平的衡量標準。

2 技術(shù)優(yōu)勢

工業(yè)坡口加工AI視覺識別系統(tǒng)的技術(shù)優(yōu)勢主要體現(xiàn)在以下兩個方面。

2.1 三維工件識別技術(shù)

傳統(tǒng)二維圖像識別系統(tǒng)，只能處理平面型材料，無法識別形狀復雜的三維工件。本項目基于雙攝像機立體視覺系統(tǒng)，采用自主研發(fā)的三維圖像算法，可實現(xiàn)對任意形狀工件的三維識別和建模，見圖1。

2.2 光照自適應立體視覺技術(shù)

坡口加工作業(yè)所處的光照環(huán)境，與一般的工業(yè)檢測環(huán)境有巨大區(qū)別：工業(yè)檢測可以通過設(shè)置黑箱和光源控制檢測環(huán)境，使拍照效果達到最佳；但是坡口切割作業(yè)空間大，無法完全屏蔽環(huán)境光線的影響，因此光照條件惡劣，成像質(zhì)量差，在極端情況下甚至會導致設(shè)備無法工作。本系統(tǒng)采用的光照自適應立體視覺技術(shù)可以應對加工現(xiàn)場的光照變化問題，保證設(shè)備在任何光照條件下都能正常運作，見圖2。

3 工件自動識別

通過深度相機獲取工件的圖像后，無法精準采集圖像上的工件，因此需要將采集到的圖像與數(shù)模數(shù)據(jù)庫中的模型進行匹配。模板匹配算法中的模板大小一般是固定不變的。所以我們先將模板進行點云處理保存到數(shù)據(jù)庫中，通過雙目攝像頭采集圖像，生成三維圖像數(shù)據(jù)并以點云的形式存在。由于點云的數(shù)據(jù)量可能很大，通過過濾算法進行點云篩選，先使點云集與數(shù)模集進行初始匹配，從而得到不同高低匹配度的點云，再選出匹配度較高的對其進行精匹配，從而可以得到該工件的目標工件模型。

4 點云粗匹配

點云粗匹配可以為后續(xù)點云精匹配節(jié)省時間，提高算法識別效率，避免進行精匹配時出現(xiàn)算法時間或者空間復雜度過高等情況[1]。

首先將工件的三維坐標信息提取到將要匹配的數(shù)據(jù)庫中，通過運用提取特征法減少點云之間的旋轉(zhuǎn)、錯位和扭曲等誤差，提高匹配過程的效率。然后運用ICP算法進行點云精匹配，實現(xiàn)工件的自動匹配識別過程。在進行初始匹配之后，利用最近點迭代算法對點云進行更高精度匹配，可以得到兩點云的位置。

點云精匹配主要是通過經(jīng)典的最近點迭代法，以最小二乘法為基礎(chǔ)，找到距離最小的兩點云，然后再進行多次迭代得到最終的變換矩陣，從而完成點云匹配的算法。需要注意的是兩點云的距離要在規(guī)定的范圍內(nèi)。對匹配算法進行改進，通過結(jié)合粗匹配的計算量少的優(yōu)勢和精匹配的準確率高的優(yōu)勢采用了先粗匹配后精匹配的算法[1]。

通過圖3發(fā)現(xiàn)，如果只是運用粗匹配的方法對其進行處理，并不能達到良好的匹配效果。圖4為先進行初始粗匹配再進行精匹配后的結(jié)果，可以發(fā)現(xiàn)初始匹配后進行的精匹配可以得到更好的匹配效果。

5 改進點云匹配算法

點云匹配在坡口工件匹配部分占有重要地位，點云匹配對坡口工件匹配點集有著很高的要求，因此尋找坡口工件匹配點將成為我們研究的關(guān)鍵之一。本項目可以根據(jù)曲率和曲率變化量來改進尋找匹配點的方法，或者直接引入點云初始匹配對點云進行粗略匹配，降低點云平移與旋轉(zhuǎn)錯位，再進行點云匹配算法，這樣可以有效地提高匹配的準確度，得到更加理想的匹配效果。常見的初始配準方法有中心重合法、主方向貼合法和基于哈希表的特征匹配方法等[2]。沿著這一思路進一步研究，對點云匹配算法進行優(yōu)化，可提高坡口工件匹配算法效率。

6 工件圖像目標區(qū)域提取

一般首先利用工業(yè)相機在不同角度上采集工件圖片，因為工業(yè)相機一般比普通相機像素較高，傳輸數(shù)據(jù)更加穩(wěn)定，其次通過收集到的圖片采集不同工件的三維信息，建立三維模型數(shù)據(jù)庫，當系統(tǒng)識別成功得到目標工件后，將三維工件模型投影到二維平面上，最后對其提取灰度圖的邊緣信息，完成工件圖像目標區(qū)域的提取。

6.1 灰度圖預處理

在嘈雜的作業(yè)環(huán)境里，空氣中彌漫的灰塵、加工的碎屑以及環(huán)境光線等影響，通過工業(yè)相機收集到的圖片會有部分噪點，系統(tǒng)需要選擇合適的去噪方式對工件圖片進行降噪處理。

6.2 圖像平滑濾波

高斯濾波是平滑圖像的一種處理方式。高斯濾波的優(yōu)點是能夠使在圖像各個方向上的平滑程度相同，不會改變邊緣的走向，更加適合工件圖片的平滑處理。

6.3 工件圖像增強處理

對灰度圖進行去噪和平滑處理后，可能會出現(xiàn)工件灰度圖明暗差別較小的情況，因此，我們采用直方圖均衡化技術(shù)，使亮度能在直方圖上更好地分布。最后進行灰度圖歸一化處理，保證所有灰度值處于規(guī)定的范圍內(nèi)。

6.4 深度圖灰度化與提取目標輪廓

深度相機采集到的深度圖包含工件圖像的三維信息，通過像素值對工件的深度圖像進行灰度化處理，壓縮變換圖像像素值，避免出現(xiàn)黑色成像。計算步驟如下。

（1）輸入深度圖像f(x，y)。

（2）尋找整幅深度圖像的最大值和最小值。

（3）重新計算深度圖像的灰度g(x，y)，使其處于0～255之間。

（4）輸出變換后的灰度圖像。

輸出得到深度圖和灰度圖，選擇合適的閾值對工件的基本輪廓進行二值分割處理，以提取出工件圖像的輪廓區(qū)域[3]。

對于工件深度圖進行單次的目標區(qū)域提取測試，在深度圖像灰度化之后，去除二值圖中的孔洞，可以得到相對較好的輪廓區(qū)域。最優(yōu)輪廓提取流程見圖5。

7 三維重建

三維重建算法由7個步驟組成：（1）使用相機標定參數(shù)；（2）使用工業(yè)相機從不同角度拍攝工件圖片，并建立數(shù)據(jù)庫；（3）計算相鄰工件圖片的匹配點；（4）在（3）的基礎(chǔ)上計算基礎(chǔ)矩陣；（5）通過基礎(chǔ)矩陣計算本征矩陣；（6）通過本征矩陣計算RT矩陣；（7）對所有的特征點進行重建。其中，主要步驟是相機標定，建立數(shù)據(jù)庫，計算匹配點和矩陣，重建。

依據(jù)上述步驟進行程序設(shè)計達到界面圖像，見圖6。

8 研究成果

（1）本項目已經(jīng)入駐河北經(jīng)貿(mào)大學創(chuàng)業(yè)孵化園，代表河北經(jīng)貿(mào)大學參加2022第三屆京津冀創(chuàng)客峰會暨河北省首屆高校創(chuàng)客文化節(jié)活動。團隊利用在機器視覺領(lǐng)域的經(jīng)驗，研發(fā)的坡口加工AI視覺系統(tǒng)已經(jīng)基本完成，可以基本實現(xiàn)對坡口工件圖像的識別。其中，坡口加工界面見圖7，參數(shù)控制界面見圖8。

（2）本項目已經(jīng)申請《工業(yè)智能坡口加工AI視覺識別系統(tǒng)》軟件著作權(quán)，申請實用新型專利《一種高精度的目標定位裝置》一項。

（3）以本項目為研究基礎(chǔ)，團隊參加第七屆中國國際“互聯(lián)網(wǎng)+”大學生創(chuàng)新創(chuàng)業(yè)大賽獲得全國銅獎，同時本項目在第十七屆挑戰(zhàn)杯黑科技專項賽中被評為國家“衛(wèi)星級”作品。

未來，我們將基于立體視覺圖像識別技術(shù)，優(yōu)化坡口工件圖像識別處理技術(shù)所涉及的算法，提高其識別精度和效率。對本項目進行完善，不斷優(yōu)化我們的視覺算法，加深產(chǎn)學研合作，促進跨領(lǐng)域共同創(chuàng)新創(chuàng)業(yè)，開創(chuàng)屬于自己的工業(yè)品牌。

9 研究意義

工業(yè)坡口加工AI視覺識別系統(tǒng)，是在原有的傳統(tǒng)坡口加工技術(shù)的基礎(chǔ)上實現(xiàn)對坡口加工的自動化和智能化，是將工業(yè)制造與智能化相結(jié)合的產(chǎn)物，該系統(tǒng)解決了傳統(tǒng)坡口加工材料浪費、質(zhì)量不高等問題，提高了工件的精度。在現(xiàn)實的工業(yè)環(huán)境中，利用工業(yè)相機采集到的深度圖和灰度圖會受到光線、灰塵等因素的影響，從而導致收集到的圖像中存在部分噪聲，因此系統(tǒng)將選用合適的去噪方法對其進行去噪處理，增強工件圖像的邊緣特征信息，最后再進行灰度化處理，提取圖像的目標范圍，通過運用圖像識別算法進行識別，可以避免環(huán)境光線變化的影響，對坡口進行加工處理。

10 結(jié)語

2018年以來，國家陸續(xù)出臺相關(guān)政策，推動“工業(yè)互聯(lián)網(wǎng)+”的發(fā)展。國家大力推動制造業(yè)升級，強調(diào)以精工細作提升中國制造品質(zhì)。同時倡導節(jié)能減排，優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)和能源結(jié)構(gòu)。坡口加工作為工業(yè)產(chǎn)品制造中的重要環(huán)節(jié)，對工業(yè)先進智能制造有著很大影響。傳統(tǒng)坡口加工方式自動化水平過低，限制了整個制造業(yè)的智能化水平提升，成為許多工業(yè)產(chǎn)品從傳統(tǒng)加工向智能制造轉(zhuǎn)型的瓶頸。半自動坡口加工機器，加工需要進行人工操作，造成切割工件的質(zhì)量精度差、鋼材浪費嚴重等問題，因此提高坡口加工產(chǎn)品的質(zhì)量對工業(yè)制造領(lǐng)域十分重要。本文主要對工業(yè)坡口加工AI視覺識別系統(tǒng)進行研究，包括技術(shù)優(yōu)勢、工件自動識別、點云粗匹配、點云精匹配、工件圖像目標區(qū)域提取、三維重建等，通過實驗與理論分析等方法驗證了本項目的可行性。隨著工業(yè)制造領(lǐng)域的發(fā)展，坡口加工在工業(yè)智能制造領(lǐng)域?qū)a(chǎn)生更加重要的作用。