基于機(jī)器視覺(jué)的小方坯端面手寫(xiě)字符自動(dòng)識(shí)別系統(tǒng)

石桂芬,何永輝,吳振平

(寶山鋼鐵股份有限公司1.中央研究院,上海 201999; 2.鋼管條鋼事業(yè)部,上海 201900)

線材是鋼鐵工業(yè)的重要產(chǎn)品之一。電爐小方坯直接軋制線材生產(chǎn)工藝,由于未經(jīng)過(guò)初軋開(kāi)坯環(huán)節(jié),成本很占優(yōu)勢(shì),成為工藝降本的手段,近年來(lái)在國(guó)內(nèi)外已得到較好發(fā)展,但同時(shí)由于偏析等技術(shù)瓶頸,也限制該工藝路線的推廣使用。

目前的技術(shù)手段,當(dāng)發(fā)生質(zhì)量異常時(shí),由于信息無(wú)法按支追溯到坯,對(duì)異常原因分析及改進(jìn)均帶來(lái)很大局限,因此,按支跟蹤非常重要。實(shí)現(xiàn)按支跟蹤,通常做法是在入爐前對(duì)鋼坯端部描號(hào)進(jìn)行識(shí)別。

目前,寶鋼電爐向小方坯采用人工描號(hào)方式,由人工在現(xiàn)場(chǎng)對(duì)方坯端面字符進(jìn)行識(shí)別,實(shí)現(xiàn)按支跟蹤。勞動(dòng)強(qiáng)度大,效率低。

1 機(jī)器視覺(jué)技術(shù)與字符識(shí)別

寶鋼高速線材生產(chǎn)線引進(jìn)了許多當(dāng)今國(guó)際先進(jìn)水平的生產(chǎn)設(shè)備和生產(chǎn)技術(shù),主要生產(chǎn)鋼種為鋼簾線、合金冷鐓鋼、彈簧鋼、硬線鋼等優(yōu)質(zhì)盤(pán)條。采用機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)方坯端面字符識(shí)別,從而達(dá)到按支跟蹤的目的,勢(shì)在必行。

不同于傳統(tǒng)的字符識(shí)別,工業(yè)領(lǐng)域的手工描號(hào)識(shí)別過(guò)程中通常存在圖像背景復(fù)雜、分辨率低下、字體多樣以及分布隨意等難點(diǎn)。上海理工大學(xué)劉振等利用ISOM AP算法實(shí)現(xiàn)對(duì)手寫(xiě)字符的識(shí)別[1],中南民族大學(xué)鄒煜等探討深度神經(jīng)網(wǎng)絡(luò)的單層訓(xùn)練中特征抽取方法[2],上海理工大學(xué)丁蒙等使用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型在MNIST數(shù)據(jù)集中識(shí)別準(zhǔn)確率提升到 99.65%[3]。隨著模式識(shí)別和人工智能時(shí)代的到來(lái),字符識(shí)別技術(shù),特別針對(duì)人工描號(hào)的識(shí)別技術(shù),已經(jīng)逐步趨于成熟。另外,隨著大數(shù)據(jù)時(shí)代的到來(lái),深度學(xué)習(xí)在手工描號(hào)識(shí)別領(lǐng)域得到了成功的應(yīng)用。

本文字符識(shí)別對(duì)象為電爐小方坯端面人工描號(hào)。電爐小方坯描號(hào)規(guī)則是“爐號(hào)+流號(hào)”,方坯端面圖像如圖1所示,第一排為6位爐號(hào),第二排為流號(hào)。團(tuán)隊(duì)自主開(kāi)發(fā)出方坯端面智能識(shí)別系統(tǒng),實(shí)現(xiàn)對(duì)方坯端面手寫(xiě)字符的正確識(shí)別。

圖1 小方坯端面字符圖像Fig.1 Image of billet end

2 小方坯端面手寫(xiě)字符自動(dòng)識(shí)別系統(tǒng)硬件實(shí)現(xiàn)

本系統(tǒng)采用機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)方坯端面字符識(shí)別,將相機(jī)和光源等構(gòu)成的光學(xué)成像系統(tǒng)安裝在生產(chǎn)線,利用外觸發(fā)方式實(shí)現(xiàn)對(duì)小方坯端面的實(shí)時(shí)成像。

2.1 系統(tǒng)基本架構(gòu)

結(jié)合現(xiàn)場(chǎng)生產(chǎn)條件,實(shí)現(xiàn)了系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì),圖2為字符識(shí)別系統(tǒng)硬件結(jié)構(gòu)框圖。

圖2 系統(tǒng)硬件結(jié)構(gòu)框圖Fig.2 System hardware architecture

相機(jī)和光源均以一定角度安裝在軌道的中部,在軌道中部安裝一對(duì)光電對(duì)管作為觸發(fā)器。光電對(duì)管檢測(cè)到有方坯離開(kāi),則觸發(fā)相機(jī),對(duì)方坯端部流號(hào)進(jìn)行拍照。相機(jī)對(duì)方坯端面成像,圖像通過(guò)以太網(wǎng)被采集到服務(wù)器后,再由圖像處理計(jì)算機(jī)實(shí)現(xiàn)對(duì)采集到的端面圖象進(jìn)行處理,識(shí)別軟件對(duì)字符進(jìn)行識(shí)別。

系統(tǒng)可及時(shí)發(fā)現(xiàn)爐號(hào)不正確的鋼坯,避免混鋼,即可實(shí)現(xiàn)對(duì)方坯的按支跟蹤。

2.2 光學(xué)成像系統(tǒng)設(shè)計(jì)

光學(xué)成像系統(tǒng)包含光源和高速工業(yè)相機(jī)、鏡頭、多自由度高精度相機(jī)調(diào)節(jié)機(jī)構(gòu)等設(shè)備組成。

光源設(shè)計(jì)結(jié)構(gòu)如圖3所示。光源為兩個(gè)常亮LED光源,架在方坯拍照位置的兩側(cè),在正上方對(duì)方坯端部進(jìn)行打光,利用大角度來(lái)減弱反光。

圖3 光源照射設(shè)計(jì)Fig.3 Illumination design of light source

高速工業(yè)相機(jī)采用500萬(wàn)像素面陣相機(jī),成像的分辨率設(shè)計(jì)為0.2 mm/pixel,相機(jī)物距為3 000 mm,以一定成像角度安裝在坯料運(yùn)動(dòng)軌道的正上方,并確保成像范圍對(duì)方坯尾部端面全覆蓋。

3 小方坯端面手寫(xiě)字符自動(dòng)識(shí)別系統(tǒng)軟件實(shí)現(xiàn)

軟件系統(tǒng)包括以下幾個(gè)部分:圖像處理及識(shí)別軟件模塊、通訊軟件模塊和人機(jī)接口界面模塊,見(jiàn)圖4。

圖4 系統(tǒng)軟件模塊構(gòu)成Fig.4 System software modules organization

3.1 圖像處理及識(shí)別模塊

圖像處理及識(shí)別模塊是軟件系統(tǒng)的核心組成部分,它配置在服務(wù)器端,完成圖像采集、字符識(shí)別和信號(hào)控制等一系列核心功能,其工作流程見(jiàn)圖5。

圖5 圖像處理及識(shí)別軟件模塊工作流程Fig.5 Workflow for image processing and recognition software module

(1) 圖像采集模塊。圖像采集模塊是軟件與工業(yè)相機(jī)的鏈接模塊,該模塊從工業(yè)相機(jī)內(nèi)層中讀取圖像,用于顯示和供后續(xù)步驟處理。

(2) 字符識(shí)別模塊。首先對(duì)原始圖像運(yùn)用梯度算法進(jìn)行降噪和增強(qiáng)預(yù)處理,突出被檢測(cè)對(duì)象,弱化干擾對(duì)象;再通過(guò)傳統(tǒng)的canny算子對(duì)字符提取邊緣,再對(duì)前景進(jìn)行閉運(yùn)算以得到更加連續(xù)的邊緣;最后將邊緣圖像和原圖像對(duì)應(yīng)疊加,疊加得到的圖像作為YOLOv3深度學(xué)習(xí)模型的輸入圖像。YOLOv3是一個(gè)目標(biāo)檢測(cè)模型,其能在保證較高準(zhǔn)確率的情況下進(jìn)行目標(biāo)物的快速檢測(cè),與此同時(shí)能較為準(zhǔn)確地分辨出背景與目標(biāo)物。然后,模型輸出一個(gè)張量。在經(jīng)過(guò)NMS方法篩選后(使用NMS的作用是刪除具有較大重復(fù)率的候選框),最后將置信度高的候選框和其分類結(jié)果一同回歸到原始圖像上。

(3) 信號(hào)控制模塊。由于工業(yè)相機(jī)對(duì)物距的要求,需要被拍攝物離相機(jī)的位置固定。所以在固定位置裝1臺(tái)激光對(duì)射開(kāi)關(guān),當(dāng)鋼坯尾部離開(kāi)光電對(duì)射管所在的位置時(shí),對(duì)射開(kāi)關(guān)的信號(hào)從“0”變?yōu)椤?”,這時(shí)服務(wù)器會(huì)檢測(cè)到相應(yīng)的信號(hào),觸發(fā)相機(jī)進(jìn)行拍照。

3.2 通訊軟件模塊

通訊軟件運(yùn)行在系統(tǒng)處理單元上,提供本系統(tǒng)和二級(jí)的交互,以及服務(wù)器和客戶端的交互。服務(wù)器軟件包含以下兩個(gè)部分:

(1) 接收二級(jí)電文模塊。主要完成兩個(gè)功能,完成系統(tǒng)與二級(jí)通訊,接收一個(gè)鋼坯池,里面含有當(dāng)前的計(jì)劃爐號(hào)。

(2) 發(fā)送識(shí)別結(jié)果。將服務(wù)器檢測(cè)結(jié)果發(fā)送到終端計(jì)算機(jī)。

3.3 人機(jī)接口界面模塊

人機(jī)接口界面模塊運(yùn)行在現(xiàn)場(chǎng)操作終端計(jì)算機(jī)上,是本系統(tǒng)與用戶交互的界面,也是識(shí)別結(jié)果的呈現(xiàn)界面,見(jiàn)圖6。

圖6 在線識(shí)別系統(tǒng)的主界面Fig.6 System interface for online watch and control

(1) 圖像顯示。顯示拍攝到的鋼坯端面圖像。

(2) 識(shí)別結(jié)果顯示。顯示深度學(xué)習(xí)識(shí)別的端面字符結(jié)果,用戶可以方便地查看當(dāng)前識(shí)別的鋼坯號(hào)是否正確。

(3) 報(bào)警控制。若識(shí)別出的字符與計(jì)劃爐號(hào)不同,則系統(tǒng)自動(dòng)報(bào)警,由現(xiàn)場(chǎng)操作人員確認(rèn)并及時(shí)解決該問(wèn)題。

4 小方坯端面手寫(xiě)字符自動(dòng)識(shí)別系統(tǒng)檢測(cè)結(jié)果

小方坯端部人工描號(hào)字符能夠被系統(tǒng)準(zhǔn)確地識(shí)別出,識(shí)別結(jié)果標(biāo)注在源圖像上。系統(tǒng)的識(shí)別結(jié)果如圖7所示。

圖7 端面字符識(shí)別結(jié)果Fig.7 End face character recognition results

5 結(jié)語(yǔ)

目前,小方坯端面手寫(xiě)字符自動(dòng)識(shí)別系統(tǒng)已經(jīng)上線運(yùn)行1年多,運(yùn)行狀況良好,能夠有效識(shí)別出電爐向小方坯端面手寫(xiě)字符,實(shí)現(xiàn)在線綜合識(shí)別率達(dá)到98%以上,大幅遏制了現(xiàn)場(chǎng)混鋼現(xiàn)象,提升了企業(yè)的自動(dòng)化程度和生產(chǎn)效率。