基于圖像傳感器的鋼板板坯噴標字符在線識別系統(tǒng)

彭 祺，屠禮芬，宋 偉，唐戈銳，余振宇

(湖北工程學院物理與電子信息工程學院，湖北孝感 432000)

0 引言

鋼廠里有許多鋼板板坯需要被放進加熱爐再次加熱，按照當前工業(yè)生產(chǎn)流程，操作人員需站在板坯前方讀取和記錄鋼板板坯的噴標字符，控制行車的抓鉤來抓取相應板坯，然后將板坯按生產(chǎn)排序放進加熱爐中[1]。鋼板板坯的溫度高達200～400 ℃，長時間站在板坯前方，嚴重損害操作人員身體健康。另外，生產(chǎn)線上的鋼板處于運動狀態(tài)，人工長期注視容易產(chǎn)生視覺疲勞，從而引入識別誤差。

為了解決該問題，本文采用圖像傳感器[2]實時采集板坯序列圖像，并結(jié)合傳統(tǒng)圖像分析[3]和深度學習[4]方法來自動識別板坯的噴標字符。該系統(tǒng)在硬件和軟件上都做了優(yōu)化設計，硬件上，保證圖像傳感器能在高溫、光照變化、震動等環(huán)境下高速采集圖像；軟件上，要保證整個系統(tǒng)能以30幀/s的速度采集數(shù)據(jù)，并能對字符實現(xiàn)準實時識別，識別的正確率不低于98%。

1 系統(tǒng)總體結(jié)構(gòu)設計

板坯噴標字符自動識別系統(tǒng)總體結(jié)構(gòu)如圖1所示：在距離板坯側(cè)面約2 m左右處安裝設備，設備離地面高度約1.1 m左右。系統(tǒng)硬件主體由高速高感光工業(yè)數(shù)字相機和深度學習推理服務器組成。相機安裝在溫控防塵防護箱內(nèi)，防護箱尺寸大約為625 mm×325 mm×285 mm，整個防護箱由一個大約高1 m的立柱，固定在地面上。推理服務器放置在操作室內(nèi)，操作室距離設備10 m左右，由工業(yè)雙屏蔽千兆網(wǎng)線連接防護箱內(nèi)的相機。

圖1 系統(tǒng)總體架構(gòu)

2 硬件設計

本識別系統(tǒng)核心硬件為圖像傳感器，圖像質(zhì)量是保證正確識別字符的關鍵因素。然而，鋼廠需要24 h不間斷生產(chǎn)，環(huán)境光變化很大，廠房內(nèi)還有天車運行，容易產(chǎn)生陰影，200～400 ℃的鋼板板坯紅外輻射能量極大，會造成圖像傳感器飽和；另外，高溫板坯會導致周圍環(huán)境溫度過高，導致圖像傳感器無法正常工作。鑒于鋼廠的特殊環(huán)境，本系統(tǒng)的硬件設計關鍵技術主要分為2個方面：圖像采集系統(tǒng)和相機溫控防護系統(tǒng)。

2.1 圖像采集系統(tǒng)

鋼板板坯呈黑褐色，為了看清上面的字符，需增加照明系統(tǒng)。但該方式增加硬件的復雜度，且燈本身發(fā)熱，在高溫環(huán)境下容易損壞；另外，復雜的光照條件會降低識別算法的魯棒性。

本文不使用燈光照明，而在鏡頭前加裝減光鏡[5]，相機通過鏡頭采集到的圖像亮度極低，這樣就能解決環(huán)境光照復雜多變的問題。為了適應低亮度圖像，選用微視高感光工業(yè)相機HK-A5100-GM60-NIR采集圖像。

現(xiàn)場實驗發(fā)現(xiàn)：鋼板板坯實際溫度為200～400 ℃，因外部被氧化皮覆蓋，觀察到的外觀為黑褐色，但HK-A5100-GM60-NIR采集到的圖像是一片白。因為該相機在昏暗環(huán)境中感光，近紅外光譜波段量子效率(quantum efficiency，QE)較強[6]，而200～400 ℃的鋼板板坯紅外輻射能量極大，造成相機傳感器飽和。為解決該問題，在鏡頭前端增加波段為400～800 nm的濾光鏡[7]，峰值響應在730 nm處，量子效率QE為 80%，圖像采集系統(tǒng)結(jié)構(gòu)如圖2所示。經(jīng)過現(xiàn)場實驗，該設計既能使高感光相機采集到清晰的板坯表面字符圖像，又能隔絕紅外輻射，并且對環(huán)境光照的變化不敏感。

圖2 圖像采集系統(tǒng)結(jié)構(gòu)

2.2 相機溫控防護系統(tǒng)

高溫板坯能將距離1～2 m處的空氣溫度加熱到80 ℃以上，在這種環(huán)境下，相機即使安裝散熱片，也無法保證正常運行。因此制作了相機溫控防護系統(tǒng)，如圖3所示，其中圖3(a)～圖3(c)為設計圖，圖3(d)為實物圖。

(a)相機固定架

(b)內(nèi)箱體

(c)外箱體

(d)實物圖圖3 相機溫控防護系統(tǒng)

相機固定在內(nèi)箱體中，內(nèi)箱體設計制冷裝置降溫，將箱體內(nèi)溫度控制在不高于35 ℃，外箱體設計不銹鋼外殼防塵防撞。設計要點如下：

(1)如圖3(a)所示，相機系統(tǒng)固定在轉(zhuǎn)接板上，轉(zhuǎn)接板通過M3型螺絲孔再與橋型滑軌相連，使相機能前后移動適應現(xiàn)場環(huán)境，橋型滑軌固定在內(nèi)箱底部；轉(zhuǎn)接板使用3D打印機打印，高分子材料抗震隔熱，能減小因震動造成圖像模糊，降低外部環(huán)境對相機系統(tǒng)的影響。

(2)如圖3(b)所示，內(nèi)箱側(cè)面安裝相機的電源以及制冷器的電源，頂部鏤空用于安裝亞克力板，亞克力板下面是半導體制冷器的冷端，上面是半導體制冷器的熱端。頂部還要挖孔，靠近尾部的孔用于引出相機電源線和數(shù)據(jù)線(網(wǎng)口相機，此處用網(wǎng)線)，靠近中間部分亞克力板旁邊引出的是半導體制冷器的電源線，該電源線有2組，分別是驅(qū)動半導體制冷芯片和驅(qū)動冷端的風扇，將冷端的冷空氣吹向處于正下方的相機。為防止制冷器結(jié)冰降低制冷效果，在其底部加了3個風扇，防止結(jié)冰的同時，又能把冷氣吹入箱內(nèi)(正下方是相機)，達到強力降溫效果。

(3)如圖3(c)所示，外箱是一個U型結(jié)構(gòu)，其鏤空與內(nèi)箱鏤空形成2個同心圓，2個同心圓都會在外側(cè)加裝玻璃。外箱左右兩側(cè)都有散熱孔，用于將制冷器上部熱端的熱量通過風扇排出去。

(4)圖3(d)為制作的成品，為了便于查看，將內(nèi)箱放置在外箱上方，實際使用時，首先將相機系統(tǒng)固定在內(nèi)箱，再將內(nèi)箱固定到外箱中，形成一個隔熱、防塵、抗震的整體防護系統(tǒng)。

3 軟件設計

軟件結(jié)構(gòu)由3部分組成，前端部分負責采集清晰的噴標字符，后端部分通過深度學習識別破損的噴標字符，學習部分進行破損字符學習。軟件整體架構(gòu)圖如圖4所示。

圖4 軟件整體架構(gòu)

3.1 采集部分

采集部分的難點在于現(xiàn)場光照環(huán)境和盡量不改變生產(chǎn)流程。首先，為了減小外部不可預知的光源變化情況；然后，光源自身熱量較高，而現(xiàn)場環(huán)境溫度也較高，受現(xiàn)場高溫影響難以散熱，影響壽命；最后，噴標字符為白色，在較強光照下容易反光，而現(xiàn)場環(huán)境光照變化復雜，當過亮反光或者過暗模糊時，難以實時調(diào)節(jié)光照。因此本方案不使用外部光源，而是用高感光工業(yè)相機，從軟件算法角度對光照變化進行自適應調(diào)節(jié)。

對于生產(chǎn)流程來說，鋼板雖然會有短暫停留，但經(jīng)過現(xiàn)場勘查，發(fā)現(xiàn)停留的位置并不固定在某個點，有時部分字符未進入視場，有時部分字符已出視場(如被輥道側(cè)護板遮擋)。若采用靜止采集方式，則要求輥道操作員將板坯?？吭谀硞€固定位置，使所有字符完整進入視場。為盡量不改變生產(chǎn)流程，為輥道操作員提供便利，本方案采用動態(tài)采集方式，即使用高速相機，配合高速圖像處理算法，在板坯運動時依然能采集到清晰的字符圖像。

光照自適應算法在“圖像預處理”模塊內(nèi)，動態(tài)采集算法在“字符圖像增強”模塊內(nèi)。相機采用高速高感光工業(yè)數(shù)字相機HK-A5100-GM60-NIR，分辨率為1 280像素×1 024像素，幀率17～55幀/s，動態(tài)范圍大于83.5 dB，在600 nm波長的光電轉(zhuǎn)換效率不小于55%。

采集部分核心目標是在鋼板運動過程中定位并采集到完整的板坯字符區(qū)域圖像，作為識別算法的輸入。因此，“圖像預處理”模塊內(nèi)，采用自適應閾值分割[8]和圖像幀間差分[9]相結(jié)合，獲取圖像內(nèi)白色條狀區(qū)域，即板坯字符所在的區(qū)域用于識別算法，其他部分截斷，可以較大地提升識別速率，采集部分的結(jié)果如圖5所示。

(a)原始圖像

(b)板坯字符區(qū)域圖像圖5 圖像分析算法確定的板坯字符區(qū)域

3.2 識別部分

識別部分分為主支路和輔助支路。輔助支路進行字符圖像的存儲，運用算法將其進行圖像分割后，存儲到字符圖像數(shù)據(jù)庫中進行管理，該字符圖像數(shù)據(jù)庫為“學習部分”提供樣本數(shù)據(jù)。

主支路進行字符識別推理，采用Paddle-OCR字符識別算法[10]實現(xiàn)，對上一步采集到的清晰字符進行識別。對現(xiàn)場采集的鋼板圖像進行了板坯字符識別測試，結(jié)果如圖6所示。改變現(xiàn)場環(huán)境光照，產(chǎn)生高亮或者較暗的字符圖像，字符識別算法均能給出精度較高的識別結(jié)果。

圖6 字符識別效果測試

識別結(jié)果要進行判定，判定依據(jù)來自2個方面，一個是算法自身的概率統(tǒng)計評價，評價其識別準確度；另一個是上下文邏輯，因板坯號只有純數(shù)字，即0～9共10個，不會出現(xiàn)其他字符，且字符長度為10，另外大多數(shù)情況下，前后板坯號有一定的關聯(lián)，因此可以通過此類邏輯進行錯誤判定。如果識別概率評價和上下文邏輯均能通過，則輸出結(jié)果，在軟件界面顯示。

3.3 學習部分

深度學習軟件與傳統(tǒng)軟件的最大區(qū)別是：隨著使用的時間增加，采集到的字符圖像樣本增加，通過數(shù)據(jù)學習，可使系統(tǒng)性能更好，即識別精度更高。

使用一段時間后，收集了一定量的字符圖像樣本，通過人工標注，啟動深度學習訓練，進行數(shù)據(jù)學習，會使識別率增高。根據(jù)現(xiàn)場測試經(jīng)驗，第1次學習訓練提高較大，第2次學習訓練，有較小幅度的提高，例如第1次學習準確率從70%～80%提高到90%，第2次學習準確率從90%提高到92%～94%，所以一般來說，第2次學習也是必要的。而第3次學習，提高較小，可能從94%提高到94.5%，也可能提高較大，從94%提高到96%。具體提高率，與采集到圖像樣本的特殊性、標注的質(zhì)量、算法的調(diào)整有關；現(xiàn)場使用環(huán)境是否改變也很重要，極端情況下會出現(xiàn)負優(yōu)化，即識別率反而降低。具體效果，需要結(jié)合實際環(huán)境特征進行驗證。

通常情況下，前2次學習都是必要的，第3次及進一步學習訓練按客戶要求來進行。通過多次學習更新識別模型，生成新的識別神經(jīng)網(wǎng)絡，該模型網(wǎng)絡用于上一步的“字符識別推理”。

4 系統(tǒng)測試結(jié)果

系統(tǒng)首先在實驗室內(nèi)進行了多組模擬測試，較典型的2組如圖7(a)和圖7(b)所示。

(a)正常運動速度時捕獲的實驗字符圖像

(b)快速運動速度時捕獲的實驗字符圖像

(c)現(xiàn)場測試鋼板板坯字符圖像圖7 系統(tǒng)測試結(jié)果

圖7(a)中的實驗字符圖像運動過程中，速度正常時，捕獲的圖像較為清晰，識別精確率可達99%以上；如果捕獲的圖像較為模糊，雖然識別精確率下降到89.547 4%，但經(jīng)過人工比對，發(fā)現(xiàn)只有第6位的8被識別為3，其他字符識別正確；最終程序會取精確率最高的結(jié)果輸出，不影響最終識別結(jié)果。如果運動速度過快，如圖7(b)所示，造成捕獲的圖像過于模糊，達到人工都無法識別的程度，本系統(tǒng)依然能給出正確的字符識別結(jié)果。圖7(c)為系統(tǒng)現(xiàn)場在線測試效果，每塊鋼坯板坯在運行過程中，系統(tǒng)分3段選取完整的板坯字符圖像識別，保留識別率最高的檢測結(jié)果作為最終結(jié)果?，F(xiàn)場環(huán)境比實驗室更復雜，鋼板板坯字符有部分高亮區(qū)域，還存在部分缺失問題，但本系統(tǒng)表現(xiàn)良好，系統(tǒng)已穩(wěn)定運行超過1 a，平均識別率為98.64%，滿足應用要求。識別效率方面，圖像采集和處理流程的識別效率能達到33幀/s，字符識別算法并行實現(xiàn)，每3幀識別平均用時在0.2 s左右，達到了準實時要求。

5 結(jié)束語

通過圖像傳感器實時采集并存儲鋼板板坯噴標字符圖像，采用百度飛漿Paddle-OCR字符識別算法實現(xiàn)了板坯字符在線自動識別。目前，該系統(tǒng)已試運行成功，整個系統(tǒng)操作和維護都較簡單。

實踐證明，該系統(tǒng)平均識別率為98.64%，滿足廠方不低于98%的要求；圖像采集和處理流程能夠達到33幀/s，滿足廠方不低于30幀/s的要求，識別算法達到了準實時要求。該系統(tǒng)有效解決了人工識別板坯字符的影響，提高了生產(chǎn)效率。