圖像識(shí)別技術(shù)在天車吊掛鋼包作業(yè)的應(yīng)用

唐山不銹鋼有限責(zé)任公司設(shè)備科 姚旭亮 張士慧

煉鋼天車吊掛作業(yè)需要天車司機(jī)、地面指揮人員協(xié)同，天車司機(jī)自己無法確認(rèn)地面吊掛狀態(tài)，地面吊掛狀態(tài)完全依靠地面指揮人員，吊掛作業(yè)許多環(huán)節(jié)地面需要指揮者確認(rèn)，確認(rèn)不好會(huì)造成蹲鉤、卡勾、鋼包脫落等危險(xiǎn)，并且現(xiàn)場(chǎng)指揮人員存在較大人身安全隱患。為了降低煉鋼吊包作業(yè)流程存在的危險(xiǎn)，提高作業(yè)效率，設(shè)計(jì)煉鋼天車吊掛作業(yè)圖像識(shí)別系統(tǒng)。此系統(tǒng)將地面拍攝大包耳軸的攝像頭圖像應(yīng)用無線技術(shù)實(shí)時(shí)傳輸?shù)教燔嚻桨咫娔X，平板電腦應(yīng)用Python編程經(jīng)過卷積分析，識(shí)別天車吊掛作業(yè)等待、準(zhǔn)備掛鉤、正在掛鉤、吊鉤到位四個(gè)狀態(tài)并語(yǔ)音提示天車司機(jī)，從而省略指揮人員的兩側(cè)確認(rèn)和天車司機(jī)的二次確環(huán)節(jié)，不僅避免了指揮人員來回走動(dòng)所帶來的人身安全隱患，而且還能節(jié)省掛包時(shí)間，提高生產(chǎn)效率。將圖像識(shí)別、機(jī)器學(xué)習(xí)等新興技術(shù)應(yīng)用于天車領(lǐng)域，使天車作業(yè)更加智能化、更加自動(dòng)化，實(shí)現(xiàn)培養(yǎng)人才、提高利潤(rùn)的目標(biāo)。

以唐鋼不銹鋼公司100t轉(zhuǎn)爐-LF精煉-常規(guī)板坯連鑄為依托，以打造無人化、黑燈工廠、智慧工廠為目標(biāo)，采用視覺分析等數(shù)字化采集、現(xiàn)場(chǎng)控制自動(dòng)化、信息傳遞自動(dòng)化及互聯(lián)網(wǎng)技術(shù)、數(shù)據(jù)分析統(tǒng)計(jì)技術(shù)、人工智能機(jī)器學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)轉(zhuǎn)爐全流程模型控制開發(fā)。

隨著各類新興技術(shù)的快速發(fā)展，整個(gè)工業(yè)時(shí)代的生產(chǎn)模式面臨著變革。無人化、智能化、高效化、標(biāo)準(zhǔn)化成為工業(yè)發(fā)展的前景。而作為當(dāng)前最為流行的編程語(yǔ)言，Python的應(yīng)用領(lǐng)域極為廣泛。Python是一個(gè)高層次的結(jié)合科解釋性、編譯性、互動(dòng)性和面向?qū)ο蟮哪_本語(yǔ)言，應(yīng)用領(lǐng)域極為廣泛：1）WEB開發(fā)；2）桌面軟件；3）網(wǎng)絡(luò)編程；4）爬蟲開發(fā)；5）云計(jì)算開發(fā)；6）人工智能；7）自動(dòng)化運(yùn)維；8）金融分析；9）科學(xué)運(yùn)算；10）游戲開發(fā)。煉鋼天車吊掛圖像識(shí)別系統(tǒng)就是通過Keras卷積神經(jīng)網(wǎng)絡(luò)識(shí)別技術(shù)進(jìn)行生產(chǎn)過程提示。

1 煉鋼天車吊掛圖像識(shí)別系統(tǒng)的設(shè)計(jì)思路

1.1 天車吊掛作業(yè)生產(chǎn)現(xiàn)狀

煉鋼天車吊掛作業(yè)時(shí)需要天車司機(jī)、地面指揮人員協(xié)同，由于天車司機(jī)室視野限制天車司機(jī)自己無法確認(rèn)地面吊掛狀態(tài)，地面吊掛狀態(tài)完全依靠地面指揮人員通過對(duì)講機(jī)通知天車司機(jī)。唐鋼不銹鋼公司煉鋼天車吊包作業(yè)由等待吊包、主鉤下降、確認(rèn)板鉤、繼續(xù)下降主鉤、確認(rèn)板鉤高度、北打小車、確認(rèn)板鉤吊掛、起升主鉤、指揮者兩側(cè)確認(rèn)、司機(jī)二次確認(rèn)、指揮者二次確認(rèn)、起升主鉤、試吊共13環(huán)節(jié)構(gòu)成。其中除了等待吊包、起升主鉤、試吊環(huán)節(jié)外其它10個(gè)環(huán)節(jié)均需要地面指揮者確認(rèn)，如果確認(rèn)不好將會(huì)造成蹲鉤、卡勾、鋼包脫落等危險(xiǎn)，現(xiàn)場(chǎng)指揮人員存在較大安全隱。

1.2 天車設(shè)備配置現(xiàn)狀

唐鋼不銹鋼公司煉鋼天車具有天車定位系統(tǒng)，此系統(tǒng)通過煉鋼車間天車、臺(tái)車定位，天車物重采集，生產(chǎn)設(shè)備狀態(tài)采集，已實(shí)現(xiàn)廢鋼斗、鐵包、鋼包跟蹤和可視化管理，系統(tǒng)通過編碼電纜定位技術(shù)實(shí)現(xiàn)天車大車、小車位置的自動(dòng)采集和過程監(jiān)控；天車司機(jī)室內(nèi)配備一臺(tái)平板電腦，用來顯示天車實(shí)時(shí)位置及過程監(jiān)控信息，并通過無線網(wǎng)絡(luò)將天車信息實(shí)時(shí)傳輸?shù)降孛娣?wù)器。

圖1 煉鋼天車吊掛圖像識(shí)別系統(tǒng)設(shè)計(jì)示意圖

1.3 天車吊掛圖像識(shí)別系統(tǒng)實(shí)施方案

天車吊掛圖像識(shí)別系統(tǒng)在天車定位系統(tǒng)基礎(chǔ)之上增加兩臺(tái)網(wǎng)絡(luò)攝像頭。網(wǎng)絡(luò)攝像頭安裝于地面，分別采集鋼包左右耳軸實(shí)時(shí)圖，利用天車定位系統(tǒng)的無線網(wǎng)絡(luò)與天車司機(jī)室內(nèi)平板電腦通訊，具體通訊方式網(wǎng)絡(luò)攝像頭通過天車定位系統(tǒng)地面交換機(jī)連接天車跨上AP基站、天車AP與平板電腦相連，平板電腦應(yīng)用python語(yǔ)言編程將地面網(wǎng)絡(luò)攝像頭圖像實(shí)時(shí)采集，通過圖像識(shí)別程序判斷天車板勾與鋼包耳軸懸掛狀態(tài)，并將天車板勾與鋼包耳軸懸掛實(shí)時(shí)狀態(tài)對(duì)天車司機(jī)進(jìn)行語(yǔ)音提示。

平板電腦編制地面耳軸圖像與天車定位原系統(tǒng)畫面切換程序，通過天車定位，在天車大車、小車、吊鉤滿足吊掛作業(yè)條件的狀態(tài)下天車定位原系統(tǒng)畫面切換到地面耳軸畫面，畫面同時(shí)顯示左右耳軸圖像。當(dāng)完成吊掛作業(yè)后，天車板鉤抬起一定高度退出地面耳軸畫面，切換到天車定位原系統(tǒng)畫面。天車吊掛鋼包實(shí)時(shí)畫面顯示提高天車吊掛圖像識(shí)別系統(tǒng)的安全性，實(shí)現(xiàn)吊掛作業(yè)現(xiàn)場(chǎng)狀態(tài)司機(jī)室內(nèi)可視化。

2 煉鋼天車吊掛圖像識(shí)別系統(tǒng)技術(shù)的實(shí)現(xiàn)

2.1 圖像傳輸方案

應(yīng)用OpenCV技術(shù)將攝像頭圖像顯示于平板電腦之上。OpenCV是一個(gè)基于BSD許可（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫(kù)，可以運(yùn)行在Linux、Windows、Android和Mac OS操作系統(tǒng)上。 它輕量級(jí)而且高效，由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。改變圖像輸出格式，OpenCV默認(rèn)輸出格式為YUYV，可將其改成MJPG格式， 通過用不同電腦測(cè)試發(fā)現(xiàn)，攝像頭在不同的電腦上默認(rèn)使用獲取視頻的格式不同。由于項(xiàng)目原因，需要以MJPG格式讀取，使用MJPG格式主要是考慮到Y(jié)UYV數(shù)據(jù)量較大，影響攝像頭讀取速度。

2.2 圖像傳輸卡頓解決方案

（1）運(yùn)用多線程解決負(fù)載均衡問題，充分利用CPU資源。隨著計(jì)算機(jī)的配置越來越高，我們需要將進(jìn)程進(jìn)一步優(yōu)化，細(xì)分為線程，充分提高圖形化界面的多線程的開發(fā)。多線程技術(shù)使程序的響應(yīng)速度更快，因?yàn)橛脩艚缑婵梢栽谶M(jìn)行其它工作的同時(shí)一直處于活動(dòng)狀態(tài)；當(dāng)前沒有進(jìn)行處理的任務(wù)時(shí)可以將處理器時(shí)間讓給其它任務(wù)；占用大量處理時(shí)間的任務(wù)可以定期將處理器時(shí)間讓給其它任務(wù)；可以隨時(shí)停止任務(wù)；可以分別設(shè)置各個(gè)任務(wù)的優(yōu)先級(jí)以優(yōu)化性能。

（2）攝像頭分辨率設(shè)置，通過網(wǎng)絡(luò)攝像頭管理軟件調(diào)整攝像頭分辨率設(shè)置和幀率設(shè)置?？梢愿鶕?jù)現(xiàn)場(chǎng)無線網(wǎng)橋、平板電腦、交換機(jī)等硬件配置把傳輸圖像調(diào)整到最佳顯示狀態(tài)。

2.3 圖像傳輸終斷解決方案

增加異常處語(yǔ)句，這樣平板電腦與網(wǎng)絡(luò)攝像頭通信過程中，如果發(fā)生錯(cuò)誤通訊失敗可以重新嘗試連接，程序不會(huì)終止運(yùn)行。

2.4 圖片采集分類

攝像頭安裝于固定位置，通過程序連續(xù)抓拍天車板鉤吊掛作業(yè)圖片，將圖片按作業(yè)狀態(tài)分成四類（等待、準(zhǔn)備掛鉤、正在掛鉤、吊鉤到位）每一類圖片不低于1000張。

2.5 訓(xùn)練模型

根據(jù)平板電腦配置情況將圖片分辨率縮小，降低電腦運(yùn)算量。應(yīng)用卷積分析方法生成圖像識(shí)別四分類器，運(yùn)行識(shí)別程序與靜態(tài)圖片對(duì)比查看識(shí)別效果。

2.6 語(yǔ)音提示

（1）方法1應(yīng)用pyttsx3庫(kù)循環(huán)播放語(yǔ)音。

（2）方法2應(yīng)用playsound庫(kù)循環(huán)播放語(yǔ)音。

3 煉鋼天車吊掛作業(yè)圖像識(shí)別系統(tǒng)的應(yīng)用效果

如圖2所示為識(shí)別過程，通過現(xiàn)場(chǎng)攝像頭采集天車板勾與耳軸畫面，通過卷積分析判斷是否懸掛到位，同時(shí)根據(jù)板勾的運(yùn)動(dòng)過程實(shí)時(shí)語(yǔ)音播報(bào)懸掛狀態(tài)，能夠?qū)崿F(xiàn)天車吊包的自動(dòng)判斷過程，為吊包自動(dòng)化奠定了基礎(chǔ)。

圖2 天車吊包自動(dòng)判定過程

唐鋼不銹鋼煉鋼全流程智能化的一個(gè)重要部分就是實(shí)現(xiàn)天車自動(dòng)判斷耳軸吊掛狀態(tài)，應(yīng)用此采用圖像識(shí)別技術(shù)，實(shí)現(xiàn)了天車吊掛作業(yè)工作狀態(tài)實(shí)時(shí)提醒功能，地面圖像無線網(wǎng)絡(luò)傳輸司機(jī)室，提高天車作業(yè)安全性和工作效率。應(yīng)用此系統(tǒng)縮短天車吊掛作業(yè)時(shí)間。