基于機器視覺的加熱爐內(nèi)異常情況圖像識別方法研究

紀 永

(上海城建職業(yè)學院,上海 201415)

加熱爐是重要的工業(yè)加熱設(shè)備。加熱爐在持續(xù)運行過程中,鋼坯不斷受到振動的影響,爐內(nèi)容易產(chǎn)生襯里裂紋缺陷、掉鋼等異常故障。而加熱爐內(nèi)溫度極高,很難及時檢查異常情況,嚴重影響設(shè)備穩(wěn)定運行[1-2]。圖像識別技術(shù)能夠?qū)崟r處理爐內(nèi)監(jiān)控圖像,有利于發(fā)現(xiàn)加熱爐內(nèi)的異常情況,及時維修故障,因此研究加熱爐內(nèi)異常情況圖像識別方法具有良好的應用前景和重要的研究價值。圖像處理和識別技術(shù)已有一些研究成果,賀靜[3]提出了一種加熱爐故障可視化診斷方法。設(shè)計了加熱爐故障可視化診斷系統(tǒng);采用CCD相機采集爐內(nèi)圖像數(shù)據(jù)并利用DSP處理器進行處理;通過圖像解碼使圖像清晰化,實現(xiàn)故障識別與診斷。但該方法提取圖像信息所用的時間較長,且特征提取不準確,識別率較低。李瑩[4]等人通過輸出執(zhí)行模塊、分析模塊、采集模塊和處理模塊設(shè)計圖像識別系統(tǒng)。該方法處理圖像所用的時間較長,存在識別效率低的問題。

基于上述方法不足,進一步提高圖像識別的識別率,減少識別時間,提出基于機器視覺的加熱爐內(nèi)異常情況圖像識別方法研究?；跈C器視覺采集加熱爐內(nèi)監(jiān)控圖像;通過加權(quán)平均方法對加熱爐內(nèi)圖像進行灰度處理;通過圖像縮放完成歸一化處理;結(jié)合濾波操作、腐蝕操作和膨脹操作三種方法提高加熱爐內(nèi)圖像的識別率;創(chuàng)新性地采用Niblack算法完成圖像的二值化處理,縮短識別時間;設(shè)計特征匹配模板,完成特征提取,實現(xiàn)圖像識別。

1 方法設(shè)計

基于機器視覺的加熱爐內(nèi)異常情況圖像識別方法分為圖像采集方法和圖像識別方法。

1.1 基于機器視覺的圖像采集方法

圖像采集方法主要是基于機器視覺通過圖像采集模塊采集并存儲加熱爐內(nèi)的異常情況監(jiān)控圖像。加熱爐內(nèi)異常情況圖像采集模塊結(jié)構(gòu)如圖1所示。

圖1 采集存儲模塊結(jié)構(gòu)

如圖1所示,在圖像采集結(jié)構(gòu)中設(shè)置了信令處理模塊、采集控制模塊、文件分區(qū)模塊、頁讀取模塊、塊擦除模塊和頁寫入模塊[5-7];前端使用高溫紅外攝像設(shè)備采集加熱爐內(nèi)異常情況圖像,該設(shè)備輸出的圖像進入單片機功能模塊進行采集控制。攝像頭與加熱爐內(nèi)異常情況圖像采集控制模塊具體連接方式如圖2所示。

圖2 采集控制連接圖

信令分析模塊負責接收來自網(wǎng)卡和PC機的命令,然后驅(qū)動存儲器分區(qū)存儲采集圖像,通過采集控制模塊操控復位后的攝像頭完成初始化。攝像頭采集模塊在CAPEN的值為1時開始工作,采集加熱爐內(nèi)圖像,在JEPEGD0-JPEGD7的支持下將加熱爐內(nèi)圖像傳輸?shù)酱鎯ζ骱妥R別模塊中,經(jīng)過存儲器讀取、寫入后進行圖像識別。

1.2 基于機器視覺的圖像識別方法

利用上節(jié)采集的圖像,基于機器視覺人工智能技術(shù)進行圖像識別方法設(shè)計。圖像識別的具體流程如圖3所示。識別流程主要分為灰度處理、歸一化處理、圖像增強、二值化處理、特征提取5個步驟。經(jīng)過以上5個處理環(huán)節(jié),輸出識別結(jié)果,完成圖像識別。

圖3 識別流程圖

1)灰度處理

用灰色圖像代替采集到的彩色加熱爐內(nèi)圖像,通過加權(quán)平均方法對加熱爐內(nèi)圖像做灰度處理,用8位圖像代替原始的24位圖像[8-10]：

(1)

式中：V為轉(zhuǎn)換后加熱爐內(nèi)圖像的顏色;x、y、z為基本顏色系數(shù);R、G、B描為三基色。

2)歸一化處理

歸一化處理灰度處理后的加熱爐內(nèi)圖像,使其在后續(xù)處理過程中的尺寸統(tǒng)一。所提方法通過圖像縮放形式完成歸一化處理,分別用gx、gy表示x軸和y軸的縮放比例,原始加熱爐內(nèi)圖像g(x,y)中存在的點(x0,y0)與縮放后原始加熱爐內(nèi)圖像h(x,y)中存在的點(x1,y1)相對應,此時存在下述公式：

(2)

加熱爐內(nèi)圖像通過歸一化處理后可以獲得更加準確和較多的特征點。

3)圖像增強

采用濾波操作[11-12]消除加熱爐內(nèi)圖像中存在的干擾噪聲,結(jié)合腐蝕操作和膨脹操作提高加熱爐內(nèi)圖像的分辨率[13-14],通過上述過程完成加熱爐內(nèi)圖像的增強處理,提高圖像識別的準確率。

4)二值化處理

通過二值化處理可以縮短識別加熱爐內(nèi)異常情況圖像所用的時間[15-16],所提方法在軟件設(shè)計中利用Niblack算法完成圖像的二值化處理,設(shè)t×t代表的是加熱爐內(nèi)圖像的周圍鄰域;(x,y)代表的是加熱爐內(nèi)圖像的中心坐標：

(3)

式中：Y(x,y)為像素(x,y)在圖像中對應的閾值;k為修正系數(shù);d(s,y)、q(x,y)分別為像素點在鄰域t×t內(nèi)對應的標準方差和平均值。

5)特征提取

特征匹配過程中端點和交叉點具有重要作用,通過下式描述3×3模板區(qū)域：

(4)

上述模板區(qū)域中的中心點為A0,通過下述公式完成加熱爐內(nèi)圖像的特征提?。?/p>

(5)

根據(jù)上述公式獲取的特征,實現(xiàn)加熱爐內(nèi)異常情況圖像的識別,至此完成基于機器視覺的加熱爐內(nèi)異常情況圖像識別[17-18]。

2 實驗與分析

驗證基于機器視覺的加熱爐內(nèi)異常情況圖像識別方法的整體有效性。

2.1 實驗準備

將夜視鷹ST304RC高溫紅外攝像頭作為加熱爐內(nèi)異常情況圖像識別的監(jiān)控圖像采集設(shè)備,該設(shè)備輸出的圖像文件格式為JPEG。將NAND型閃存作為加熱爐內(nèi)異常情況圖像采集存儲器,用于存儲采集到的加熱爐內(nèi)監(jiān)控圖像。

為了實際測試識別方法的識別效果,實驗設(shè)計了識別方法的硬件程序基礎(chǔ)結(jié)構(gòu)如圖4所示。

圖4中,JTAG UART模塊屬于串口調(diào)試模塊,用戶在該模塊中可以通過C標準輸入輸出識別方法函數(shù);PIO IIC配置模塊中存在的IIC協(xié)議可以對攝像頭做初始化處理;Display模塊的主要作用是處理圖像信息、識別標記信息并顯示信息;Image模塊集成通過Avalon總線元件完成;SDRAM控制模塊中存儲了程序運行的相關(guān)數(shù)據(jù);ROM模塊將程序與數(shù)據(jù)的存儲器分開,提高圖像識別整體性能;圖像識別的調(diào)度和運算主要通過NiosII CPU模塊實現(xiàn),由SOPC Builder生成。

圖4 識別方法硬件結(jié)構(gòu)圖

基于以上硬件設(shè)備配置和結(jié)構(gòu),對某不銹鋼加工廠的加熱爐內(nèi)監(jiān)控圖像進行識別(見圖5)。爐內(nèi)平均溫度保持900 ℃左右,測試時爐外的溫度與濕度分別是19 ℃和49%。紅外熱像監(jiān)控攝像頭拍攝的圖像數(shù)據(jù),包括3 572張監(jiān)控圖像,其中異常情況圖像82張。

圖5 采集的爐內(nèi)異常溫度圖像特征

2.2 實驗結(jié)果與分析

采用所提方法、文獻[3]方法和文獻[4]方法對該加熱爐內(nèi)的異常情況圖像進行識別,對比不同方法的識別率和識別時間。

識別率p的計算公式如下：

(6)

式中：n為識別方法識別到的加熱爐內(nèi)異常情況圖像的數(shù)量;N為所有圖像的數(shù)量。

所提方法、文獻[3]方法和文獻[4]方法的識別率結(jié)果見圖6。

圖6 識別率結(jié)果

分析圖6可知,隨著不斷迭代,所提方法、文獻[3]方法和文獻[4]方法的圖像識別率均有所提高,所提方法的最終識別率高達90%,文獻[3]方法的最終識別率高于60%,文獻[4]方法的最終識別率高于70%。與文獻[3]方法和文獻[4]方法相比,提出方法的圖像識別率更高。這是因為提出方法對采集的加熱爐內(nèi)圖像做了增強處理,消除了圖像中存在的干擾部分,提高了圖像的分辨率,便于后續(xù)的圖像識別,進而提高了所提方法的圖像識別率。

將虛報率f作為指標,進一步驗證上述方法的識別有效性,虛報率可通過下述公式計算得到：

(7)

式中：m為錯誤識別的圖像數(shù)量;M為采集到的圖像數(shù)量。

三種方法的虛報率如圖7所示。

圖7 不同方法的虛報率

由圖7可知,所提方法、文獻[3]方法和文獻[4]方法的虛報率隨著迭代次數(shù)的增加不斷降低,所提方法最終可將虛報率控制到2%,遠低于文獻[3]方法和文獻[4]方法,表明所提方法具有良好的識別性能。

采用所提方法、文獻[3]方法和文獻[4]方法對下述加熱爐中存在的異常情況識別,三種方法識別時間對比結(jié)果見表1。

表1 三種方法的識別時間

分析表1中的數(shù)據(jù)可知,所提方法識別加熱爐內(nèi)異常情況圖像所用的時間為0.03 s,遠低于文獻[3]方法和文獻[4]方法的識別時間,驗證了所提方法具有較高的識別效率。這是因為本文創(chuàng)新性將Niblack算法應用于圖像的二值化處理中,縮短了識別加熱爐內(nèi)異常情況圖像所用的時間。

3 結(jié) 語

在加熱爐中,通過攝像頭拍攝的監(jiān)控信息對爐內(nèi)異常情況進行實時監(jiān)測,在節(jié)省了勞動力的同時,降低甚至消除了爐內(nèi)故障發(fā)生的可能性,具有長遠的研究前景和應用價值。

目前加熱爐內(nèi)異常情況圖像識別方法存在識別率低、虛報率高和識別效率低的問題,因此本文提出基于機器視覺的加熱爐內(nèi)異常情況圖像識別方法。該方法采用Niblack算法預處理采集的加熱爐內(nèi)圖像,設(shè)計特征匹配模板提取圖像特征,完成識別工作。測試數(shù)據(jù)證明本文方法解決了目前方法中存在的問題,為化工業(yè)的發(fā)展提供了保障。