基于圖像處理的鋼包鋼液裸露面積自動識別和計算

劉永蕾，何 飛，郭世銳，劉 港，戴兆漢

(安徽工業(yè)大學(xué)冶金工程學(xué)院，安徽馬鞍山 243032)

智能制造是實現(xiàn)中國鋼鐵工業(yè)綠色低碳轉(zhuǎn)型和高質(zhì)量發(fā)展的重要抓手[1-2]。機器視覺是智能制造的一項核心技術(shù)，具有安全可靠、檢測精度高、可在復(fù)雜生產(chǎn)環(huán)境中長時間運行等特點，已用于鋼鐵制造流程的各環(huán)節(jié)。在高爐工序，王玉濤等[3]提出一種基于機器視覺技術(shù)的高爐鐵口深度檢測方法，基于鐵口打開的圖像顏色變化特征為判據(jù),實現(xiàn)了鐵口深度的自動測量；在鐵水預(yù)處理工序，王勇等[4]開發(fā)出一種基于機器視覺的一鍵脫硫模型，實現(xiàn)了對扒渣過程的智能判定；在轉(zhuǎn)爐工序，江俊等[5]提出基于水平集的鋼水圖像分割方法，實現(xiàn)了鋼渣占比率的檢測；在連鑄工序，Wang 等[6]提出一種基于機器視覺的連鑄漏鋼預(yù)報方法，根據(jù)結(jié)晶器銅板溫度區(qū)分真、假粘結(jié)漏鋼，為連鑄過程中的異常監(jiān)測提供了一種新方法；李維剛等[7]采用深度學(xué)習(xí)的方法設(shè)計一種輕量化殘差網(wǎng)絡(luò)，實現(xiàn)了對熱軋帶鋼表面的缺陷識別。

鋼包精煉過程中，底吹氬氣攪拌鋼液具有均勻鋼水溫度和成分、去氣去夾雜等冶金功能。但是如果氬氣流量過大會吹穿液面致使鋼液裸露氧化，過小起不到攪拌的冶金功能。目前，現(xiàn)場是基于人工肉眼觀察鋼包液面裸露情況來判斷鋼包底吹氬氣流量的大小，控制穩(wěn)定性較差。借鑒機器視覺的優(yōu)勢，采用工業(yè)相機和圖像處理技術(shù)檢測鋼包液面裸露情況，實現(xiàn)對鋼包智能底吹氬氣流量控制是鋼包精煉過程智能化發(fā)展的重要部分。數(shù)字圖像處理技術(shù)是通過計算機對圖像進行去噪、增強、復(fù)原、分割、提取特征等處理的方法，已廣泛用于工業(yè)、農(nóng)業(yè)和醫(yī)學(xué)等領(lǐng)域[8-12]，但較少用于檢測鋼包精煉過程。為此，提出采用數(shù)字圖像處理技術(shù)自動識別和計算鋼包液面裸露面積的方法，以期實現(xiàn)底吹氬氣流量的閉環(huán)自動控制，為實現(xiàn)智慧精煉奠定基礎(chǔ)。

1 鋼液裸露面積的自動識別和計算

OpenCV 是開源的跨平臺計算機視覺庫，且是基于Intel 處理器指令集優(yōu)化代碼，具有出色的矩陣計算能力，能夠大幅減少開發(fā)時間，提高程序的開發(fā)質(zhì)量和運行的穩(wěn)定性[13]。故文中采用OpenCV 體系結(jié)構(gòu)下的數(shù)字圖像處理技術(shù)實現(xiàn)對鋼包液面裸露面積的自動識別與計算。讀取原始圖像后，對原始圖像進行灰度化處理、雙邊濾波、自適應(yīng)直方圖均衡化、閾值處理得到鋼液與非鋼液部分的二值化圖像，再對二值化圖像進行輪廓提取與面積計算。其基本流程如圖1。

圖1 鋼包鋼液裸露面積的自動識別與計算流程Fig.1 Automatic identification and calculation flow of exposed area of molten steel in the ladle

1.1 灰度化處理

將彩色圖像轉(zhuǎn)化為灰度圖像被稱為圖像的灰度化處理，不僅可降低矩陣維度、加快計算速率，還可保留圖像的亮度分布特征和邊緣信息。文中采用加權(quán)平均法對彩色圖像進行灰度化處理，圖2 為鋼包的原始圖像及對應(yīng)的灰度圖像。

圖2 原圖像和對應(yīng)的灰色圖像Fig.2 Original image and corresponding gray image

1.2 雙邊濾波

雙邊濾波是一種通過空間分布的高斯方差對圖像進行約束的濾波器，其不僅可完成對圖像的濾波處理，還可有效保護圖像的邊緣信息[14]。雙邊濾波處理后圖像的每個像素灰度值被鄰域內(nèi)像素灰度值加權(quán)平均所替代，而鄰域像素的加權(quán)系數(shù)等于空間域濾波核函數(shù)與灰度濾波核函數(shù)的乘積?？臻g域濾波核函數(shù)d(x,y,k,l)為

灰度濾波核函數(shù)r(x,y,k,l)為

加權(quán)系數(shù)w(x,y,k,l)為d(x,y,k,l)與r(x,y,k,l)的乘積：

雙邊濾波具體的加權(quán)公式為

其中：f(x,y)為圖像中(x,y)處的像素值；g(x,y)為圖像經(jīng)濾波處理后點(x,y)的像素值；(k,l)為像素點(x,y)鄰域內(nèi)的像素點；σd和σr分別為空間域和灰度域的標準差。

當(dāng)灰度變化平緩時，灰度濾波系數(shù)接近1，雙邊濾波中的空間域高斯低通濾波器可實現(xiàn)對圖像的平滑處理；當(dāng)遇到邊緣細節(jié)眾多、灰度變化驟變時，亮度相似性的灰度濾波器可實現(xiàn)對圖像邊緣細節(jié)的保留。

1.3 自適應(yīng)直方圖均衡化

直方圖均衡化是將一副圖像的灰度值直方圖分布變成近似均勻分布，形成更大的對比和反差，增強圖像的對比度。圖像的灰度直方圖分布越均勻，圖像的信息熵越大，圖像包含的信息量就越多，圖像就越清晰[15]。

1.4 圖像二值化

圖像二值化處理是一種簡單有效的圖像分割方法。原理是確定一個閾值，遍歷圖像中每一個像素值，將圖像中像素值大于等于閾值和小于閾值的部分分別區(qū)分成前景和背景。二值化處理的表達式為

式中：h(x,y)為經(jīng)過二值化處理后點(x,y)的像素值；T為二值化處理的閾值。

1.5 識別與計算

輪廓提取為連接邊緣一系列的像素點，主要思想是掏空內(nèi)部點。二值化后的圖像前景為白色、背景為黑色，若圖像中白色點及其8 個鄰域點均為白色，則稱為內(nèi)部點，并將設(shè)置為黑色；否則保留該像素點，稱為邊界點，邊界點連接在一起就是目標的輪廓。輪廓提取算法不僅可提取出二值化處理后圖像的輪廓，還可區(qū)分內(nèi)外輪廓、記錄輪廓之間的拓撲結(jié)構(gòu)(父子關(guān)系)、區(qū)分最外層輪廓等；將提取的每個輪廓以點向量的形式存儲在內(nèi)存，由輪廓繪制算法依次提取存儲在內(nèi)存序列的輪廓，繪制輪廓并計算出每個輪廓的面積[16]。

2 仿真實驗結(jié)果與分析

為驗證采用本文方法自動識別和計算鋼包鋼液裸露面積的準確性，基于不同的圖像去噪、圖像增強及閾值處理方法，設(shè)計16種圖像處理方案進行仿真實驗，實驗方案如表1。方案16為本文提出的圖像處理方法。實驗環(huán)境在InterCoreTMi7-10710U CPU，Python 3.7 和OpenCV4.4.0 版本下實現(xiàn)；實驗數(shù)據(jù)為現(xiàn)場采集的鋼包圖像，如圖2(a)，分辨率為3 240×4 320。16種實驗方案的圖像處理效果如圖3。

表1 圖像處理實驗方案Tab.1 Experimental scheme of image processing

從圖3 可知：方案1，3，5，7，9，11，13，15 等8 種方案不能識別出鋼包中裸露鋼液面積，8 種方案均采用局部閾值處理的方式進行圖像二值化處理，表明局部閾值處理不適用于文中采集的鋼包圖像；方案2，4，6，8，10，12，14，16 等8 種方案能基本識別鋼包中裸露的鋼液。其中：4 種圖像去噪方法能識別出鋼包中裸露的鋼液；方案2 和4、方案6 和8、方案10 和12、方案14 和16 均是基于同種圖像去噪方法，但圖像增強方法不同。表明直方圖均衡化及自適應(yīng)直方圖均衡化2種圖像增強方法適用于本文圖像的處理。

圖3 16種方案的圖像處理效果Fig.3 Image processing effects of 16 schemes

表2 為16 種圖像處理方案識別和計算鋼包鋼液裸露面積的結(jié)果，其中—表示無法識別。由表2 可知：16種方案的運行時間接近，可忽略其中的差距；能夠識別的8種方案中，識別的輪廓個數(shù)在15～40不等、面積在3 600～5 100像素之間；識別效果優(yōu)秀的為方案12和方案16，這2種方案能夠清楚識別裸露的鋼液，將繪制鋼包中裸露鋼液的輪廓并計算裸露鋼液的面積。

表2 16種圖像處理方案識別和計算結(jié)果Tab.2 Recognition and calculation results of 16 image processing schemes

綜上可知：局部閾值處理方法不適于鋼包圖像處理；全局閾值處理效果較好，可基本準確識別出鋼包中裸露的鋼液；高斯濾波、均值濾波、中值濾波、雙邊濾波4 種圖像去噪方法和直方圖均衡化、自適應(yīng)直方圖均衡化2 種圖像增強方法均可不同程度地識別鋼包中裸露的鋼液。為進一步比較上述4 種圖像去噪方法和2 種圖像增強方法的處理效果，采用均方差(mean square error, MSE)、峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似性(structural similarity,SSIM)作為評估指標，另采用邊緣保持指數(shù)(edge preservation index,EPI)評價圖像去噪方法的邊緣保護能力，采用信息熵評價圖像增強方法保留圖像信息量的能力。

2.1 圖像去噪

對彩色圖像處理后的灰色圖像(圖2(b))分別添加均值為0、方差為1的高斯噪聲和噪聲比例為0.5的椒鹽噪聲，如圖4。圖5，6為4種濾波方法對添加高斯噪聲和椒鹽噪聲灰色圖像的去噪效果。

圖4 添加高斯噪聲和椒鹽噪聲的灰色圖像Fig.4 Gray images with Gaussian noise and salt and pepper noise

圖5 去除高斯噪聲的效果Fig.5 Effect of removing Gaussian noise

圖6 去除椒鹽噪聲的效果Fig.6 Effect of removing salt and pepper noise

表3，4 為4 種濾波方法處理上述2 種灰色圖像的MSE，PSNR，SSIM，EPI。從表3，4 可看出：無論是添加高斯噪聲還是添加椒鹽噪聲的灰色圖像，與其他3 種濾波方法相比，雙邊濾波的處理效果最好，其EPI 達0.98，SSIM達0.99，可較好地保護圖像邊緣和結(jié)構(gòu)信息。

表3 去除高斯噪聲的評價指標Tab.3 Evaluation index of removing Gaussian noise

表4 去除椒鹽噪聲的評價指標Tab.4 Evaluation index of remove salt and peppernoise

2.2 圖像增強

直方圖均衡化和自適應(yīng)直方圖均衡化處理鋼包圖像的效果如圖7，其評估指標如表5。

圖7 圖像增強的處理效果及其直方圖Fig.7 Image enhancement effect and its istogram

從圖7 可看出：對于自適應(yīng)直方圖均衡化處理的圖像，鋼渣部分暗、鋼液部分亮，鋼渣和鋼液的對比度明顯增強；而直方圖均衡化處理的圖像整體明亮，圖像反而變得模糊，損失了圖像的細節(jié)信息；與比直方圖均衡化相比，自適應(yīng)直方圖均衡化處理圖像的分布更均勻。從表5 可看出：與直方圖均衡化相比，自適應(yīng)直方圖均衡化處理圖像的信息熵，PSNR，SSIM均更大，表明自適應(yīng)直方圖均衡化可保留更多的圖像信息，可更好地融合圖像質(zhì)量，處理后的圖像相似度更高、失真程度更低，融合圖像和參考圖像之間的差異更小。

表5 圖像對比度增強的評價指標Tab.5 Evaluation index of image contrast enhancement

3 結(jié)論

提出一種采用圖像處理技術(shù)計算鋼包鋼液裸露面積的方法，通過仿真實驗比較分析不同圖像處理方案識別裸露鋼液面積的效果，結(jié)果表明：與高斯、均值及中值濾波方法相比，雙邊濾波的邊緣保持指數(shù)、峰值信噪比均最大，且邊緣保持指數(shù)幾乎為上述3種濾波方法的3倍；與直方圖均衡化相比，自適應(yīng)直方圖均衡化處理的圖像信息熵更大，包含更多的圖像信息；以雙邊濾波、自適應(yīng)直方圖均衡化和全局閾值處理的圖像處理方法能夠自動識別和計算出鋼包鋼液裸露面積，且具有速度快、成本低、安全性和準確率高等優(yōu)點。