基于改進DenseNet網絡的轉爐吹煉時期識別

李愛蓮，李晨箏，王懿喆，崔桂梅，解韶峰

(內蒙古科技大學 a. 信息工程學院，b. 基建處，內蒙古 包頭 014010)

自國家“十四五”規(guī)劃以來，我國鋼鐵行業(yè)逐漸進入由高產量發(fā)展向高質量發(fā)展轉型的階段。當前我國鋼材產量的80%來源于轉爐煉鋼，其中氧氣頂吹轉爐被廣泛使用。在轉爐煉鋼過程中，最重要的環(huán)節(jié)之一是吹氧，即通過頂部的氧槍向爐內吹入高純度的氧氣，以此來提升爐內溫度，減少雜質元素，降低碳含量，進而得到合格鋼水。根據(jù)吹氧過程爐內元素的變化，可將吹氧過程分為前、中、后3個時期，當前時刻的吹氧時期是判斷此時轉爐運行是否正常、能否得到合格鋼水的重要依據(jù)。目前對轉爐吹煉時期的研究多集中于依靠人工選擇火焰特征后通過淺層網絡進行分類。隨著信息技術的發(fā)展，將深度網絡應用于工業(yè)領域是一種趨勢。

在多種多樣的深度學習模型中最早被提出的是LeNet網絡[1]，其中含有2個卷積層、2個池化層和2個完全連接層。隨后有學者提出一種經典深度網絡體系結構AlexNet網絡[2]，派生出各種學習效果出色的改進深度模型，如Visual Geometry Group(VGG)網絡[3]、GoogleNet網絡[4]等。其中GoogleNet網絡建立的思想是，隨著卷積運算符的增多和層次結構的深入，可以獲得更好的網絡結構，但在增加網絡深度后，存在缺失梯度、逐漸停止學習的缺點。后來提出的ResNet網絡[5]在GoogleNet網絡的基礎上加入輸入、輸出的跨連接，用恒等映射的方法解決了深度模型逐漸停止學習的問題，但缺失梯度的問題仍未解決。

在火焰識別方面，基于機器學習的火焰檢測模型是當前神經網絡中研究較多的方向。Gubbi等[6]為防止火焰檢測受到干擾，提取多種火焰的特征，使用由多個屬性組成的特征向量構造最佳超平面，輸入支持向量機(SVM)進行分類，從特征空間獲取效果最好的模型，提高檢測準確率。由于現(xiàn)有的火焰圖像學習模型通用性很差，對噪聲和其他干擾敏感，并且無法有效地檢測大規(guī)模火焰圖像數(shù)據(jù)，因此人們提出了卷積神經網絡(CNN)為代表的深度學習模型。與諸如SVM、決策樹和整體學習等淺層學習模型的檢測算法相比，CNN深化了網絡結構，將圖像特征的提取作為重點，在大量數(shù)據(jù)的基礎上提取更多的局部特征，表現(xiàn)出更豐富的圖像信息要素。鐘玲等[7]首次將深度學習模型應用于火焰檢測，設計更深層的網絡結構，并用Dropout技術提高了模型的泛化能力，在檢測精度上超過了傳統(tǒng)的淺層學習模型。楊其睿[8]將DenseNet深度網絡用于檢測是否發(fā)生火災，不僅精簡了網絡結構，而且提升了檢測速度。

在轉爐煉鋼領域中，李鵬舉等[9]、代照坤[10]先后對爐口火焰的邊界、灰度、顏色等特征進行提取，并通過淺層網絡分類，與人工判斷相比，提取精度有了一定改善，但存在參數(shù)較多、計算量大、模型運算速度慢等缺點，不具備實時性。趙多禎[11]采用ResNet網絡對爐口火焰進行分類，顯著提升了識別速度，但是對2個時期間的過渡階段的識別效果較差，在小差距類別分類中效果不理想。

本文中提出了一種基于深度學習的改進DenseNet網絡轉爐吹煉時期識別算法(簡稱本文算法)。該算法在提取融合圖像淺層特征與深層特征的基礎上，通過優(yōu)化稠密塊層數(shù)、保留特征的傳播效率與重復調用能力并減少網絡計算量來提高模型的運算速度，以滿足實時性要求。針對小差異類別分類效果差的問題，在分類層引入Center損失函數(shù)以提高模型在復雜的工業(yè)背景中火焰特征學習能力和類間分類精度，增強時期變化過渡階段的識別效果。

1 吹煉過程中火焰狀態(tài)變化

在吹煉過程中，轉爐熔池內攪拌激烈，反應速度快。通常氧槍吹煉時間僅為十幾分鐘，在此期間將發(fā)生脫碳、脫磷、脫硫、去除夾雜物、硅與錳的氧化等多種化學反應。吹煉時在轉爐爐口可以觀察到雜質氧化產生的火焰，由于不同階段發(fā)生氧化的雜質不同，因此反應過程中火焰顏色也會隨之變化，并且顏色轉換會形成復雜的紋理?；谌鄢刂性氐淖兓?guī)律，吹煉過程可分為前期、中期、后期3個階段，在轉爐爐口觀察到的標志性火焰圖像如圖1所示。具體特征分述如下：

1)吹煉前期。此時期主要是硅、錳氧化階段，吹氧開始的3～4 min時，鋼水溫度相對較低，一般在1 500 ℃以下，碳氧化量較少，火焰較短，顏色黃、紅相間且伴有大量煙塵。

(a)吹煉前期

2)吹煉中期。此時期主要是碳氧化階段。鋼水溫度快速升高，一般在1 600 ℃以上。碳開始劇烈氧化，生成一氧化碳與氧氣燃燒，火焰面積增大，顏色黃、白相間。

3)吹煉后期。此時期爐內反應趨于平穩(wěn)，鋼水中碳含量降低，火焰長度變短且狀態(tài)穩(wěn)定，呈白熾色[12]。

2 DenseNet深度網絡模型

在傳統(tǒng)的深度網絡中(如ResNet網絡)，每一層只接受前一層作為其輸入，如圖2所示。相比于ResNet網絡，DenseNet網絡提出一個更基本、更密集的連接機制，即所有的層次結構相互連接，即每一層可同時接收全部前層作為附加輸入，如圖3所示。對比圖2、3可以發(fā)現(xiàn)，ResNet網絡是以短路連接的方式將每層與前面某層相連，再以元素級相加，而DenseNet網絡采用的是稠密連接方式，每一層都連接到通道維度中的所有先前層，并作為下一層的輸入?；谶@種連接方式的DenseNet網絡將所有層的特征圖連接在一起，這是其與傳統(tǒng)網絡的最大不同之處。

圖2 ResNet網絡連接機制

圖3 DenseNet網絡連接機制

層的輸出在傳統(tǒng)的深度網絡中可以表示為

xl=Hl(xl-1),

(1)

式中：xl為第l層的輸出；Hl為第l層的計算函數(shù)；xl-1為第l-1層的輸出。

Identity是ResNet網絡新增加的函數(shù)，作為上一層的輸入，表示為

xl=Hl([x0,x1,…,xl-1]),

(2)

在DenseNet網絡中，會連接前面所有層作為輸入，表示為

xl=Hl([x0,x1,…,xl-1]),

(3)

式中x0,x1,…,xl-1為第0，1，…，l-1層的輸出。

DenseNet-121是一種較經典的網絡結構，在該網絡中共有4個稠密結構，分別有6、12、24、16個特征提取層。

2.1 改進的DenseNet網絡

稠密連接的DenseNet網絡支持特征的重復調用，增強了傳播效率，不易出現(xiàn)當數(shù)據(jù)量很大時產生過擬合的問題；但是，由于特征復用，在減少了模型參數(shù)量的同時計算量增加，因此模型運算速度降低。實驗測試時，對原有網絡進行裁剪，發(fā)現(xiàn)運算結果沒有受到影響，說明DenseNet網絡提取的參數(shù)存在冗余。在此基礎上裁剪稠密塊層數(shù)，雖然減小了網絡深度，但在保證模型精度的同時加快了計算速度，滿足實時性的要求。

改進DenseNet網絡結構如圖4所示。該網絡包括7×7卷積與2×2最大池化構成的2層卷積層基層，6層特征提取層構成第一稠密塊，8層特征提取層構成第二、三、四稠密塊、過渡層、全連接層。稠密塊內每層由1×1與3×3卷積組成；稠密塊間用過渡層連接；過渡層由1×1卷積與2×2平均池化組成。最后經由分類器輸出識別。

Conv—卷積層；Max Pool—最大池化層；a—稠密塊；b—過渡層；Global Avg Pool—全連接層；Softmax Center—Softmax損失與Center損失。圖4 改進DenseNet網絡結構

2.2 Softmax損失函數(shù)與Center損失函數(shù)

由于DenseNet網絡的單位結構中的1×1卷積依賴于坐標位置的線性映射變換，而沒有完全考慮像素與周圍像素之間的空間關系，因此大多數(shù)網絡都添加了非線性激活響應函數(shù)。常用的函數(shù)有Softmax、Relu、Sigmoid等，其中Softmax是DenseNet網絡常用的分類器，損失函數(shù)Ls(x)公式為

(4)

式中：x為特征值；i、j分別為不同類別的序號。

由于轉爐吹煉各時期間分類模糊，因此本文中引入Center函數(shù)與Softmax函數(shù)相結合。與原函數(shù)相比，引入Center函數(shù)可使特征類間距離變大，類內距離減小，能有效提高最終分類準確性。Center函數(shù)Lc(x)公式為

(5)

式中cxj表示第xj個類別的特征中心。

結合式(4)，在使用結合交叉墑與Softmax損失函數(shù)的模型中加入Center損失函數(shù)后，用參數(shù)λ控制二者的比例，其損失函數(shù)Ls-c(x)為

(6)

仿真實驗結果表明，Center損失函數(shù)增強了特征的區(qū)分度，在空間分布中，不同類間特征點間的距離變大，同類內距離減小，提高了類內凝聚力，即增強了聚類效果，可用于難分類、差異小的火焰圖像數(shù)據(jù)，提高轉爐吹煉時期分類的準確度。

3 實驗仿真

3.1 數(shù)據(jù)集

轉爐爐口火焰圖像來源于某鋼廠3座轉爐連續(xù)工作一個月的吹煉過程，對應吹煉時期的所有情況，包括吹煉前期、中期、后期3個階段，經過與現(xiàn)場專家交流后確定各個類別圖像的選取。經過初期篩選后，最終選定數(shù)據(jù)集圖像數(shù)量為1 200張，每個時期各400張，其中每種時期隨機選取300張圖像作為訓練數(shù)據(jù)集，100張圖像作為測試數(shù)據(jù)集。由于深度學習網絡的準確性是基于大量數(shù)據(jù)進行建模實現(xiàn)的，因此對數(shù)據(jù)集進行水平翻轉、垂直翻轉等數(shù)據(jù)擴充操作。

3.2 實驗配置

軟硬件平臺配置如下：隨機存取存儲器(RAM)內存為8.00 GB，圖形處理器(GPU)為NVIDIA GeForce GTX 1660Ti，中央處理器(CPU)為Intel(R)Core(TM)i7-9750，額定主頻、實際主頻分別為2.60、2.59 GHz，操作系統(tǒng)為Windows 10，運行平臺為Python 3.8。利用上述訓練數(shù)據(jù)集對模型進行訓練，選定模型后使用測試數(shù)據(jù)集進行驗證。為了驗證本文中提出的改進算法的有效性，分別采用原生ResNet網絡和DenseNet網絡作為本文算法的對比算法。

本文中提出的網絡參數(shù)設置如下：訓練輪次(epoch)為100，初始學習率設置為0.001，動量參數(shù)設置為0.8，最高迭代次數(shù)設置為600次。改進的Center損失函數(shù)中λ為0.1時，網絡的類間分類能力最佳。對比運行的原生ResNet網絡和DenseNet網絡，采用Github項目源碼進行訓練測試。

3.3 實驗結果及其分析

模型訓練時，反映模型精度最常見的評價指標是正確率，用分類正確的樣本數(shù)除以所有的樣本數(shù)來表示，通常來說，正確率越高，分類器效果越好。平均識別時間為測試集內數(shù)據(jù)全部完成分類后每張圖像識別的平均時間。

在深度學習中，1個訓練輪次相當于使用訓練集中的全部樣本訓練一次。在100個訓練輪次訓練出的模型中，每個訓練輪次代表使用訓練集完整地進行模型訓練，通常模型正確率隨著訓練次數(shù)的增加逐漸增大。改進DenseNet網絡模型對訓練集的分類正確率如圖5所示。可以看出，當訓練輪次超過80后，正確率趨于平穩(wěn)，為了防止訓練輪次過多時數(shù)據(jù)過擬合、泛化能力差，選取第90次模型。這只是理論上的模型篩選，如果要驗證模型的實際效果，還需要使用測試集進行實驗。而ResNet網絡和DenseNet網絡選取Github項目源碼推薦參數(shù)。

圖5 改進DenseNet網絡模型對訓練集的分類正確率

不同算法對不同吹煉時期分類測試的識別精度和時間見表1。使用改進DenseNet網絡模型進行吹煉時期識別的結果正確率比其他2種方法的更高，吹煉各時期分類效果好。DenseNet網絡因特征復用而使得運算速度慢于ResNet網絡，經精簡后分類識別速度有了較大提升。對比發(fā)現(xiàn)，改進DenseNet網絡算法對吹煉前期、后期的火焰圖像的識別精度較吹煉中期的提高幅度更大，主要原因在進行分類時引入的Center損失函數(shù)有良好的聚類效果，在過渡階段的識別更有優(yōu)勢。

表1 3種算法對不同吹煉時期分類測試的識別精度和時間

4 結語

本文中針對淺層學習網絡對轉爐吹煉時期進行分類過于依賴人工對火焰特征進行選擇，而且工作現(xiàn)場環(huán)境復雜多變導致分類效果不夠理想的問題，本文中提出了一種基于深度學習的改進DenseNet網絡轉爐吹煉時期識別算法。該算法在減少特征損失的前提下，對稠密塊中的層數(shù)進行裁剪，在減少模型參數(shù)量的同時提高了模型運算速度，滿足實時性要求。通過在分類層引入Center損失函數(shù)，增強了模型的聚類能力，提高了吹煉時期變化過渡階段的分類精度。實驗結果表明，本文中提出的改進DenseNet網絡轉爐吹煉時期識別算法能夠有效識別轉爐煉鋼吹煉時期，在易受到外界復雜條件干擾的環(huán)境下仍可使用，適用于煉鋼廠生產現(xiàn)場，為煉鋼生產線的自動控制提供參考數(shù)據(jù)。