基于超像素混合合并方法的銅電解槽紅外圖像功能區(qū)域分割

李欣，李勇剛，吳仁超，朱紅求，周燦

(中南大學 自動化學院，湖南 長沙，410083)

銅電解精煉主要通過電化學反應(yīng)完成粗銅精煉提純。電解槽是電解反應(yīng)發(fā)生的主要設(shè)備，電解槽內(nèi)部反應(yīng)狀態(tài)難以直接監(jiān)測，但槽面溫度可反映電解槽工作狀態(tài)[1]。紅外熱成像法由于具有非接觸、大面積測溫的優(yōu)勢而被用于監(jiān)測槽面溫度分布[2-3]。紅外圖像中電解槽主要分為3 類功能區(qū)域即蓋布區(qū)、母排區(qū)、電解液區(qū)(進、出液區(qū))，不同工況下各功能區(qū)呈現(xiàn)不同的溫度特征。例如，極間電流分布失衡，母排區(qū)溫度分布不均勻；電極間發(fā)生故障，蓋布區(qū)呈現(xiàn)局部高溫或低溫；電解液質(zhì)量下降，進、出液區(qū)域溫度差異明顯，并進一步導致蓋布區(qū)溫度發(fā)生變化。因此，將3類功能區(qū)域從紅外圖像中完整分割并標記出來對分析槽況、優(yōu)化電解效率意義重大。然而，受環(huán)境因素干擾與熱傳導影響，各功能區(qū)灰度分布復雜，區(qū)域間邊界模糊，為分割帶來挑戰(zhàn)。

目前，常用分割方法有閾值分割[4-5]、區(qū)域生長法[6-7]、活動輪廓[8-9]、神經(jīng)網(wǎng)絡(luò)[10-11]等。但由于電解過程涉及電化學、傳熱和流場，屬于典型的多場耦合復雜過程，導致溫度分布及熱傳導復雜，槽面灰度分布不均勻情況嚴重，給閾值選擇帶來困難。蓋布與電極接觸，電極短路后對應(yīng)蓋布區(qū)灰度升高，導致蓋布與母排出現(xiàn)圖像區(qū)域連通，區(qū)域邊界不連續(xù)，區(qū)域分割方法和活動輪廓方法在區(qū)域間邊緣處表現(xiàn)欠佳。神經(jīng)網(wǎng)絡(luò)方法良好的分割效果則依賴足夠數(shù)量的已標注樣本圖片，這在實際工程問題中是一項繁瑣、耗時的工作。區(qū)域分割還可通過像素分類方法實現(xiàn)，這需要提取判別性特征，而與可見光圖像相比，紅外圖像具有分辨率低，缺乏顏色、邊緣等細節(jié)特征，熱傳導的復雜性使得同類區(qū)域的特征差異增大，不同類區(qū)域間的特征差異減小，區(qū)域更加難以區(qū)分。

不同尺度空間的局部區(qū)域包含顯著性不同的圖像特征[12]，更有利于準確分割。方形[13]或高斯核函數(shù)[14]常用于提取不同尺度空間上的局部特征，用于分割面積小、具有特定灰度分布模式的小目標。對于大面積、灰度分布復雜的電解槽功能區(qū)域而言，超像素過分割法為不同尺度空間上的所有局部區(qū)域特征獲取提供了基礎(chǔ)[15-16]。過分割后一般通過合并算法或分類算法[17-18]完成最終分割，但合并算法中基于特征相似性的合并停止條件容易導致不同區(qū)域的超像素產(chǎn)生過合并，而分類算法中單一尺度區(qū)域的特征提取會使屬于同一區(qū)域的超像素產(chǎn)生欠合并。本文針對銅電解槽紅外圖像，提出超像素混合合并方法，分兩步在不同的尺度空間上提取不同超像素特征進行合并與分類。第一步，在小尺度空間上，針對合并停止條件，提出基于空間獨立性約束的合并方法，引入莫蘭指數(shù)[19]閾值并給出閾值選取辦法，可有效避免過合并；第二步，在大尺度空間上，提取超像素紋理特征進行多類別SⅤM 訓練，完成功能區(qū)域分類。最后，對本文所提方法進行實驗驗證。

1 實驗方法

銅電解現(xiàn)場與電解槽槽面紅外圖像如圖1所示?；诔袼鼗旌虾喜⒎椒ǖ碾娊獠酃δ軈^(qū)域分割流程如圖2所示。

圖1 銅電解現(xiàn)場與電解槽槽面紅外圖像Fig.1 Copper electrolysis site and infrared image of cell surfaces

圖2 分割流程Fig.2 Flow chart of segmentation

1)預處理提取單個完整槽；

2)超像素預分割，即利用簡單線性迭代聚類(simple linear iterative clustering，SLIC)[20]算法對單槽圖像過分割得到一系列超像素；

3)超像素混合合并：在合并階段，利用小尺度特征，根據(jù)空間獨立性判定條件迭代合并超像素；在分類階段，提取大尺度超像素紋理特征訓練SⅤM多類別分類器，識別電解槽3類功能區(qū)域。

2 預處理

2.1 單槽圖像提取

所有電解槽形狀、尺寸相同，每個電解槽具有獨立編號。為了將槽號與圖像對應(yīng)，需提取單槽圖像。圖像中，橫向的槽間母排區(qū)灰度明顯比蓋布區(qū)的高；兩側(cè)縱向的電解液區(qū)(進、出液區(qū))灰度比蓋布區(qū)的高。利用像素累積峰值法對圖像進行簡單分割：

其中：pij為像素灰度值；紅外圖像分辨率為M×N(M和N分別為圖像的縱向和橫向像素數(shù))。通過確定累積曲線峰值坐標位置，定位母排區(qū)和電解液區(qū)位置(圖3)也就是圖像分割位置。

圖3 單槽圖像提取Fig.3 Individual cells image extraction

2.2 超像素預分割

保持邊界完整性是確保區(qū)域準確分割的基礎(chǔ)。電極隨機短路，蓋布區(qū)灰度值相應(yīng)增大并接近母排區(qū)的灰度值，導致兩區(qū)域之間的部分邊界模糊甚至消失。簡單線性迭代聚類能夠產(chǎn)生分布緊湊且對邊界貼合度較好的超像素。該算法流程如下：

1)將圖像由RGB 彩色空間轉(zhuǎn)化為CIE Lab 顏色空間。提取每個像素點的顏色特征(l,a,b)和空間位置特征(x,y)組成5 維特征向量(l,a,b,x,y)；構(gòu)造距離函數(shù)，在局部范圍內(nèi)根據(jù)距離函數(shù)對像素點進行k-均值聚類。紅外圖像顏色特征為一維灰度值，因此，像素特征為3 維向量(g,x,y)，其中g(shù)為灰度值。

2)初始化聚類中心，確定聚類個數(shù)即超像素個數(shù)K；每間隔S像素對圖像均勻采樣，形成初始超像素。

確定每個超像素的聚類中心，在中心2S×2S范圍內(nèi)，計算每個像素與范圍內(nèi)所有聚類中心的相似度，根據(jù)相似度對像素分類，從而調(diào)整超像素。

K的選擇影響超分割后邊緣的準確度[21]。所有槽面尺寸相同，通過實驗確定K(圖4)。由于模糊邊界主要位于蓋布區(qū)與母排區(qū)之間，手動標注蓋布區(qū)作為參照。分割后與標注區(qū)相交但不完全屬于標注區(qū)的超像素被定義為欠分割超像素(見圖4)，欠分割超像素所包含的邊界像素數(shù)占標注邊界像素數(shù)的比例為邊界錯誤率。統(tǒng)計不同K取值情況下的邊界錯誤率(見圖4)，本文取K=600，因為此時邊界錯誤率最小并開始保持穩(wěn)定。槽面超分割效果如圖5所示，超像素邊界與區(qū)域邊界黏合度高，為方便觀察，相鄰超像素間的共邊分開表示。

圖4 K選擇過程Fig.4 Determination processes of K

圖5 K=600時的超像素分割效果Fig.5 Super pixel segmentation when K=600

3 超像素混合合并方法

根據(jù)2.2節(jié)可知，槽面圖像被過分割為K=600個超像素，超像素集合表示為RK={R1,R2,…,RK}。槽面圖像中包含3 類功能區(qū)，完整分割各功能區(qū)域，需識別、合并屬于同類區(qū)域的超像素。超像素混合合并方法利用不同空間尺度上的超像素特征，結(jié)合區(qū)域合并和分類完成最終分割。

采用區(qū)域鄰接圖(RAG)[17]描述超像素的拓撲結(jié)構(gòu)，圖中每個頂點代表一個超像素，連接2個頂點的邊的權(quán)重w(vi,vj)表示相鄰2 個超像素Ri和Rj之間的相似度。

傳統(tǒng)的區(qū)域合并是根據(jù)RAG 中鄰接頂點間的屬性相似度迭代合并最相似的2個鄰接超像素，直至所有鄰接超像素的相似度滿足閾值條件[17]。對高分辨率圖像而言，相似度計算時超像素屬性可選擇多維特征[22-23]，而紅外圖像分辨率低，過分割后的超像素小(約27個像素)，主要捕獲各局部區(qū)域的灰度特征，如圖6所示。因此，提取超像素的平均灰度值μ={μ1,μ2,…,μK}和方差特征值σ={σ1,σ2,…,σK}構(gòu)建鄰接節(jié)點相似度函數(shù)fdis：

圖6 3類功能區(qū)的超像素塊Fig.6 Super pixel examples of three functional areas

其中：F為相似度閾值；I為超像素的鄰接矩陣，默認不鄰接的超像素完全不相似，鄰接矩陣中對應(yīng)元素值為無窮大。fdis越小，具有鄰接關(guān)系的超像素Ri和Rj越有可能屬于同一目標區(qū)域，滿足式(6)條件，則合并停止。

迭代合并涉及到合并停止問題，即超像素合并到什么程度合適。由式(6)可知，迭代停止判斷條件只考慮了超像素間屬性的相似性，而沒有考慮超像素屬性的空間依賴性，如果閾值設(shè)置過大，導致不屬于同一區(qū)域的、具有鄰接關(guān)系的超像素過合；閾值過小，不能實現(xiàn)有效合并。

3.1 空間獨立性約束下小尺度超像素合并

3.1.1 空間獨立性約束合并

超像素是二維平面上分布在不同空間位置的圖像塊，原本屬于不同類別的區(qū)域。而各類區(qū)域因為具有不同的結(jié)構(gòu)、發(fā)熱機制和傳熱材質(zhì)，相互之間灰度特性具有獨立性與空間差異性。例如，母排區(qū)熱量主要來自電阻熱，溫度分布受電極排布與極間電流影響，灰度分布呈現(xiàn)周期性；進/出液區(qū)熱量來自高溫電解液，灰度分布較均勻；蓋布區(qū)熱量主要來自蓋布、電極、熱蒸汽之間的熱傳導和熱對流，溫度相比于其他區(qū)域較低，因此灰度較小，灰度分布具有隨機性。

超像素分割增加了區(qū)域數(shù)量，減小了區(qū)域面積，同時也降低了這些區(qū)域之間的空間差異性，增大了超像素間灰度特性在空間位置上的依賴性，即超像素與其他位置超像素灰度特性相關(guān)?？臻g自相關(guān)(spatial autocorrelation)[24]可用來描述二維平面上不同對象的觀測數(shù)據(jù)在空間位置上的相關(guān)性。莫蘭指數(shù)是度量空間自相關(guān)性的常用指標，被應(yīng)用于各個領(lǐng)域[25-27]，莫蘭指數(shù)Mml的計算式如下：

其中：Xi與Xj分別為第i和j個超像素的平均灰度測量值；為所有超像素的平均灰度值?？臻g權(quán)重矩陣W用于描述各測量對象之間的空間接近程度或鄰接關(guān)系[28]，本文W為零一矩陣：當wi,j=1時，第i和j個超像素鄰接；當wi,j=0 時，超像素不鄰接。-1 ≤莫蘭指數(shù)Mml≤1。當Mml趨于1 時，對象平均灰度測量值之間空間相關(guān)性明顯；當Mml趨于-1 時，對象平均灰度測量值之間空間呈負相關(guān)；當Mml接近0時，對象平均灰度測量值在空間隨機分布。式(6)中每次迭代合并只考慮局部超像素對的相似性，而莫蘭指數(shù)(式(7))既考慮了全局鄰接對象的相似性，同時也兼顧了超像素間的空間分布，更加適用于合并停止條件的判斷。

屬性相似、灰度空間相關(guān)的鄰接超像素合并為尺度更大的超像素后，使當前二維圖像上各超像素區(qū)域平均灰度間的空間相關(guān)性相比于之前降低。圖7所示為超像素平均灰度值莫蘭指數(shù)隨合并次數(shù)不斷下降的過程。

圖7 Mml隨超像素合并次數(shù)的變化Fig.7 Changes of Mml with the merging number of super pixels

在迭代合并過程中，每次合并超像素后，計算當前區(qū)域鄰接圖的超像素平均灰度莫蘭指數(shù)，直至莫蘭指數(shù)小于閾值停止合并。圖8所示為空間獨立性約束下分割后的超像素(見圖5)的初步合并效果。

圖8 超像素合并結(jié)果的偽彩圖與實際區(qū)域Fig.8 Pseudo-color map and actual area of super pixel merging result

基于空間獨立性約束的超像素合并算法偽代碼如下。

3.1.2 閾值選擇

基于空間獨立性約束的超像素合并，在各區(qū)域灰度分布均勻、同質(zhì)的理想情況下，合并超像素的尺寸逼近所屬區(qū)域尺寸，平均灰度值莫蘭指數(shù)閾值達到最低。因為實際槽面圖像各區(qū)域內(nèi)灰度分布復雜，區(qū)域內(nèi)存在局部的灰度異質(zhì)分布，如槽面高亮短路，蓋布區(qū)與母排區(qū)的灰度值類似，過小的莫蘭指數(shù)閾值導致槽面短路區(qū)與母排區(qū)過合并為一個區(qū)域，故不能僅僅依靠設(shè)置一個小的閾值實現(xiàn)區(qū)域的分割。

為了增強合并算法的魯棒性，考慮到電解槽面場景固定，選擇10 張具有不同程度干擾的槽面圖像，手工劃分超像素，超像素個數(shù)為t，確保將每個關(guān)鍵區(qū)域完整地作為一個超像素(圖9)，構(gòu)建RAG，計算相應(yīng)RAG 下的平均灰度值莫蘭指數(shù)Mt，取均值作為莫蘭指數(shù)閾值TM(式(10))。

圖9 功能區(qū)作為超像素Fig.9 Functional areas as super pixels

3.2 基于PSO-SVM的大尺度超像素分類

空間獨立性約束下的超像素初步合并保留了超像素與目標區(qū)域相貼合的邊界，同時增大了超像素尺度。大尺度的超像素相比于小尺度超像素蘊含了更豐富的特征，尤其各區(qū)域由于物理結(jié)構(gòu)不同而表現(xiàn)出的紋理差異：母排區(qū)呈現(xiàn)周期性紋理，且紋理較深；蓋布區(qū)雖然也表現(xiàn)出一定的周期性紋理，但蓋布區(qū)紋理較淺且粗糙；電解液區(qū)紋理平滑。因此，提取大尺度超像素的紋理特征，對超像素進一步分類，4 類目標區(qū)域的類別標簽見表1。

表1 功能區(qū)域類別標簽Table 1 Labels of functional areas

紋理特征的計算基于規(guī)則圖形，超像素形狀不規(guī)則，因此，需在每個超像素內(nèi)構(gòu)建最大內(nèi)接矩形，然后，計算內(nèi)接矩形在水平方向上(θ=0)、間隔2 個像素的灰度共生矩陣G?；贕，提取7個(表2)具有灰度變換不變性的紋理特征[29]用于分類識別。其中，Pij為共生像素對(Ri，Rj)在G中出現(xiàn)的概率；pi和pj分別為共生像素對的灰度值；μr和σr為灰度值pi在G中對應(yīng)行上的均值與方差；μc和σc為灰度值pj在G中對應(yīng)列上的均值與方差。為了展示超像素紋理特征的分類能力，隨機抽取數(shù)據(jù)，得到4 類區(qū)域的紋理特征在各維度上的特征值，如圖10所示，C1類與C2類、C1類與C3類均可由熵(ENT)、相異性(DIS)、對比度(CON)、相關(guān)性(COR)進行區(qū)分，C2 類與C3 類均可由相異性(DIS)和對比度(CON)進行良好區(qū)分。

圖10 4類區(qū)域各維度上的特征值Fig.10 Feature values on each dimension of the four class of regions

表2 大尺度超像素的紋理特征Table2 Textural features of large scale super pixels

利用SⅤM 分類器[30-31]對大尺度超像素進行分類。根據(jù)3.1節(jié)方法進行超像素初步合并后，搜集屬于各類區(qū)域的大尺度超像素，構(gòu)成帶有類別標簽的數(shù)據(jù)集，并將其作為SⅤM 的訓練樣本，根據(jù)表2 對每個數(shù)據(jù)提取紋理特征，組成包含n個7 維(即維度l=7)特征的訓練集Xn×l參與SⅤM 訓練，Yn×l為類別標簽，yi∈{-1,1},i=1,2,…,n。分類器學習通過下式實現(xiàn)：

式中：C為常數(shù)懲罰因子；ξi為松弛變量；超平面(w,b)中w為分類超平面的法向量，b為原點到超平面的距離。φ(xi)為映射函數(shù)，其拉格朗日對偶問題如下：

其中：K(xi,xj)=＜φ(xi),φ(xj)＞為核函數(shù)，＜·,·＞表示直積；a為拉格朗日乘數(shù)；根據(jù)多次實驗，考慮超像素分類的準確度，最終選擇RBF 函數(shù)作為核函數(shù)即σ為高斯核帶寬此時，分類決策函數(shù)為

為了提高SⅤM 的分類器的泛化能力，采用粒子群算法對參數(shù)C和σ進行優(yōu)化，適應(yīng)度函數(shù)為分類器的準確率。由于支持向量機是二分類學習算法，這里需應(yīng)用OⅤO(one versus one)方法[32]設(shè)計多類別分類任務(wù)，對每一對不同類別的樣本設(shè)立一個二分類器，共6個SⅤM分類器。

4 實驗結(jié)果與分析

采用大立科技DM63在線式系列紅外熱成像儀采集銅電解槽面紅外圖像數(shù)據(jù)，成像儀垂直吊裝于距槽面9.3 m 高的搬運行車上，鏡頭(焦距為9 mm)向下拍攝，圖像分辨率為240 像素×320 像素。計算機配置參數(shù)如下：CPU，AMD Ryzen 5 1600 Six-core，16 GB內(nèi)存，64-bit Windows10 操作系統(tǒng)，MatlabR2016 a編程。

為證明空間獨立性約束合并方法的有效性，將其與相似性約束合并停止條件[17]進行對比。對包括和不包括短路2種情況的電解槽圖像進行超像素分割后(K=600，歸一化參數(shù)m=2)，分別應(yīng)用2種方法進行超像素初步合并，結(jié)果如圖11所示，相似性約束使得原本不屬于同一區(qū)域的大量超像素過合并(紅色方框區(qū)域)，大大降低了分割的精確度，槽面短路區(qū)域與母排區(qū)合并為同一區(qū)域。而在空間獨立性約束合并方法中，有效的合并屬于同一功能區(qū)的超像素塊，雖然合并結(jié)束后形成的圖像塊數(shù)量較多，但保證了同類合并區(qū)域的準確性，同時也保證了區(qū)域邊界的完整性，為后續(xù)超像素分類實現(xiàn)精確區(qū)域識別與分割奠定了基礎(chǔ)。

圖11 相似性約束與空間獨立性約束下的合并效果對比Fig.11 Comparison of merging effects with similarity constrain and space independence constrain

隨機選取50 張槽面圖像，在進行超像素分割與小尺度超像素合并后，隨機選擇266個屬于各類區(qū)域的、面積大于1/100圖像面積的圖像塊作為樣本集，其中2/3 作為訓練樣本集，母排區(qū)、蓋布區(qū)、電解液區(qū)、背景區(qū)四類樣本的占比為1:1:1:1；剩余1/3 用于測試。由于SⅤM 算法選擇RBF 函數(shù)作為核函數(shù)，故采用粒子群優(yōu)化(PSO)算法對RBF_SⅤM參數(shù)尋優(yōu)，粒子群優(yōu)化算法中的加速系數(shù)設(shè)置為τ1=1.5，τ2=1.7，種群數(shù)量為5，優(yōu)化得到的最優(yōu)參數(shù)C和σ見表3。在PSO 算法尋優(yōu)過程中，針對6 個SⅤM 分類器的適應(yīng)度曲線如圖12所示。

圖12 多類別SⅤM分類器的適應(yīng)度曲線Fig.12 Fitness curves of multi-class SⅤM classifier

表3 PSO尋優(yōu)后多類別SⅤM分類器的最優(yōu)參數(shù)Table 3 Optimum parameters of multi-class SⅤM classifier with PSO

精確率(Qp)、召回率(Rc)以及F1可用于定量評估SⅤM 算法對各類區(qū)域的識別效果，各指標計算式如下：

其中：NTp指實際為正例、同時被模型識別為正例的測試樣本個數(shù)；NFp指實際為負例但被模型識別為正例的測試樣本個數(shù)；NFn指實際為正例但被模型識別為負例的測試樣本個數(shù)。4類區(qū)域的圖像塊分類結(jié)果如表4所示，其中，NT為測試數(shù)據(jù)集中包含的各類樣本個數(shù)，詳細的混淆矩陣如圖13所示。

結(jié)合表4 和圖13 可知：利用紋理特征，SⅤM分類器對蓋布區(qū)C1、母排區(qū)C2 和電解液區(qū)C3 的大尺度超像素識別準確率較高，對電解液區(qū)C3 超像素的召回率較低，37.5%的電解液區(qū)(C3)被誤識別為蓋布區(qū)(C1)。這是因為在超像素分割階段，蓋布區(qū)和電解液區(qū)的邊界上不可避免地存在欠分割現(xiàn)象，欠分割的超像素在合并步驟中被合并為蓋布區(qū)。

表4 4類區(qū)域的識別效果Table 4 Recognition effects of the four classes of areas

圖13 混淆矩陣Fig.13 Confusion matrix

圖14所示為基于多尺度超像素特征分割方法與OTSU、活動輪廓方法的分割效果。關(guān)鍵區(qū)域分割完整是獲取完備溫度信息的關(guān)鍵，在活動輪廓法中，蓋布上的短路信息被遺漏。單閾值分割結(jié)果還需借助其他手段進一步區(qū)分母排區(qū)和電解液區(qū)，而且母排區(qū)尖刺多，區(qū)域信息并不完整，并且該方法也同樣在短路電極處產(chǎn)生信息中斷。基于多尺度超像素特征法相對較完整地保留了蓋布區(qū)地上的異變溫度信息，同時也能完整準確地識別母排區(qū)和電解液區(qū)。

圖14 活動輪廓法、Otsu、基于混合超像素合并法的功能區(qū)分割效果Fig.14 Segmentation effects of functional areas with active contour method,Otsu and the proposed hybrid merging method

以手動標記的各功能區(qū)域為參照，計算各區(qū)域分割結(jié)果與實際區(qū)域之間被錯誤分割的像素數(shù)占實際區(qū)域像素總數(shù)的比例(即區(qū)域錯誤率)，并將其作為衡量各區(qū)域分割結(jié)果的準確度，蓋布區(qū)、母排區(qū)、電解液區(qū)的分割錯誤率分別為1.38%，1.59%和5.35%。

5 結(jié)論

1)提出一種超像素混合合并方法用于銅電解槽紅外圖像功能區(qū)域分割。

2)針對槽面紅外圖像灰度分布復雜、分辨率低影響分割準確度的問題，將圖像劃分為一系列與區(qū)域邊界貼合度較高的小尺度超像素，然后利用不同尺度超像素的特征，分別進行小尺度超像素合并與大尺度超像素分類，并在合并過程中提出基于空間獨立性約束的合并方法，克服了低分辨率限制特征提取問題，提高了分割的準確性。

3)本文算法在確保功能區(qū)域完整性方面的效果優(yōu)于其他分割方法的效果。該方法同樣適用于鉛、鋅、鎳等金屬的電解監(jiān)控過程。