基于U-Net 和改進分水嶺算法的露天礦爆堆礦石圖像分割方法

闞玉達

(中鐵十九局集團礦業(yè)投資有限公司,北京 100161)

近年來,采礦業(yè)與多學科技術逐步實現(xiàn)了深度交叉融合,為穩(wěn)步推進礦山智能化建設,實現(xiàn)露天礦爆破效果實時智能評價,需自動快速準確地統(tǒng)計爆破大塊率[1-3]。傳統(tǒng)大塊率統(tǒng)計方法多依賴于現(xiàn)場目視解譯,統(tǒng)計效率和精確性較差?；诖?大量學者進行了研究,提出了基于圖像分割算法的爆破大塊率統(tǒng)計方法[4],已在多個礦山得到了廣泛應用。

圖像分割算法自動化程度高、智能性強,被廣泛應用于醫(yī)學圖像處理[5-6]、衛(wèi)星遙感影像分割[7-8]、礦石圖像分割[9-11]等領域。傳統(tǒng)的圖像分割方法,如自適應閾值算法[12]、K-均值聚類算法[13-14]等,針對爆堆礦石圖像,難以得到較好的分割效果。隨著深度學習的概念被提出并不斷應用,在圖像分割領域取得更大的進展,涌現(xiàn)出了如FCN[15]、SegNet[15]、Mask RCNN[16]等算法。在礦石圖像分割領域,深度學習算法取得較好的應用效果。李鴻翔等[17]針對礦石目標相互堆疊、表面不規(guī)則的問題,研究了GAN-UNet 網(wǎng)絡架構,并將其用于分割礦石圖像,分割精度相較于傳統(tǒng)方法得到顯著提升; LI 等[18]針對礦石圖像形狀復雜、相互粘連的特點,提出了一種基于深度學習的礦石圖像分割算法,利用整體嵌套邊緣檢測(Holistically-Nested Edge Detection,HED)算法提取礦石圖像中礦石目標邊緣,進一步細化目標邊緣,該方法魯棒性強,但是具有一定的噪聲敏感性,且針對中小礦石目標,難以取得較好的分割結果。為此,顧清華等[19]提出了一種基于改進HED 算法的破碎礦石圖像分割方法,有效解決了HED 算法針對中小型礦石目標提取精度較差的問題,分割效果較好。

上述傳統(tǒng)方法雖然具有一定的效果,但智能性較差,尤其針對現(xiàn)場爆堆礦石圖像中存在的礦石目標分布密集、邊緣對比度低等問題,其分割精度難以滿足露天礦爆破大塊率精準統(tǒng)計要求。上述深度學習方法具有智能性強、分割精度高等優(yōu)點,但主要針對背景統(tǒng)一的礦石圖像,對于露天礦復雜環(huán)境下的爆堆礦石圖像適用性不強。因此,本研究提出一種基于UNet 和改進分水嶺算法的露天礦爆堆礦石圖像分割方法解決上述問題。該方法首先標注爆堆礦石圖像,制作數(shù)據(jù)集;然后基于U-Net 網(wǎng)絡模型訓練并預測爆堆礦石分割結果,進一步采用基于距離運算的分水嶺算法優(yōu)化分割結果;最后利用圖像交并比定量評價爆堆礦石圖像分割精度。

1 數(shù)據(jù)獲取及預處理

1.1 試驗數(shù)據(jù)

本研究利用無人機(大疆精靈4 RTK)采集遼寧省鞍山市鞍千礦業(yè)啞巴嶺露天采場(東經(jīng)123°08'13″,北緯41°36'11″)的爆堆照片制作數(shù)據(jù)集,數(shù)據(jù)格式為jpg 格式,分辨率為6 000×4 000 像素,獲取的爆堆礦石圖像如圖1 所示。

圖1 無人機拍攝的爆堆礦石圖像Fig.1 Exploded ore images captured by UAV

1.2 數(shù)據(jù)預處理

首先利用labelme 圖像標注工具手動提取爆堆礦石圖像中的礦石目標,獲取的爆堆礦石圖像分割結果如圖2 所示。

圖2 爆堆礦石圖像分割結果Fig.2 Segmentation result of exploding ore image

由于原始爆堆礦石圖像尺寸較大,因此將原始爆堆礦石圖像與其對應的分割結果進行裁剪,裁剪尺寸為512×512 像素。考慮到爆堆礦石圖像數(shù)量較少,因此利用圖像旋轉、圖像翻轉、圖像去噪、圖像加噪、亮度變化等算法增強爆堆礦石圖像數(shù)據(jù)集,在增強樣本多樣性的同時,避免了出現(xiàn)模型過擬合現(xiàn)象。同時為了減少模型訓練和預測時間,將爆堆礦石圖像進行灰度化處理,最終得到的數(shù)據(jù)集中包含6 000 幅爆堆礦石圖像,部分結果如圖3 所示。

圖3 爆堆礦石圖像數(shù)據(jù)集(部分)Fig.3 Dataset of blast pile ore images (part)

2 研究方法

爆堆礦石圖像邊緣模糊,內(nèi)部語義信息相似,結合高級語義信息和低級語義信息后可有效描述圖片信息,而U-Net 網(wǎng)絡架構可有效結合圖像高級語義信息和低級語義信息,因此本研究采用U-Net 網(wǎng)絡結構訓練模型,并預測爆堆礦石圖像分割結果。由于爆堆礦石圖像中礦石目標分布密集、相互堆疊,經(jīng)U-Net模型預測后的分割結果仍存在部分欠分割現(xiàn)象,而采用基于距離運算的分水嶺算法優(yōu)化U-Net 模型的分割結果,可有效處理欠分割現(xiàn)象。根據(jù)上述分析,本研究提出了一種U-Net 和基于距離運算的分水嶺算法相結合的爆堆礦石圖像分割方法,以提升爆堆礦石分割精度。該方法首先對無人機圖像進行預處理,裁剪、標注數(shù)據(jù)集,數(shù)據(jù)集增強;然后基于爆堆礦石圖像數(shù)據(jù)集訓練U-Net 網(wǎng)絡,得到爆堆礦石圖像分割模型,再用該模型對爆堆礦石圖像進行預測,得到UNet 模型預測的分割結果;最后利用基于距離運算的分水嶺算法優(yōu)化U-Net 模型預測的分割結果。

2.1 U-Net 網(wǎng)絡模型構建與訓練

在語義分割過程中,為了獲得性能更強的分割模型,需在充分保留高級語義信息的同時,最大程度地利用低級語義信息訓練模型。U-Net 網(wǎng)絡基于全卷積神經(jīng)網(wǎng)絡(Fully Convultional Neural Network,FCN)進行改進,在下采樣過程中不斷提取爆堆礦石圖像特征信息,并在上采樣的同時將對應的特征進行融合,可充分融合圖像的高級語義信息和低級語義信息進行模型訓練,U-Net 網(wǎng)絡結構如圖4 所示。有別于原始U-Net 網(wǎng)絡,本研究U-Net 網(wǎng)絡架構采用ELU 激活函數(shù)。

圖4 U-Net 網(wǎng)絡結構Fig.4 U-Net network structure

ELU 激活函數(shù)有效結合ReLu 激活函數(shù)和sigmoid 激活函數(shù),當輸入為正值時,可有效避免梯度下降現(xiàn)象,當輸入為負值時,相較于直接設置為0,可有效保持激活函數(shù)對負值的敏感響應。輸入圖像為分辨率512×512 像素的單通道灰度圖。

由于卷積核為3×3,故而將輸入圖像經(jīng)過卷積運算后分辨率在長寬上表現(xiàn)為減小2,同時增加圖像深度,然后進行下采樣,將圖像尺寸縮減為之前的1/2,經(jīng)4 次下采樣之后,再利用雙線性插值算法進行上采樣,同時融合與之對應的圖像。最后針對每一個像素利用softmax 函數(shù)進行特征運算,將運算結果和真實標簽利用損失函數(shù)進行損失運算得到損失值,進一步糾正分割差異,預測結果精度越高,則損失值越小。由于爆堆礦石圖像分割屬于圖像二分類任務,因此在U-Net網(wǎng)絡架構中,本研究采用二分類交叉熵損失函數(shù)。二分類交叉熵損失函數(shù)可表示為

式中,y為真實數(shù)據(jù);yhat為預測結果;L為函數(shù)值。

建立U-Net 網(wǎng)絡模型后,將數(shù)據(jù)集劃分為訓練集和驗證集,其中訓練集4 800 幅,驗證集為1 200 幅,作為網(wǎng)絡模型輸入,由于服務器顯卡限制,設置批處理尺寸(batchsize)為2,即每次訓練2 幅圖像,epoch設置為60,在訓練過程中,Loss值多次不再下降時,自動停止模型訓練,同時采用Adam 優(yōu)化器訓練網(wǎng)絡模型。

2.2 基于距離運算的分水嶺算法

基于距離運算的方法常被用來改進分水嶺算法。對于二值圖像,若兩個黑色斑點連在一起,則在地形表面只會形成一個最小值和匯水盆地。為了利用分水嶺對連通斑點進行分割,對二值圖像進行歐式距離運算,將每個像素的位置信息轉換為灰度信息,然后利用分水嶺算法尋找邊界點來分離粘連的礦石目標。

2.3 爆堆礦石圖像分割結果評價指標

為了定量評價模型性能和預測結果精度,計算預測圖像和真實圖像的混淆矩陣。引入損失(Loss)值、像素準確率(accuracy)和F1值評價模型性能,同時引入圖像交并比運算方式定量評價模型預測結果和優(yōu)化后結果精度。

(1)Loss值。Loss值是在網(wǎng)絡訓練時根據(jù)ELU損失函數(shù)計算而來,反映模型預測結果和真實結果之間的差異,通常損失值越小,模型訓練效果越好。

(2)準確率。即為分類模型預測結果中所有預測正確的像素點個數(shù)與模型預測出的礦石目標像素點個數(shù)的比值,取值越大,表明其具有更高的泛化能力。

(3)F1值。F1值可同時評價精準率和召回率,其取值范圍為[0,1],越接近于1,則模型性能越強,效果越好。計算公式為

式中,R為所有正類別樣本中,被正確識別為正類別樣本的比例;P為被識別為正類別的樣本中,為正類別的比例。

(4)圖像交并比。圖像交并比(IOU)用礦石目標的預測結果和真實值的交集和并集的比值來表示,交并比越大,表明數(shù)據(jù)越接近真實。公式為

式中,C為本研究方法分割結果;G為基于labelme 工具的標準分割結果。

3 結果分析

經(jīng)訓練后,本研究U-Net 網(wǎng)絡模型訓練時間為990.13 min,在第55 次epoch時損失值不再下降,停止訓練。其Loss值為0.060 1,充分表明模型在訓練過程中能更好地更新模型參數(shù),有效降低模型風險。模型像素準確率為0.965 4,說明該網(wǎng)絡模型具有較強的預測能力。模型F1值為0.952 5,表明該模型針對爆堆礦石圖像預測性能良好,模型可應用于爆堆礦石圖像分割。將爆堆礦石圖像(圖5(a))作為模型輸入,經(jīng)預測后得到爆堆礦石圖像初步分割結果,如圖5(b)所示。

圖5 U-Net 網(wǎng)絡模型預測結果Fig.5 Prediction results of U-Net network model

由圖5 可知:分割結果中存在分割粘連現(xiàn)象,這是由于爆堆礦石圖像中礦石目標分布密集、邊緣對比度低和相互堆疊所致?；诰嚯x運算的分水嶺算法可有效消除圖像分割結果中的欠分割現(xiàn)象。因此,本研究采用基于距離運算的分水嶺算法進一步優(yōu)化UNet 網(wǎng)絡預測后的爆堆礦石圖像分割結果,同時利用形態(tài)學運算優(yōu)化其結果,結果如圖6 所示。

圖6 基于距離運算的分水嶺算法優(yōu)化結果Fig.6 Optimization results of watershed algorithm based on distance operation

通過對比分析圖5(b)和圖6 可知:優(yōu)化后的結果可有效解決U-Net 網(wǎng)絡模型預測結果中的欠分割現(xiàn)象,進一步提升爆堆礦石圖像分割的準確性。

為了定量評價本研究方法精度,利用labelme 手動標注工具標注上述原始爆堆礦石圖像,獲取爆堆礦石圖像真實分割結果,并結合U-Net 網(wǎng)絡模型預測結果和基于距離運算的分水嶺算法優(yōu)化結果,計算交并比。結果表明:U-Net 網(wǎng)絡模型預測結果交并比為90.75%,利用基于距離運算的分水嶺算法優(yōu)化后結果的交并比為91.22%,表明利用基于距離運算的分水嶺算法可有效提升U-Net 網(wǎng)絡預測精度,為露天礦爆破大塊率統(tǒng)計提供更可靠的依據(jù)。

4 結 語

大塊率準確解算是智能評價爆破效果的重要前提,本研究依據(jù)現(xiàn)場爆破礦石圖片,提出了一種基于U-Net 和改進分水嶺算法的露天礦爆堆礦石圖像分割方法,可精準統(tǒng)計爆破大塊率。所得結論如下:

(1)本研究所構建U-Net 網(wǎng)絡模型針對爆堆礦石圖像分割具有較強的預測能力,且性能良好,其Loss值、像素準確度和F1值分別為0.060 1、0.965 4、0.952 5。

(2)基于距離運算的分水嶺算法能夠有效處理U-Net 模型預測結果中的欠分割現(xiàn)象,有效提升爆堆礦石圖像分割精度。

(3)利用本研究方法可較為準確地分割爆破礦石圖像,有助于高效解決礦石目標分布密集、邊緣對比度低及欠分割等問題,對于提高爆破效果評價的智能化水平大有裨益。