基于改進Live-Wire算法的無人機遙感影像標注

崔紅霞，陳麗君，趙昊罡

(渤海大學(xué) 信息科學(xué)與技術(shù)學(xué)院，遼寧 錦州 121010)

0 引言

隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)在遙感影像自動解譯領(lǐng)域的應(yīng)用發(fā)展迅速。在深度學(xué)習(xí)算法中，大量的訓(xùn)練數(shù)據(jù)標注是其得到最優(yōu)檢測模型的保證。目前，遙感數(shù)據(jù)標注方法主要分為兩類[1]：一類是基于人工交互的數(shù)據(jù)標注，主要利用離線和在線標注工具。另一類是自動數(shù)據(jù)標注方法，如張鋼等人[2]提出一種基于多示例多標簽學(xué)習(xí)的圖像自動標注框架,在此基礎(chǔ)上提出一種基于貝葉斯學(xué)習(xí)的多示例多標簽稀疏集成算法.

顯然，自動標注方法仍然依賴于一部分人工標注的數(shù)據(jù)集，人工標注在深度學(xué)習(xí)的領(lǐng)域仍然是必不可少的環(huán)節(jié)。目前，應(yīng)用廣泛的在線或者離線交互標注工具，labelme[3]以及l(fā)abelimg[4]，以用戶交互圖像分割的方式，將一張圖片中的目標物體分割出來，即用戶通過點擊設(shè)置一些前景和背景的標注點，生成包含目標區(qū)域的多邊形頂點，適用于邊界規(guī)則的目標輪廓提取和標注；但對于遙感影像非規(guī)則自然地物目標區(qū)域，人機交互圖像分割存在工作量大，輪廓定位不準確的難題。

目前，人機交互的圖像分割算法分為兩大類，一類是主動輪廓模型方法[5-9]，使用戶提供的初始輪廓沿能量降低的方向迭代演化到理想的目標輪廓上,完成圖像分割,這類算法需要給出初始的輪廓，但對于特別復(fù)雜目標迭代的分割結(jié)果往往不能達到要求;另一類為基于動態(tài)規(guī)劃圖搜索算法[10-11]，圖搜索算法不通過迭代初始輪廓降低能量的方式，而是通過分步優(yōu)化能量函數(shù)獲得邊界，需要在全圖范圍內(nèi)尋找優(yōu)化的邊界。Live-wire算法是一種經(jīng)典的動態(tài)規(guī)劃圖搜索算法，由Eric N.Mortensen[12]等人提出，廣泛地應(yīng)用在圖像分割[13]中。文獻[14]研究基于BSP和動態(tài)規(guī)劃的大規(guī)?？沼蛏葏^(qū)劃分的方法，該文將二叉空間分割算法結(jié)合動態(tài)規(guī)劃方法，通過階段動態(tài)搜索的二叉空間分割算法，保證結(jié)果的最優(yōu)性。文獻[15]研究的帶浮動錨的Live-Wire交互式分段技術(shù)，通過基于特定圖元設(shè)計4種新穎的Live-Wire交互來嘗試這種新的靈活性：繪畫，捏，概率和拾取錨，分析這種方法的計算方面，并提供了可行的解決方案來減少時間復(fù)雜度。

對于輪廓比較平滑、信噪比高的目標，文獻[16-17]的方法可以獲得比較好的效果，但無人機遙感影像信噪比低、自然地物邊界復(fù)雜且不規(guī)則，傳統(tǒng)的Live-wire算法往往不能準確地定位地物邊界。本文將交互式Live-wire算法[18]引入深度學(xué)習(xí)的樣本標注，通過改進Pal-King[19-21]模糊邊緣檢測方法以及優(yōu)化Live-wire算法代價函數(shù)的方法以提高地物邊界的跟蹤精度和效率，并通過大量樣本的標注實驗驗證本文的算法。

1 傳統(tǒng)live-wire的人機交互圖像分割方法

傳統(tǒng)Live-Wire算法是將整個圖像看成一個加權(quán)有向圖[22]，圖像中每個像素為圖的一個節(jié)點，并且每個節(jié)點都被賦予不同代價值，相鄰像素之間有一條加權(quán)有向邊，在邊上定義一個代價函數(shù),然后通過圖搜索算法結(jié)合動態(tài)規(guī)劃，找連通圖[23]中兩點之間的最短路徑,兩點之間的最短路徑當(dāng)作物體的邊界。其關(guān)鍵在于代價函數(shù)的建立和最短路徑的生成。

1.1 代價函數(shù)的建立

代價函數(shù)的計算方法有多種，由于圖像最短路徑的代價與邊緣特征有密切關(guān)系，邊緣特征越顯著的像素點，代價越低，使得最短路徑的路線越容易貼合待標注區(qū)域的輪廓邊緣。因此，局部代價函數(shù) 通常由邊緣特征構(gòu)造，如公式(1)所示：

L(p,q)=wZfZ(q)+wGfG(q)+wDfD(p,q)

(1)

其中：p為q的8鄰域內(nèi)的相鄰點，fZ(q)為拉普拉斯交叉零點值、fG(q)為像素點梯度值、fD(p,q)為像素點梯度方向,wZ,wG,wD為權(quán)值，根據(jù)文獻[12]所提出的方法，將其分別設(shè)置為0.43,0.43,0,14：

拉普拉斯交叉零點代價值fZ(q)如公式(2)所示：

(2)

其中：IL(q)是圖像像素點q的拉普拉斯值，圖像的拉普拉斯二階零交叉點對應(yīng)最大(最小)的梯度幅值，代表邊緣特性并且它有較低的局部代價值。

像素點梯度值：

令I(lǐng)x,Iy分別表示x，y方向的梯度，則梯度幅值G如公式(3)所示：梯度幅值越大，邊緣點特征越明顯，路徑代價越低，令fG如公式(4)所示：

(3)

(4)

像素點梯度方向代價：

梯度方向代價函數(shù)起到邊緣平滑作用，邊界變化劇烈處將設(shè)置較高代價，如公式(5)所：

(5)

令:dp(p,q)=D′(p)·L(p,q)；dq(p,q)=D′(q)·L(p,q)

D′(p)=(Iy(p),-Ix(p))；D′(q)=(Iy(q),-Ix(q))

1.2 最短路徑方法

傳統(tǒng)Live-wire 算法結(jié)合人機交互[24]，確定開始種子點，最后利用數(shù)據(jù)結(jié)構(gòu)中的Dijkstra最短路徑算法，計算出圖像中8鄰域內(nèi)所有像素點到種子點seed point的最小代價路徑并確定下一個邊緣種子點；人機交互更換種子點，重新進行最小代價路徑的計算，多次重復(fù)以上步驟，自動提取目標區(qū)域輪廓線；。由于最短路徑的代價與邊緣特征有密切關(guān)系，邊緣特征越顯著的像素點，代價越低，目標輪廓邊緣越精確。利用Dijkstra 算法[25-26]進行最小代價路徑搜索的流程圖如圖1所示。

圖1 Dijkstra 算法流程圖

2 改進的Live-wire地物輪廓提取方法

傳統(tǒng)的Live-wire 方法代價函數(shù)涵蓋了邊緣點特征、邊緣點梯度幅值的特征、節(jié)點之間梯度方向的變化特征[27-28]。受飛行平臺復(fù)雜運動、光照條件的影響，無人機遙感圖像的邊緣質(zhì)量下降。傳統(tǒng)的拉普拉斯算子[29]用作此類圖像的邊緣檢測時，容易導(dǎo)致邊緣不連續(xù)以及假性邊緣,抗噪性較差[30]。本文改進模糊邊緣檢測[31]方法并替代Live-Wire算法中的拉普拉斯交叉零點邊緣提??；另一方面通過增加節(jié)點之間梯度幅值的變化特征優(yōu)化代價函數(shù)，提高算法的抗噪性能并平滑邊界。

2.1 基于改進PAL-King算法的邊緣提取

Pal和King提出的模糊邊緣，即Pal算法[19-20]是基于模糊理論的模糊邊緣檢測算法。其主要思想是通過模糊屬度函數(shù)將圖像映射到模糊空間，利用模糊空間的增強運算，提高影像邊緣附近像素灰度的對比度，再利用逆變換實現(xiàn)模糊特征空間到圖像空間域的轉(zhuǎn)換，在空間域內(nèi)僅需通過簡單的“min”或“max”算子實現(xiàn)邊緣提取。為克服傳統(tǒng)Pal算法隸屬度函數(shù)復(fù)雜且原圖像中相當(dāng)多的灰度值被切削的問題，以及隸屬度函數(shù)中的參數(shù)設(shè)置沒有理論指導(dǎo)規(guī)則，隨機性大等問題，本文改進了傳統(tǒng)的Pal-King模糊邊緣檢測法，具體算法步驟如下：

1)定義新的隸屬度函數(shù):

(6)

其中:xmin≤xij≤xmax，xmin為最小灰度級;xmax為最大灰度級；令Pij=F(xij)，Pij為模糊隸屬度值；Fe>2。顯然，整幅圖像的隸屬度值域為[0，1]彌補了Pal King 算法值域為(a，1](a>0)[30-31]導(dǎo)致低灰度值被硬性切削的問題。

2)融合Otsu算法的模糊空間增強方法:

傳統(tǒng)的Pal-King算法將模糊空間的分割閾值(渡越值)設(shè)定為0.5,小于0.5的模糊隸屬度被壓縮，大于0.5的模糊隸屬度被拉伸，以實現(xiàn)模糊空間的非線性增強。為克服傳統(tǒng)Pal-King固定分割閾值帶來的隨機增強誤差，本文以O(shè)tsu算法獲取圖像空間域的最佳分割閾值xe,并計算模糊空間的渡越值Pe=F(xe);進一步定義模糊增強算子如式(7)：

(7)

其中：若0≤Pij≤Pe，則a=1,b=0;若Pe

職業(yè)素質(zhì)教育是系統(tǒng)全面的教育，不僅包括職業(yè)知識、技能教育，還包括職業(yè)道德、職業(yè)行為、職業(yè)作風(fēng)和職業(yè)意識等方面的教育。作為一名護理教師，首先要通過自身穩(wěn)定的專業(yè)思想去感染、引導(dǎo)學(xué)生，鞏固學(xué)生專業(yè)思想，因為學(xué)生牢固的專業(yè)思想是穩(wěn)定護理隊伍、發(fā)展護理事業(yè)的重要保證[1]。其次要發(fā)揮自身形象示范作用，樹立良好的護士職業(yè)形象。護理教師的形象示范作用主要表現(xiàn)在儀表、面部表情、動作姿態(tài)等方面。教師高雅得體的舉止、對護理工作的興趣和熱愛，會使學(xué)生感到可信、可親，進而仿效學(xué)習(xí)，還可以讓護生以最佳心境參與學(xué)習(xí)[2]。

利用式(8)進行迭代運算:

(8)

一般r取3。

(9)

4)結(jié)合梯度雙閾值法[32]，提取模糊增強后的圖像邊緣特征，替代公式(1)的代價函數(shù)的第一項：如式(10)所示，令low，high為通過灰度直方圖統(tǒng)計方法自動獲取的低閾值以及高閾值，tq為當(dāng)前點的梯度值,tp當(dāng)前點8鄰域內(nèi)任意像素點梯度值。

fZ(q)=1，tq>high||tp>high；fZ(q)=0，iftq

(10)

綜上，通過改進模糊邊緣檢測方法并替代Live-Wire算法中的拉普拉斯交叉零點邊緣提取，抑制傳統(tǒng)的拉普拉斯算子[23]遙感圖像邊緣特征提取的不足。

2.2 優(yōu)化的代價函數(shù)

設(shè)優(yōu)化后的代價函數(shù)為：

L'(p,q)=wZfZ(q)+wGfG(q)+wDfD(p,q)+wTfT(p,q)

(11)

其中：wZ，wG，wD，wT根據(jù)文獻[12]設(shè)為0.35，0.35，0.15，0.15。

fZ(q)、fG(q)、fD(p,q)分別如公式(10)、(4)、(5)所示，分別描述拉普拉斯交叉零點值、像素點梯度值、像素點梯度方向。為了進一步抑制邊緣提取的不連續(xù)性并提高邊緣提取的平滑性，通過增加梯度變化特征改進代價函數(shù)。

本文令fT(p,q)表示節(jié)點p、q之間的梯度幅值變化特征，q節(jié)點為p節(jié)點鄰域內(nèi)像素點，如果節(jié)點p、q的梯度幅值變化越劇烈，fT(p,q)較小，路徑代價越小，反之較大。本文提出的fT(p,q)如公式(12)所示：

fT(p,q)=1-1/e|Gp-Gq|

(12)

其中：G(p),G(q)分別為p點和q點的梯度幅值，分別為公式(13)：

(13)

3 實驗結(jié)果與分析

以400幅 512*512像素?zé)o人機遙感影像的地物標注(每類地物100幅)為例。標簽標注工具labelme、傳統(tǒng)Live-Wire方法和本文所述方法分別定義為方法I、II、III；利用3種方法分別進行無人機遙感影像裸露地、建筑物、水體、農(nóng)作物4類復(fù)雜典型地物的標注。如圖3～6所示，Label標注工具通過多邊形逼近曲線，地物提取的精度和效率完全依賴于構(gòu)造輪廓多邊形的人工操作。傳統(tǒng)Live-Wire方法則利用拉普拉斯地物邊緣提取算法、傳統(tǒng)代價函數(shù)、最小路徑跟蹤方法人機交互提取地物的輪廓，在邊緣符合度以及效率上都優(yōu)于標注工具，但基于Live-wire算法的標注需要較多的人工交互、存在邊緣不完全、斷點以及欠平滑的鋸齒情況。對比傳統(tǒng)Live-wire算法，應(yīng)用改進的Live-wire算法的輪廓提取的邊緣平滑且鋸齒現(xiàn)象大量減小，輪廓提取的自動化程精度和效率更高。

為定量評價樣本標注的穩(wěn)健性和效率，分別利用方法II和方法III重復(fù)提取(n次)400幅地物的封閉輪廓，計算每類地物標注面積的中誤差，如表1所示：傳統(tǒng)的Live-wire算法自動化程度低、其標注受人為選取的特征點的影響大、穩(wěn)健性較差。本文改進的方法的樣本標注的穩(wěn)健性、自動化程度更高。假如有n次觀測提取，則標注算法的中誤差可按式(14)計算。

表1 方法II和方法III樣本標注穩(wěn)健性分析

(14)

直觀的從標注圖像可以看出，如圖2所示，改進后邊緣更加連續(xù)、完整,噪聲[33]影響減少改進后的邊緣更加平滑，鋸齒現(xiàn)象減少。用改進的Live-Wire算法完成輪廓提取，沿著順時針方向構(gòu)建輪廓邊界點序列，結(jié)合曲線積分區(qū)域填充算法[23,34]，以不同色(根據(jù)分類選擇)填充區(qū)域，完成目標標注。

圖2 傳統(tǒng)代價函數(shù)與優(yōu)化代價函數(shù)的標注

圖3 裸露地樣本局部標注對比

圖4 筑物樣本局部標注對比

圖5 水體樣本局部標注對比

圖6 耕地樣本局部標注對比

4 結(jié)束語

標簽的制作是深度學(xué)習(xí)中訓(xùn)練學(xué)習(xí)模型的關(guān)鍵步驟，針對高分辨率航空影像地物復(fù)雜、紋理豐富、背景噪聲以及密度大、且可能存在模糊的邊緣特性的特點，改進已有的Live-wire半自動輪廓提取算法，提高其邊緣提取的連續(xù)性、抗噪性和平滑性。首先，通過改進模糊隸屬度函數(shù)克服了Pal-King隸屬函數(shù)可能的灰度覆蓋空間不足的缺陷并結(jié)合雙閾值方法實現(xiàn)邊緣點的提取，以改進的Pal-King的模糊邊緣檢測方法替代Live-Wire算法的拉普拉斯邊緣提取方法。其次，通過增加節(jié)點之間梯度幅值的變化特征優(yōu)化代價函數(shù)，以提高Live-Wire算法的輪廓跟蹤的連續(xù)性。對比實驗證明，本文所述的方法(稱為方法III)傳統(tǒng)的Live-Wire方法(稱為方法II)的輪廓跟蹤的邊緣貼合度和自動化程度都優(yōu)于傳統(tǒng)的標注工具(Labelme、LabelImg)。但本文所述方法的穩(wěn)健性和自動化程度優(yōu)于傳統(tǒng)的Live-Wire輪廓提取和跟蹤方法。利用該方法，項目組正在進行無人機低空遙感影像海量樣本集和樣本標注工作的研究。