SIFT特征匹配的輻射畸變圖像相對校正新方法

周可，秦世引

(北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191)

SIFT特征匹配的輻射畸變圖像相對校正新方法

周可，秦世引

(北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191)

針對常規(guī)相對輻射校正方法對未配準(zhǔn)的主從圖像對校正效果欠佳的問題，在分析了輻射畸變圖像的成因與特點(diǎn)以及相對校正的優(yōu)勢之后，提出了一種基于SIFT特征匹配的相對輻射校正算法.從SIFT特征的不變性出發(fā)，分別提取主從圖像對的SIFT特征并進(jìn)行匹配，對匹配點(diǎn)的灰度值進(jìn)行最小二乘回歸分析，得到線性變換系數(shù)，最后通過線性變換得到校正結(jié)果.實(shí)驗(yàn)結(jié)果表明，此方法能夠有效地減小未配準(zhǔn)主從圖像對之間的輻射差異，并在復(fù)雜光照環(huán)境下的光流場計(jì)算中得到成功的應(yīng)用.

未配準(zhǔn)主從圖像對;尺度不變特征變換;特征匹配;相對輻射校正;光流場

輻射畸變是指傳感器在接收來自目標(biāo)的電磁波輻射能時(shí)，由于電磁波在大氣層中傳輸和傳感器測量中受到傳感器本身特性、光照條件等因素的影響，導(dǎo)致傳感器測量值與目標(biāo)實(shí)際的光譜輻射率不一致［1－2］的現(xiàn)象.實(shí)際成像過程中，普遍存在著由于光照條件等原因引起的不同時(shí)相圖像間存在輻射畸變的現(xiàn)象.輻射畸變的存在導(dǎo)致許多圖像不能應(yīng)用于圖像識(shí)別、目標(biāo)檢測與跟蹤中，為了更好地利用目標(biāo)在不同時(shí)相圖像上的信息，需要對多時(shí)相圖像進(jìn)行輻射校正.

輻射校正是指消除同一目標(biāo)在不同時(shí)相圖像之間輻射畸變的過程［3］.目前，輻射校正方法主要分為絕對輻射校正和相對輻射校正兩大類.

絕對輻射校正方法處理時(shí)需要利用圖像獲取時(shí)的一些參數(shù)(例如大氣能見度、太陽天頂角和傳感器標(biāo)定參數(shù)等)，獲取這些參數(shù)代價(jià)昂貴，尤其對于部分歷史存檔數(shù)據(jù)，獲取這些參數(shù)更是不可能的.由于絕對輻射校正時(shí)需要圖像獲取時(shí)的參數(shù)，所以一部分衛(wèi)星或航空攝影設(shè)備能夠在獲取圖像時(shí)通過傳感器記錄太陽天頂角等參數(shù)，將這些參數(shù)一起傳回地面保存，為圖像的絕對輻射校正準(zhǔn)備數(shù)據(jù).

相對輻射校正是將一幅圖像作為參考圖像(基準(zhǔn)圖像或主圖像)，調(diào)整待校正圖像(從圖像)的灰度值，使得2幅圖像上同一目標(biāo)具有相同或相近的灰度分布.主圖像與從圖像組成一組主從圖像對.相對輻射校正操作簡單，且不需要圖像獲取時(shí)的參數(shù).如何從不同時(shí)相的圖像中準(zhǔn)確確定同一目標(biāo)的位置是相對輻射校正中的一個(gè)挑戰(zhàn)性問題.針對這一問題，目前的解決途徑是通過將主從圖像對進(jìn)行精確的幾何配準(zhǔn)，然后通過圖像之間的坐標(biāo)關(guān)系來確定目標(biāo)位置.當(dāng)主從圖像對之間的幾何配準(zhǔn)精度偏低或未進(jìn)行幾何配準(zhǔn)時(shí)，常規(guī)的相對輻射校正算法在擴(kuò)大或縮小從圖像的灰度分布范圍的同時(shí)，會(huì)導(dǎo)致圖像的直方圖與主圖像直方圖有較大差異，從而導(dǎo)致校正效果變差.

由SIFT特征［4］的不變性可知，2幅圖像上SIFT特征的匹配點(diǎn)在實(shí)際場景中為同一點(diǎn).因此，可以通過SIFT特征提取與匹配來確定不同圖像中同一目標(biāo)的位置.本文提出了一種基于SIFT特征匹配的相對輻射校正算法，首先通過對主從圖像對進(jìn)行SIFT特征提取與匹配來進(jìn)行樣本點(diǎn)選擇，再利用這些樣本點(diǎn)進(jìn)行線性相對輻射校正.

1 輻射畸變圖像的成因和特點(diǎn)

成像過程中，輸出亮度值是傳感器對進(jìn)入傳感器的輻射能量的響應(yīng).通常，傳感器正常工作在線性區(qū)，即輸出亮度值與進(jìn)入傳感器輻射能量成正比關(guān)系.

式中:DN表示傳感器的輸出亮度值，DNmax表示傳感器最大輸出亮度值，Ls表示進(jìn)入傳感器的輻射值，Lmin表示傳感器能夠做出響應(yīng)的最低輻射值，Lmax表示傳感器的飽和輻射值.

在成像過程中，傳感器接收到輻射能量主要有3種途徑:1)光源發(fā)出的輻射能量經(jīng)過目標(biāo)表面反射之后進(jìn)入傳感器;2)部分輻射能量經(jīng)過多次散射之后通過目標(biāo)反射進(jìn)入傳感器;3)部分輻射能量不經(jīng)過目標(biāo)反射直接進(jìn)入傳感器如圖1所示.

圖1 輻射畸變的成因Fig.1 The formation cause of radiometric distortion

由于散射和吸收等原因，光源發(fā)出的入射輻射能量E0在照射到目標(biāo)表面之前的傳播過程中會(huì)發(fā)生衰減，在目標(biāo)表面發(fā)生漫反射之后，進(jìn)入傳感器之前也會(huì)發(fā)生衰減.因此，有由光源發(fā)出的經(jīng)過目標(biāo)表面反射之后進(jìn)入傳感器的輻射能量:

式中:L1表示進(jìn)入傳感器的輻射能量，R表示目標(biāo)表面的反射率，S表示與系統(tǒng)有關(guān)的系數(shù)，θ為入射角，Tθ為與入射角有關(guān)的透過率，Tφ為與反射角有關(guān)的透過率，E0為入射的輻射能量.

部分輻射能量ED經(jīng)過散射之后通過目標(biāo)反射進(jìn)入傳感器，用L2表示.

除了上述2部分輻射能量之外，還有部分輻射能量不通過目標(biāo)反射而直接進(jìn)入傳感器，這部分能量通常稱為程輻射，用Lp表示.

因此，進(jìn)入傳感器的總輻射能量:

在2個(gè)不同時(shí)相上獲取圖像時(shí)，

式(1)經(jīng)過變換，可以得到Ls1與Ls2的關(guān)系如下:

在不同時(shí)相獲取圖像時(shí)，除了目標(biāo)表面反射率R能夠保持基本不變之外，其余參數(shù)都有可能發(fā)生變化，從而導(dǎo)致目標(biāo)上同一點(diǎn)在不同時(shí)相圖像上亮度不一致，造成輻射畸變.

從輻射畸變圖像的成因可以看出，在考慮環(huán)境光照變化引起的輻射畸變時(shí)，對于不同時(shí)相的輻射畸變圖像，由于相對運(yùn)動(dòng)的原因，同一物體上同一點(diǎn)的坐標(biāo)關(guān)系會(huì)比較復(fù)雜，但是其灰度值滿足線性關(guān)系.

2 相對校正的優(yōu)勢與必要條件

相對輻射校正方法按照其數(shù)學(xué)基礎(chǔ)可分為非線性校正法和線性校正法［5－6］.直方圖匹配 (HM)法［7－8］是一種典型的非線性相對輻射校正方法，通過將從圖像與主圖像進(jìn)行直方圖匹配，使主從圖像對具有相近的灰度概率分布，以達(dá)到減小主從圖像對之間輻射差異的目的.線性相對輻射校正方法［5，9］中，同一目標(biāo)在不同時(shí)相圖像上灰度值滿足線性關(guān)系，x和y分別表示主圖像與從圖像上像素的灰度值:

式中:a、b為線性方程的增益和偏移量.可通過最小二乘回歸等方法估計(jì)式(2)中的參數(shù)a、b，并對從圖像進(jìn)行線性變換，以求得校正結(jié)果.

與絕對輻射校正相比，相對輻射校正時(shí)需要的僅僅是同一目標(biāo)不同時(shí)相的圖像組成的主從圖像對，而不需要圖像獲取時(shí)的諸多參數(shù).因此，相對輻射校正的成本低，可操作性強(qiáng)，給定主從圖像對之后，能夠自動(dòng)進(jìn)行輻射校正，無需人工干預(yù).

進(jìn)行相對校正時(shí)必須輸入合適的主從圖像對，要求目標(biāo)在主從圖像對上的姿態(tài)基本保持一致，目標(biāo)可以在像平面內(nèi)發(fā)生平移和旋轉(zhuǎn)，但是不能有滾動(dòng).

3 SIFT特征提取與匹配

SIFT是一種對圖像尺度變化和旋轉(zhuǎn)的不變量［10－13］.在構(gòu)造 SIFT 特征時(shí)進(jìn)行一些特殊處理，可使SIFT對圖像的復(fù)雜變形和光照變化也具有較強(qiáng)的適應(yīng)性.同時(shí)SIFT運(yùn)算速度比較快，定位精度比較高.在主從圖像對未進(jìn)行配準(zhǔn)時(shí)，目標(biāo)可能存在平移旋轉(zhuǎn)以及尺度變化，利用SIFT特征的不變性，可以很好地找到同一目標(biāo)點(diǎn)在不同時(shí)相圖像上的位置.

3.1 SIFT特征提取

3.1.1 尺度空間極值點(diǎn)檢測與精確定位

一般而言，在合理的假設(shè)之下，尺度空間核可表示為高斯函數(shù).設(shè)尺度因子σ可變的高斯函數(shù)為G(x，y，σ)，對于圖像I(x，y)而言，其尺度空間函數(shù)L(x，y，σ)可定義為如下的卷積形式［4］，即

為了有效檢測出尺度空間中的關(guān)鍵點(diǎn)，可用2個(gè)尺度鄰近的高斯函數(shù)(為簡便計(jì)，可分別取為σ和kσ)之差與待檢圖像進(jìn)行卷積，則有

式(3)表明，此檢測策略可以通過尺度空間函數(shù)L(x，y，σ)求差來實(shí)現(xiàn).對于某一關(guān)鍵點(diǎn)而言，考慮尺度維因素，需要將該關(guān)鍵點(diǎn)與同一尺度下周圍8鄰域的像素以及相鄰尺度上下對應(yīng)位置的9×2=18鄰域的像素，總共26個(gè)像素進(jìn)行比較.

在獲得大量候選特征點(diǎn)的基礎(chǔ)上，通過擬合三維二次函數(shù)精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性，提高抗噪聲能力.

3.1.2 確定關(guān)鍵點(diǎn)方向

利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性，為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具有旋轉(zhuǎn)不變性.特征點(diǎn)(x，y)處梯度模值和方向的計(jì)算公式為

式中:L所用的尺度為關(guān)鍵點(diǎn)所在尺度.為增強(qiáng)梯度計(jì)算的穩(wěn)定性，計(jì)算以特征點(diǎn)為中心鄰域窗口內(nèi)的梯度直方圖.梯度直方圖峰值處為該特征點(diǎn)處鄰域梯度的主方向.

3.1.3 描述關(guān)鍵點(diǎn)

在以關(guān)鍵點(diǎn)為中心的16×16的窗口內(nèi)，分別計(jì)算每個(gè)像素梯度的模值mij和方向θij，然后用高斯窗口對其進(jìn)行加權(quán)運(yùn)算，每個(gè)像素對應(yīng)一個(gè)向量，長度為G(σ'，i，j)*mij，G(σ'，i，j)為該像素點(diǎn)的高斯權(quán)值，方向?yàn)棣萯j，每個(gè)向量在4×4的子窗口范圍內(nèi)投影到8個(gè)梯度方向上，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)8維向量.這樣每個(gè)特征點(diǎn)就用4×4×8=128維向量來表征.最后對特征向量歸一化，去除光照影響.于是，每一個(gè)關(guān)鍵點(diǎn)可以用一個(gè)128維的SIFT特征來描述.

3.2 SIFT特征匹配

進(jìn)行SIFT特征匹配時(shí)，可以用2個(gè)關(guān)鍵點(diǎn)特征向量的歐氏距離作為其相似性測度.2幅圖像I和I'中特征點(diǎn)Ii和Ij'的相似性測度為

式中:i和j分別表示2個(gè)圖像中的特征點(diǎn)標(biāo)號(hào)，F(xiàn)(Ii)m和F()m分別表示特征點(diǎn)Ii和Ij'對應(yīng)的特征向量.當(dāng)2個(gè)向量的歐氏距離小于閾值時(shí)認(rèn)為這2個(gè)點(diǎn)已經(jīng)匹配上.

4 基于SIFT特征匹配的相對校正策略新方法

4.1 基于SIFT特征匹配的相對輻射校正策略與算法流程

結(jié)合SIFT特征的不變性，可以利用目標(biāo)上點(diǎn)的SIFT特征來進(jìn)行樣本點(diǎn)的選擇.首先將不同時(shí)相圖像上目標(biāo)的SIFT特征進(jìn)行匹配，取匹配點(diǎn)作為樣本點(diǎn).然后利用樣本點(diǎn)的灰度值進(jìn)行線性回歸，估計(jì)線性參數(shù).最后對從圖像進(jìn)行線性變換從而得到校正結(jié)果.算法的流程如表1所示.

表1 基于SIFT特征匹配的相對輻射校正算法Table 1 Relative radiometric correction method based on SIFT feature matching

4.2 算法流程的技術(shù)實(shí)現(xiàn)

4.2.1 樣本點(diǎn)選擇

在常規(guī)線性相對輻射校正方法中，由于其假設(shè)主從圖像對已經(jīng)進(jìn)行了幾何配準(zhǔn)，所以在選擇樣本點(diǎn)的過程中，使用了像素點(diǎn)的位置信息和亮度信息.比如，圖像回歸法(image regression，IR)［9］將主從圖像對上所有的像素都作為樣本點(diǎn).偽不變特征法(pseudo－invariant feature，PIF)［14－15］選擇樣本點(diǎn)的評價(jià)標(biāo)準(zhǔn)是:

式中:x(i，j)與y(i，j)分別代表主圖像與從圖像上像元灰度值，T1和T2為閾值.這些方法在主從圖像對未進(jìn)行精確配準(zhǔn)時(shí)，選擇的樣本點(diǎn)將不符合要求，導(dǎo)致常規(guī)線性校正方法不適用于未配準(zhǔn)主從圖像對之間的相對輻射校正.

為了使樣本點(diǎn)選擇與主從圖像對之間的配準(zhǔn)精度無關(guān)，本文提出了一種基于SIFT特征匹配的樣本點(diǎn)選擇算法.分別對主圖像和從圖像提取SIFT特征，然后利用得到的SIFT特征進(jìn)行特征匹配.對于能夠匹配的點(diǎn)，認(rèn)為它們是實(shí)際場景中的同一點(diǎn).通過SIFT特征描述得到匹配點(diǎn)的坐標(biāo)之后，將這些匹配點(diǎn)作為樣本點(diǎn)，然后將樣本點(diǎn)的灰度值輸出，用于估計(jì)線性參數(shù).算法流程如表2所示.

表2 基于SIFT特征匹配的樣本點(diǎn)選擇Table 2 Algorithm of sample selection based on SIFT feature matching

4.2.2 線性關(guān)系的參數(shù)估計(jì)

本文通過最小二乘回歸法［16－19］來估計(jì)線性回歸系數(shù)，該方法操作簡單，實(shí)用性強(qiáng).樣本點(diǎn)灰度值數(shù)據(jù)集A表示為A1(x1，y1)，A2(x2，y2)，…，An(xn，yn)，xi與yi分別代表主圖像與從圖像上樣本點(diǎn)的灰度值，滿足線性回歸關(guān)系:

式中:代表從圖像上第i個(gè)樣本點(diǎn)灰度值的計(jì)算值.由最小二乘回歸分析法可以得到

4.2.3 基于線性變換的校正結(jié)果求解

在獲得線性變換參數(shù)a和b之后，對從圖像進(jìn)行線性變換，即可得到校正結(jié)果.線性關(guān)系為

式中:y'(i，j)為校正結(jié)果上像素(i，j)的灰度值，

y(i，j)為從圖像上像素(i，j)的灰度值.

4.3 實(shí)驗(yàn)與評價(jià)

4.3.1 校正效果主觀評測

視覺效果是評判相對輻射校正效果的最直接方法.為了便于比較，特將主圖像與各種輻射校正方法對從圖像的處理結(jié)果進(jìn)行配準(zhǔn).仿真實(shí)驗(yàn)中，主從圖像之間只存在幾何位置的旋轉(zhuǎn)、平移變換、灰度值的線性變換等.對于這類圖像的幾何配準(zhǔn)問題，P.Vandewalle［20］提出了一種基于傅里葉頻譜的配準(zhǔn)方法.該方法將圖像變換到頻域，通過計(jì)算2幅圖傅里葉頻譜之間的相位相關(guān)性來計(jì)算旋轉(zhuǎn)角，進(jìn)行旋轉(zhuǎn)補(bǔ)償之后再計(jì)算平移向量，具有計(jì)算簡單、速度快、精度可控的特點(diǎn).本文選擇該方法對輻射校正前的從圖像及其校正結(jié)果與主圖像進(jìn)行幾何配準(zhǔn).

1)高精度幾何配準(zhǔn)的輻射校正實(shí)驗(yàn)結(jié)果.

由于幾何配準(zhǔn)精度對傳統(tǒng)方法的校正效果影響較大，所以先考慮高精度幾何配準(zhǔn)條件下本文方法與傳統(tǒng)方法的輻射校正結(jié)果之比較.圖2(a)、(b)給出了進(jìn)行相對輻射校正前進(jìn)行過精確幾何配準(zhǔn)的主從圖像對及其直方圖，(c)、(d)、(e)為各種輻射校正方法的處理結(jié)果及直方圖.

從圖2中可以看出，在高精度幾何配準(zhǔn)條件下，圖像回歸(IR)法、直方圖匹配(HM)法以及本文方法都能夠有效地使校正結(jié)果中像素的灰度分布接近于參考圖像.

圖2 幾何配準(zhǔn)后的主從圖像對及處理結(jié)果Fig.2 The registration of master-slave image couple and the results of relative radiometric correction

2)幾何配準(zhǔn)精度欠佳時(shí)的實(shí)驗(yàn)結(jié)果分析.

圖3中給出了進(jìn)行相對輻射校正前的未配準(zhǔn)的主從圖像對.

圖3 配準(zhǔn)前主從圖像對Fig.3 The unregistered master-slave image couple

圖4 相對輻射校正實(shí)驗(yàn)結(jié)果及其直方圖Fig.4 Experiment results of relative radiometric correction and their histograms

從圖4中各灰度直方圖可以看出，圖像回歸(IR)法、直方圖匹配(HM)法以及本文方法都有效地增大待校正圖像的灰度分布范圍.但是圖像回歸法在增大灰度分布范圍的同時(shí)也導(dǎo)致灰度直方圖與參考圖像有較大差異，而經(jīng)直方圖匹配法與本文方法處理之后灰度直方圖與參考圖像比較接近.從而表明本文方法能夠有效消除圖像之間的輻射差異，且有良好的魯棒性.

4.3.2 校正效果客觀評測

對于線性校正方法，可以通過比較各種方法在估計(jì)回歸參數(shù)時(shí)的準(zhǔn)確性來評價(jià)其相對輻射校正效果.實(shí)驗(yàn)中，待校正圖像與參考圖像之間滿足式(2)所描述的線性關(guān)系，其中的系數(shù)a和b是已知的，因此可以通過比較校正時(shí)算法估計(jì)的系數(shù)a和b與真實(shí)值的誤差來評價(jià)算法的準(zhǔn)確性.

定義誤差

式中:表示參數(shù)估計(jì)值，aj表示參數(shù)真實(shí)值，N表示實(shí)驗(yàn)樣本數(shù)目.

在表3和表4中，a列和b列分別表示仿真時(shí)進(jìn)行灰度調(diào)整時(shí)增益和偏移量的真實(shí)值，ai列和bi列分別表示配準(zhǔn)精度高時(shí)圖像回歸(IR)法所估計(jì)的增益和偏移量，as列和bs列分別表示本文方法所估計(jì)的增益和偏移量.從表3和表4可以看出，在幾何配準(zhǔn)精度高時(shí)，本文方法的參數(shù)估計(jì)精度與圖像回歸法參數(shù)估計(jì)精度相似.

表3 幾何配準(zhǔn)精度高時(shí)參數(shù)a估計(jì)精度對比Table 3 Comparison of the accuracy of estimate parameter‘a(chǎn)’with high precision geometric registration

表4 幾何配準(zhǔn)精度高時(shí)參數(shù)b估計(jì)精度對比Table 4 Comparison of the accuracy of estimate parameter‘b’with high precision geometric registration

表5和表6中，a列和b列分別表示仿真時(shí)進(jìn)行灰度調(diào)整時(shí)增益和偏移量的真實(shí)值，ai列和bi列分別表示幾何配準(zhǔn)誤差較大時(shí)圖像回歸(IR)法所估計(jì)得到的增益和偏移量，as列和bs列分別表示本文方法在幾何配準(zhǔn)誤差較大時(shí)所估計(jì)得到的增益和偏移量.從表5和表6可以看出，當(dāng)幾何配準(zhǔn)的誤差較大時(shí)，圖像回歸法估計(jì)的參數(shù)精度迅速下降，而本文方法的參數(shù)估計(jì)誤差明顯小于圖像回歸法，參數(shù)估計(jì)精度高.

表5 幾何配準(zhǔn)精度欠佳時(shí)參數(shù)a估計(jì)精度對比Table 5 Comparison of the accuracy of estimate parameter‘a(chǎn)’with low precision geometric registration

表6 幾何配準(zhǔn)精度欠佳時(shí)參數(shù)b估計(jì)精度對比Table 6 Comparison of the accuracy of estimate parameter‘b’with low precision geometric registration

均方根誤差(RMSE)可用于檢驗(yàn)圖像之間的相似性，

式中:y'(i，j)與y(i，j)分別表示2 幅圖像上像素(i，j)灰度值.RMSE值越小，說明參與計(jì)算的2幅圖像越相似.進(jìn)行RMSE計(jì)算之前，對各圖像進(jìn)行了幾何配準(zhǔn).

由表7可知，校正結(jié)果與參考圖像之間的RMSE值均小于從圖像與參考圖像之間的RMSE值，說明各算法都能有效地減小主從圖像對之間的輻射差異，改善從圖像與主圖像的相似性.本文方法校正結(jié)果的RMSE值小于圖像回歸法與直方圖匹配法，說明本文方法減小未配準(zhǔn)的主從圖像對之間的輻射差異的能力強(qiáng)于這2種傳統(tǒng)方法.

表7 3種算法RMSE值比較Table 7 Comparison of RMSE of the processing results of three algorithms

5 復(fù)雜光照環(huán)境下面向光流場計(jì)算的校正實(shí)驗(yàn)結(jié)果分析

光流［21］是指圖像中灰度模式的運(yùn)動(dòng)速度，表征了二維圖像灰度變化與景物中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系.它利用像素灰度的時(shí)域變化和相關(guān)性來確定各像素點(diǎn)的運(yùn)動(dòng)，進(jìn)而分析場景中物體的結(jié)構(gòu)和運(yùn)動(dòng).光流場是所有光流點(diǎn)的集合，它是一種二維瞬時(shí)速度場，其中二維速度矢量是場景中可見三維速度矢量在成像表面上的投影.

5.1 光流原理與基本方程

Horn等人在灰度恒定假設(shè)的前提下揭示了光流的原理性定量關(guān)系，給出了光流的基本方程.他們認(rèn)為在連續(xù)相鄰的不同圖像上，對應(yīng)物上同一點(diǎn)的像素灰度值是相同的，此假設(shè)在連續(xù)圖像序列中當(dāng)灰度變化很小時(shí)近似成立.

設(shè)f(x，y，t)為t時(shí)刻在坐標(biāo)(x，y)處的灰度值，u(x，y)和v(x，y)是該點(diǎn)光流的x和y分量.根據(jù)灰度恒定假設(shè)，在t+dt時(shí)刻，點(diǎn)(x，y)運(yùn)動(dòng)到了點(diǎn)(x+dx，y+dy)，根據(jù)前述假設(shè)有

將式(6)的左邊用Taylor級(jí)數(shù)展開得

整理化簡并去除無窮小可得

5.2 光流計(jì)算實(shí)驗(yàn)與分析

目標(biāo)檢測與跟蹤是光流的一個(gè)重要應(yīng)用.光流準(zhǔn)確性對目標(biāo)檢測和跟蹤的效果有顯著影響.在通常的光流計(jì)算中，假設(shè)目標(biāo)的灰度保持不變.然而，在實(shí)際應(yīng)用中，由于遮擋、多光源、透明性以及噪聲等多方面的原因，使得灰度守恒的假設(shè)條件不能滿足.因此，計(jì)算得到的光流不夠準(zhǔn)確，誤差過大，不能滿足目標(biāo)檢測與跟蹤的要求.圖5為在環(huán)境光照變化劇烈時(shí)相鄰2幀圖像直接進(jìn)行光流計(jì)算得到的光流圖.從中可以看出，光流的分布比較混亂，誤差較大，不宜用于目標(biāo)檢測與跟蹤.

圖5 輻射校正前的光流場Fig.5 The optical flow field before radiometric correction

經(jīng)過對圖5的分析可知灰度恒定假設(shè)是進(jìn)行光流計(jì)算的一個(gè)重要前提.實(shí)際環(huán)境中拍攝到圖像序列中相鄰2幀圖像之間不僅存在灰度分布的差異，幾何位置也會(huì)存在差異.由于本文方法能夠在存在幾何差異的情況下對主從圖像對進(jìn)行有效的輻射校正，因此，選擇本文方法對輸入的圖像序列進(jìn)行輻射校正，從而使前后2幀圖像中目標(biāo)的亮度保持基本不變，適合于進(jìn)行光流計(jì)算.

圖6(a)、(b)為使用本文方法進(jìn)行輻射校正之后的光流計(jì)算結(jié)果.從圖中可以看出，進(jìn)行輻射校正之后計(jì)算出的光流比校正前計(jì)算的光流更合理，可以應(yīng)用于目標(biāo)檢測與跟蹤中.

圖6 輻射校正后的光流場Fig.6 The optical flow field after radiometric correction

6 結(jié)束語

本文對常規(guī)相對輻射校正方法中的圖像回歸法進(jìn)行了改進(jìn)，采用基于SIFT特征匹配的方法進(jìn)行特征點(diǎn)選擇，通過線性回歸的方法求解線性參數(shù)之后對從圖像進(jìn)行線性變換得到校正結(jié)果.實(shí)驗(yàn)表明，在主從圖像對之間的幾何配準(zhǔn)精度偏低時(shí)，本文方法的處理效果優(yōu)于圖像回歸法以及直方圖匹配法.將該方法應(yīng)用于復(fù)雜環(huán)境下的光流場計(jì)算的問題中，很好地解決了由于光照變化導(dǎo)致的光流場計(jì)算錯(cuò)誤問題，驗(yàn)證了本算法的處理效果.

［1］湯國安，張友順，劉永梅，等.遙感數(shù)字圖像處理［M］.北京:科學(xué)出版社，2004:104－123.

［2］JENSEN J R.Introductory digital image processing a remote sensing perspective［M］.3rd ed.Beijing:China Machine Press，2007:152－236.

［3］賀威.傳感器與遙感影像的輻射校正方法探索［D］.秦皇島:燕山大學(xué)，2005:1－24.

HE Wei.The research of radiometric correction of sensor and remoto sensing images［D］.Qinhuangdao:Yanshan university，2005:1－24.

［4］LOWE D G.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［5］朱紹攀，陳宇.大氣輻射校正方法分析［J］.地理空間信息，2010，8(1):113－116.

ZHU Shaopan，CHEN Yu.Methods for atmospheric radiation correction［J］.Geospatial Information，2010，8(1):113－116.

［6］DENG Shubin，WU Honggan，JIANG Tao.A study on relative radiometric normalization for remote sensing dynamic monitoring［J］.Remote Sensing Information，2008，4:71－75.

［7］張鵬強(qiáng)，余旭初，劉智.多時(shí)相遙感圖像相對輻射校正［J］. 遙感學(xué)報(bào)，2006，10(3):339－344.

ZHANG Pengqiang，YU Xuchu，LIU Zhi.A study on relative radiometric correction of multitemporal remote sensing images［J］.Journal of Remote Sensing，2006，10(3):339－344.

［8］吳文瑾.使用VC實(shí)現(xiàn)基于直方圖的相對輻射校正［J］.電腦知識(shí)與技術(shù)，2009，5(12):3202－3203，3206.

WU Wenjin.Relative radiometric correction with VC program based on histogram matching method［J］.Computer Knowledge and Technology，2009，5(12):3202－3203，3206.

［9］丁麗霞，周斌，王人潮.遙感監(jiān)測中5種相對輻射校正方法研究［J］. 浙江大學(xué)學(xué)報(bào)，2005，31(3):269－276.

DING Lixia，ZHOU Bin，WANG Rencao.Comparison of five relative radiometric normalization techniques for remote sensing monitoring［J］.Journal of Zhejiang University，2005，31(3):269－276.

［10］王田甲，劉國榮.SIFT改進(jìn)算法在圖像配準(zhǔn)中的應(yīng)用［J］.微電子學(xué)與計(jì)算機(jī)，2011，28(5):184－188.

WANG Tianjia，LIU Guorong.Improved SIFT algorithm for image matching［J］.Microelectornics ＆ Computer，2011，28(5):184－188.

［11］于麗莉，戴青.一種改進(jìn)的SIFT特征提取算法［J］.計(jì)算機(jī)工程，2011，37(2):210－212.

YU Lili，DAI Qing.Improved SIFT feature matching algorithm［J］.Computer Engineering，2011，37(2):210－212.

［12］付永慶，宋寶森，吳建芳.邊緣分類SIFT算法［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2010，32(5):632－636.

FU Yongqing，SONG Baosen，WU Jianfang.An improved scale invariant feature transform algorithm［J］.Journal of Harbin Engineering University，2010，32(5):632－636.

［13］李萍，周榮福，劉苗.柱面全景圖單點(diǎn)投影及配準(zhǔn)拼接算法［J］. 自動(dòng)化技術(shù)與應(yīng)用，2011，30(3):36－39，60.

LI Ping，ZHOU Rongfu，LIU Miao.One－point projection and registration of cylinder panorama［J］.Techniques of Automation and Applications，2011，30(3):36－39，60.

［14］郭麗峰，高小紅，亢健，等.偽不變特征法在遙感影像歸一化處理中的應(yīng)用［J］.遙感技術(shù)與應(yīng)用，2009，24(5):588－595.

GUO Lifeng，GAO Xiaohong，KANG Jian，et al.Application of the pseudo－invariant feature in normalization process of the remote sensing images［J］.Remote Sensing Technology and Application，2009，24(5):588－595.

［15］SCHOTT J R，SALVAGGIO C，VOLCHOK W J.Radiometric scene normalization using pseudo－invariant features［J］.Remote Sens Environ，1988，26:1－16.

［16］SLEPIAN D.Linear least－squares filtering of distorted images［J］.Opt Soc Amer，1967，57(7):918－922.

［17］李福金，秦志偉.最小二乘影像匹配算法設(shè)計(jì)與實(shí)現(xiàn)［J］. 測繪與空間地理信息，2011，34(2):190－192.

LI Fujin，QIN Zhiwei.Design and implementation of the algorithm of least squares image matching［J］.Geomatics＆ Spatial Information Technology，2011，34(2):190－192.

［18］邱衛(wèi)寧，齊公玉，田豐瑞.整體最小二乘求解線性模型的改進(jìn)算法［J］.武漢大學(xué)學(xué)報(bào)，2010，35(6):708－710.

QIU Weining，QI Gongyu，TIAN Fengrui.An improved algorithm of total least squares for linear models［J］.Geomatics and Information Science of Wuhan University，2010，35(6):708－710.

［19］BIDAY S，BHOSLE U.Relative radiometric correction of cloudy multitemporal satellite imagery［J］.World Academy of Science，Engineering and Technology，2009，51:241－245.

［20］PATRICK Vandewalle.Super－resolution from unregisted aliased images［D］.Brussels，Belgium:Katholieke Universiteit Leuven，2006:31－37.

［21］HUANG Yan，ZHUANG Xinhua.Optic flow field segmentation and motion estimation using a robust genetic partitioning algorithm［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17(12):1177－1190.

周可，男，1986年生，碩士研究生，主要研究方向?yàn)榛殳B序列圖像校正與超分辨率重建.

秦世引，男，1955年生，教授，博士生導(dǎo)師，主要研究方向?yàn)閺?fù)雜系統(tǒng)的智能控制、圖像處理與模式識(shí)別等.作為負(fù)責(zé)人主持完成(或在研)國家攀登計(jì)劃項(xiàng)目的子課題、國家“973”計(jì)劃項(xiàng)目的子課題、國家“863”計(jì)劃項(xiàng)目、國家自然科學(xué)基金項(xiàng)目、國防科技預(yù)研基金項(xiàng)目等20余項(xiàng).1999年獲全國優(yōu)秀科技圖書獎(jiǎng)暨科技進(jìn)步獎(jiǎng)(科技著作)一等獎(jiǎng)，1999年獲國家第5屆工程設(shè)計(jì)優(yōu)秀軟件金獎(jiǎng).發(fā)表學(xué)術(shù)論文180余篇，出版學(xué)術(shù)專著1部，研究生教材1部，譯著2部.

A novel method for relative correction of a radiometric distortion image based on SIFT feature matching

ZHOU Ke，QIN Shiyin

(School of Automation Science and Electrical Engineering，Beihang University，Beijing 100191，China)

In view of the issue of traditional relative radiometric correction methods not being able to handle the effects in dealing with unregistered master－slave image couples，systematic analysis of formation causes and radiometric distortion image characteristics was carried out and the advantages of relative corrections were investigated.Therefore，a novel relative radiometric correction method was proposed based on SIFT feature matching.Depending on their feature invariance，the SIFT features of the master－slave image couple were extracted and matched first，and then the least square regression was employed to analyze the gray values of the matching points in order to obtain the linear transformation coefficients.Finally the correction result was achieved through the linear transformation of the slave image.A series of experimental results show that the radiometric differences between the unregistered master－slave image couples may be effectively reduced by using this method.In addition，this method has been successfully applied in the calculation of an optical flow field under complex light environments.

unregistered master－slave image couple;scale－invariant feature transform;feature matching;relative radiometric correction;optical flow field

TP751

A

1673－4785(2011)06－0507－08

10.3969/j.issn.1673－4785.2011.06.005

2011－07－07.

國家自然科學(xué)基金資助項(xiàng)目(60875072);北京市自然科學(xué)基金資助項(xiàng)目(4112035);中澳國際合作資助項(xiàng)目(2007DFA11530).

周可.E－mail:freehawkzk@126.com.