基于相關(guān)系數(shù)法的彩色圖像立體匹配方法

孔維哲

（1.長(zhǎng)江重慶航道局，重慶 401147）

圖像匹配是圖像信息處理領(lǐng)域中一項(xiàng)極為基本和重要的技術(shù)，其應(yīng)用領(lǐng)域已逐步從原來(lái)單純的軍事應(yīng)用擴(kuò)展到其他領(lǐng)域，尤其在數(shù)字?jǐn)z影測(cè)量、計(jì)算機(jī)視覺(jué)、模式識(shí)別中應(yīng)用更為廣泛[1]。數(shù)字?jǐn)z影測(cè)量與傳統(tǒng)的模擬攝影測(cè)量以及解析攝影測(cè)量有著明顯的不同，主要體現(xiàn)在數(shù)字?jǐn)z影測(cè)量不是影像存儲(chǔ)設(shè)備，而是自動(dòng)化處理流程，影像匹配是不可忽視的核心技術(shù)。實(shí)際生活中的圖像非常復(fù)雜，而且紋理特性十分明顯，匹配錯(cuò)誤的現(xiàn)象時(shí)有發(fā)生。精準(zhǔn)快速地發(fā)現(xiàn)不正確的匹配點(diǎn)、提高匹配結(jié)果的精準(zhǔn)度是一項(xiàng)重要的工作。當(dāng)匹配模式不同時(shí)，其優(yōu)勢(shì)和缺陷也存在很大的區(qū)別，當(dāng)前匹配方法有地形連續(xù)控制策略[2]、最小二乘匹配方法、整體松弛匹配方法[3]等多種類型。

本文在研究過(guò)程中將相關(guān)系數(shù)當(dāng)成匹配測(cè)度，對(duì)同一個(gè)影像的不同波段實(shí)施粗匹配，并對(duì)相關(guān)結(jié)果實(shí)施對(duì)比分析，刪除錯(cuò)誤的匹配點(diǎn)，在這個(gè)初值的基礎(chǔ)上，使用最小二乘匹配實(shí)施亞像素匹配，從而獲取一個(gè)精度較高的匹配結(jié)果。

1 基本原理

1.1 特征點(diǎn)提取

應(yīng)用頻率較高的點(diǎn)特征提取算子包括Moravec 算子、Harris 算子、Susan 算子等多種類型，Harris 算子的計(jì)算流程比較簡(jiǎn)單、計(jì)算內(nèi)容比較少、計(jì)算效率比較高，應(yīng)用最為廣泛，在紋理復(fù)雜程度較低的區(qū)域中只能提取很少的特征點(diǎn)；穩(wěn)定性高，就算目標(biāo)圖像出現(xiàn)一些旋轉(zhuǎn)、噪聲或者灰度變化，也可以充分有效的提取特征點(diǎn)[4]。本文主要使用Harris 算子，其原理是:首先對(duì)影像進(jìn)行一階差分進(jìn)而核算出每個(gè)像素的平均平方梯度矩陣M，而梯度矩陣M的特征值就可被認(rèn)定為自相關(guān)函數(shù)的曲率。該算子通過(guò)對(duì)特征值的比較可以做如下分析:①假設(shè)2 個(gè)特征值的大小存在很大的差距，可以將這些點(diǎn)當(dāng)成影像中的邊界值；②假設(shè)2 個(gè)特征值的差距不大而且2 個(gè)數(shù)值都比較小，可以將這個(gè)點(diǎn)當(dāng)成非角點(diǎn)；③假設(shè)2 個(gè)特征值的差距很大且2 個(gè)數(shù)值都比較大，意味著影像點(diǎn)在任意方向上的灰度曲率都非常大，可以將這些點(diǎn)當(dāng)成角點(diǎn)或特征點(diǎn)。

Harris 算子的一般處理過(guò)程如下:

式中，gx指代的是原始影像點(diǎn)沿x方向得出的梯度圖；gy指代的是原始影像點(diǎn)沿y方向的計(jì)算出的梯度圖；G(s)指代的是高斯卷積濾波；Det(M)指代的是矩陣M的行列式，tr(M)指代的是矩陣M的直跡。k指代的是0.1 以下的小值常數(shù)。I中的所有元素值對(duì)應(yīng)的原影像的興趣值，假如該值超出了區(qū)間范圍，可以將這個(gè)影像點(diǎn)看成所求角點(diǎn)。

Harris 算子的步驟:

1）核算影像上的所有像素點(diǎn)在水平以及豎直方向上的一階導(dǎo)數(shù)，并計(jì)算出相應(yīng)的乘積，并以此為基礎(chǔ)繪制出圖像gx，gy和gxy。

2）借助高斯濾波對(duì)步驟1 中的3 個(gè)圖像實(shí)施卷積處理，進(jìn)而得到原圖像所有像素點(diǎn)的興趣值。

3）選擇局部極值點(diǎn)。Harris 表示:特征點(diǎn)是特定區(qū)間內(nèi)的興趣值極大位置的相應(yīng)像素點(diǎn)，當(dāng)獲取每個(gè)像素點(diǎn)的興趣值以后，應(yīng)該將各個(gè)局部興趣值最大的像素點(diǎn)統(tǒng)計(jì)下來(lái)。在核算過(guò)程中，逐個(gè)計(jì)算出以各個(gè)像素為核心的窗口中心點(diǎn)像素的最大值，那么這個(gè)點(diǎn)就是特征點(diǎn)。

4）參考實(shí)際需求選擇特定數(shù)量的特征點(diǎn)。局部極值興趣值的像素點(diǎn)數(shù)量非常多，會(huì)大大降低核算效率，利用排序方法確定一個(gè)區(qū)間（通常選取全局最大極值的1/1 000-1/10 000）對(duì)所有極值點(diǎn)實(shí)施篩選處理，最終得到一些特征點(diǎn)。

1.2 匹配測(cè)度

現(xiàn)狀的影響匹配測(cè)度通常使用以灰度信息為基礎(chǔ)的匹配準(zhǔn)則。應(yīng)用頻率較高的測(cè)度方法有差絕對(duì)值和、協(xié)方差函數(shù)、差平方和等[5]。此外相關(guān)系數(shù)與相關(guān)系數(shù)測(cè)度存在較強(qiáng)的一致性，實(shí)時(shí)處理能力十分突出，所以這種測(cè)度方法的應(yīng)用頻率非常高[6]。本文在研究過(guò)程中將使用相關(guān)系數(shù)，相關(guān)原理如下所示:

相關(guān)系數(shù)應(yīng)用過(guò)程中，第一步要核算出2 個(gè)圖像信號(hào)的協(xié)方差函數(shù)；第二步除以2 個(gè)圖像的方差獲取標(biāo)準(zhǔn)協(xié)方差函數(shù)；影像g（x,y）、g′（x′,y′）的相關(guān)系數(shù)如下所示:

1.3 單點(diǎn)最小二乘匹配

要想進(jìn)一步提高亞像素級(jí)的匹配精度，需要將粗匹配結(jié)果當(dāng)成初始值并實(shí)施最小二乘匹配。這種方法能夠綜合分析2 個(gè)影像之間的幾何變形、灰度變形等。在線性化處理之后，獲取最小二乘匹配的誤差函數(shù)。法化后整體平差獲取準(zhǔn)確的較高的同名點(diǎn)[7]。

正常情況下，影像匹配目標(biāo)窗口的尺寸非常小，因此在單點(diǎn)最小二乘匹配過(guò)程中僅僅考慮一次幾何形變就可以了。

式中，未知數(shù)dh0,dh1,da0,da1,da2,db0,db1,db2為待定參數(shù)的改正值，它們的初值有粗匹配給定。觀測(cè)值Δg是左右影像相應(yīng)像素的灰度差。

2 彩色圖像的分波段匹配

正常情況下影像匹配處理的都是灰度圖像，如果要對(duì)彩色圖像實(shí)施匹配處理，要先進(jìn)行灰度化處理，應(yīng)用頻率較高的彩色影像灰度化方法有2 種:

1）均值法:將彩色圖像中的RGB 3 個(gè)分量圖像的亮度值進(jìn)行平均。

2）加權(quán)平均法:參考影像的重要等級(jí)以及特殊需求，對(duì)RGB 3 個(gè)分量圖像以不一樣的權(quán)值實(shí)施加權(quán)平均處理。

在對(duì)灰度化圖像進(jìn)行粗匹配后，需要先進(jìn)行剔除誤匹配，傳統(tǒng)的剔除誤匹配點(diǎn)的方法是采用RANSAC算法[9]，利用改進(jìn)的RANSAC 算法不僅在效率上有所提高，而且能夠剔除更多的誤匹配對(duì)[10]。但是RANSAC 算法較為復(fù)雜，本文利用彩色圖像的性質(zhì)提出了一種新的剔除誤匹配的方法:彩色圖像的3 個(gè)波段分量可以看作3 幅不同的圖像，它們各自的灰度信息有差別，空間信息卻是完全相同的，同一個(gè)特征點(diǎn)在3 個(gè)波段影像上的位置應(yīng)該是完全相同。依次對(duì)3 個(gè)波段影響實(shí)施匹配核算，不同波段的左右影像中的同名點(diǎn)位置也應(yīng)該是一模一樣的。如果某一波段影像出現(xiàn)了誤匹配，那么同一點(diǎn)在3 幅影像上的匹配結(jié)果會(huì)有較大的差異。3 個(gè)波段影像在同一點(diǎn)出現(xiàn)誤匹配且結(jié)果相近的概率非常小，它們的匹配結(jié)果仍然會(huì)有較大的差異。因此通過(guò)對(duì)3 個(gè)波段分別進(jìn)行匹配的方法，能夠剔除絕大部分的誤匹配點(diǎn)。

3 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)選取的是2 幅800×800 的彩色影像，原始數(shù)據(jù)如圖1。本文實(shí)驗(yàn)有如下過(guò)程:

圖1 原始圖像

1）借助Harris 算子獲取影像中3 個(gè)波段的特征點(diǎn)，興趣值窗口大小為5×5，特征點(diǎn)計(jì)算窗口大小是7×7。

2）用相關(guān)系數(shù)法對(duì)3 個(gè)波段影像選取11×11 的目標(biāo)窗口大小，相關(guān)系數(shù)閾值取0.95 進(jìn)行匹配。

3）將3 個(gè)波段的匹配結(jié)果進(jìn)行比較，剔除誤匹配點(diǎn)。

4）將原始圖像灰度化，將約束后的粗匹配結(jié)果作為初值用最小二乘法進(jìn)行精匹配。

實(shí)驗(yàn)結(jié)果如下:

紅光波段粗匹配工作結(jié)束之后，得到1 620 對(duì)匹配點(diǎn)，具體內(nèi)容如圖2；綠光波段粗匹配工作結(jié)束之后，得到1 704 對(duì)匹配點(diǎn)，具體內(nèi)容如圖3；藍(lán)光波段粗匹配工作結(jié)束之后，得到1 724 對(duì)匹配點(diǎn)，具體內(nèi)容如圖4。

圖2 紅光波段匹配結(jié)果

圖3 綠光波段匹配結(jié)果

圖4 藍(lán)光波段匹配結(jié)果

3 個(gè)波段的粗匹配完成后，需要對(duì)匹配結(jié)果進(jìn)行約束。理論上，匹配正確的點(diǎn)位置應(yīng)該是完全相同的，但是由于圖像的復(fù)雜性，不可避免會(huì)出現(xiàn)一定的偏差，本次實(shí)驗(yàn)將3 個(gè)波段匹配結(jié)果相差在2 個(gè)像素內(nèi)的點(diǎn)都予保留，相差在3 個(gè)或者以上的，認(rèn)為是誤匹配點(diǎn)，將其剔除，這樣就剩余655 對(duì)匹配點(diǎn)，表1 列舉了10 對(duì)被剔除的點(diǎn)。

表1 剔除的點(diǎn)信息

以余下的655 對(duì)匹配點(diǎn)作為初值，對(duì)原始彩色圖像加權(quán)灰度化，進(jìn)行最小二乘精匹配，余下59 對(duì)同名點(diǎn)，匹配結(jié)果如圖5 所示。

圖5 最小二乘匹配結(jié)果

4 結(jié) 語(yǔ)

影像匹配是數(shù)字?jǐn)z影測(cè)量和計(jì)算機(jī)視覺(jué)中不可或缺的核心技術(shù)，對(duì)兩者的自動(dòng)化水平有著決定性的影響。本文對(duì)彩色圖像3 個(gè)波段分別進(jìn)行匹配，然后比較它們之間的差值，以此為約束條件，對(duì)粗匹配結(jié)果進(jìn)行約束，有效地剔除了誤匹配點(diǎn)，為最小二乘精匹配提供了精確的初值，提高了匹配的精度，是一種比較有效的匹配方法。