基于特征對應(yīng)與分割的圖像拼接技術(shù)研究

張舒　徐慶

摘? ?要：圖像拼接計算幾何變換以基于重疊圖像之間的特征對應(yīng)的最佳擬合來對齊圖像。之后使用接縫切割來隱藏未對齊的偽影。有趣的是，要獲得直觀的無縫效果，通常是接縫步驟是最關(guān)鍵的。這促使我們提出了一種接縫驅(qū)動的圖像拼接策略，其中不是基于特征對應(yīng)的最佳擬合來估計幾何變換，而是基于所得到的接縫切割的視覺質(zhì)量來評估變換的好壞。結(jié)果表明，這種新的圖像拼接策略往往比現(xiàn)有的方法能產(chǎn)生更好的視覺效果，特別是對于具有挑戰(zhàn)性的場景。

關(guān)鍵詞：圖像拼接? 特征對應(yīng)? 接縫切割

中圖分類號：TP39? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2020）06（b）-0131-02

傳統(tǒng)圖像拼接流水線（上圖）和改進的接縫驅(qū)動圖像拼接流水線（下圖）的示例，如圖1所示。在傳統(tǒng)方法中，諸如SIFT之類的特征點被計算并在圖像對之間進行匹配，從而產(chǎn)生一組特征對應(yīng)。針對非平面場景幾何特征和錯誤匹配的特點，采用隨機樣本一致性（RANSAC）穩(wěn)健估計具有最佳幾何擬合的單應(yīng)性。具體地說，一組單應(yīng)詞H1，H2…是隨機假設(shè)的，并根據(jù)他們的共識大小衡量進行排名。使用最好的單應(yīng)函數(shù)來扭曲和對齊圖像。然后進行接縫切割以產(chǎn)生最終結(jié)果。

1? 圖像拼接技術(shù)

本文的接縫驅(qū)動方法以類似的方式運行，但評估和選擇單應(yīng)不同。這是通過修改RANSAC中的假設(shè)和測試循環(huán)來實現(xiàn)的，在該循環(huán)中，我們生成鼓勵多樣性的候選單應(yīng)性，并使用所有候選來將接縫切割應(yīng)用于對齊的尺寸，接下來，我們基于我們的新的排名度量來評估不同的接縫切割，該排名度量有利于獲得具有良好感知質(zhì)量的結(jié)果。

RANSAC通過在隨機采樣的數(shù)據(jù)最小子集上擬合單應(yīng)性來生成模型假設(shè)，其中每個子集包含四個對應(yīng)。對于每個假設(shè)，記錄與其一致的對應(yīng)關(guān)系（即，假設(shè)的內(nèi)部人員）。此隨機抽樣過程重復(fù)多次，并選擇具有最高共識大小的假設(shè)。

2? 評估切割

雖然接縫能量最小化了I1和I2之間的圖像梯度，但用于對不同接縫的感知質(zhì)量進行排序時效果不佳。我們引入了一種更具區(qū)分性的誤差度量。對于沿著接縫的每個像素p，我們通過提取以p為中心的17×17面片P并在I1或I2中搜索其最相似的面片來估計誤差值E（p）。這可以表示為

其中Si表示I1和I2的重疊區(qū)域中的所有圖像塊。這個想法是，如果沿著接縫的補丁與I1或I2中的補丁相似，那么沿著接縫的補丁在感覺上是可信的。如果沿著接縫的面片在兩個源圖像中都找不到，那么它很可能是一個偽像，因此指定了更大的錯誤。沿尺寸為斜體的接縫的總誤差計算為。

圖2顯示了該過程的示意圖以及具有對應(yīng)的每像素誤差E（p）的三個不同切割的示例，E（p）顯示為熱圖，總誤差? ? 。最小誤差表示我們的感知排序。（A）說明了如何評估接縫。對于沿著接縫的每個像素，在任一重疊圖像中找到的關(guān)于該像素的最相似面片的平方差被用作失配誤差。（B）使用我們的誤差度量顯示來自不同切割的能量熱圖。累計接縫誤差用于對切割進行分級。

3? 結(jié)語

本文提出了一種接縫驅(qū)動的圖像拼接策略，圖像拼接計算幾何變換以基于重疊圖像之間的特征對應(yīng)的最佳擬合來對齊圖像，之后使用接縫切割來隱藏未對齊的偽影。結(jié)果表明，這種新的圖像拼接策略往往比現(xiàn)有的方法能產(chǎn)生更好的視覺效果，特別是對于具有挑戰(zhàn)性的場景。我們的接縫驅(qū)動圖像拼接的想法是一項正在進行中的工作。

參考文獻

[1] Benjamin E J， Blaha M J， Chiuve S E， et al. Heart disease and stroke statistics-2017 update： are port from the American Heart Association[J].Circulation， 2017， 135（10）： 146-603.

[2] Xue W， Islam A， Bhaduri M， et al. Direct multitype cardiac indices estimation via joint representation and regression learning[J]. IEEE Transactions on Medical Imaging， 2017，36（10）： 2057-2067.

[3] Xue W， Lum A， Mercado A， et al. Full quantification of left ventricle via deep multitask learning network respecting intra-and inter-task relatedness[C].International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer， Cham， 2017：276-284.