全景圖像拼接技術(shù)研究綜述

張竟雄 趙宜友

摘要：普通全景設(shè)備拍攝的圖像往往失真嚴(yán)重，運(yùn)用全景圖像拼接的技術(shù)，把兩幅或多幅具有一定重疊區(qū)域的圖像進(jìn)行合成可以有效解決這個(gè)問題。本文介紹了全景圖像拼接技術(shù)的一般流程，對(duì)柱面和球面圖像的拼接進(jìn)行了介紹，對(duì)圖像拼接的兩個(gè)關(guān)鍵階段：配準(zhǔn)和融合中的一些算法進(jìn)行了介紹，分別總結(jié)了它們比較適用的場(chǎng)景和自身存在的不足，最后對(duì)全景圖像拼接技術(shù)未來的發(fā)展進(jìn)行了展望。

關(guān)鍵詞：圖像拼接;圖像配準(zhǔn);圖像融合;全景圖像

中圖分類號(hào)：TP3? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）27-0107-02

普通的全景設(shè)備所得圖像往往失真嚴(yán)重，全景圖像拼接的技術(shù)正是為解決這一問題而產(chǎn)生。全景圖像拼接包括配準(zhǔn)和融合兩個(gè)關(guān)鍵階段。首先，通過一定算法從不同傳感器所拍攝的彼此間有一定重疊的多幅圖像中提取出特征集合，然后選擇合適的搜索策略對(duì)不同圖像中所提取的特征進(jìn)行相似性度量，找出對(duì)應(yīng)點(diǎn)，計(jì)算兩幅圖像之間的最佳變換模型，使得不同圖像中的對(duì)應(yīng)點(diǎn)在空間位置上對(duì)齊，再以一定策略消除拼接后由于不同的成像角度、光照條件及攝像頭自身因素造成的模糊、鬼影、縫隙等現(xiàn)象，可獲得清晰的大視角圖像。目前，全景圖像拼接在諸如醫(yī)學(xué)診斷、視頻監(jiān)控等計(jì)算機(jī)視覺的很多領(lǐng)域發(fā)揮著重要作用。

全景圖像拼接的研究由來已久。2004年，Szeliski[1]對(duì)圖像拼接中的各種關(guān)鍵技術(shù)進(jìn)行了比較全面的介紹。2007年，Brown等[2]通過檢測(cè)圖像中具有尺度不變性的特征，可于多張無序的圖像中自動(dòng)尋找對(duì)應(yīng)關(guān)系拼接輸出全景圖，取得了很好的效果。

1 全景圖像拼接的種類

全景圖像拼接既包括普通的二維圖像的拼接，又包括環(huán)形全景拼接和球形全景拼接。環(huán)形全景拼接是指將圖像拼接到一個(gè)圓柱形的表面;球形全景拼接是指將圖像拼接到一個(gè)半球的表面。不同于普通二維圖像的拼接，環(huán)形或球形全景圖的拼接首先需要將平面圖像通過一定的數(shù)學(xué)關(guān)系投影到一個(gè)以固定視點(diǎn)為中心的相應(yīng)曲面上。

彭紅星等給出了原始二維圖像與柱面投影的平面展開圖對(duì)應(yīng)像素點(diǎn)的坐標(biāo)對(duì)應(yīng)關(guān)系，假設(shè)平面圖像和一個(gè)半徑等于相機(jī)焦距的投影圓柱體的表面相切，視點(diǎn)為圓柱中心，可以得到平面點(diǎn)再圓柱面上的投影點(diǎn)坐標(biāo)。

同柱面全景圖像相比，球面全景圖像可以覆蓋更大的空間范圍，可全方位感知周圍環(huán)境。原始圖像向球面投影需要知道原始每幅圖像所對(duì)應(yīng)的拍攝方向（相機(jī)繞光軸的轉(zhuǎn)角）和二維平面圖到球面的投影模型。由拍攝方向可知該圖對(duì)應(yīng)的相機(jī)坐標(biāo)系位置，然后用一個(gè)球面投影的模型來找到對(duì)應(yīng)的三維相機(jī)坐標(biāo)系中點(diǎn)在球面上的位置。可用一個(gè)旋轉(zhuǎn)矩陣R來表示拍攝方向的參數(shù)模型，R有很多種表示方式，常見的用于球面拼接的旋轉(zhuǎn)矩陣表示方法有坐標(biāo)軸夾角法、四元組法、方向角法等[3]。知道了拍攝方向，通過球面投影公式可得平面像素點(diǎn)對(duì)應(yīng)的球面坐標(biāo)，所有二維像素點(diǎn)的球面坐標(biāo)組合在一起即可獲得球面投影的圖像。李曉輝等給出了一種平面圖像到球面的投影模型，其中球面坐標(biāo)用（r，θ，φ）來表示，分別代表球的半徑、球面點(diǎn)與豎直方向的夾角以及水平方向的轉(zhuǎn)角。

投影過程中，像素坐標(biāo)映射后的結(jié)果可能不是整數(shù)值，這時(shí)需要用到插值的技術(shù)，插值的方法有最近鄰插值（尋找投影點(diǎn)距離最近的點(diǎn)）、雙線性插值（投影點(diǎn)周圍的四個(gè)點(diǎn)進(jìn)行線性加權(quán)）和高階多項(xiàng)式插值法等不同種類。

2圖像配準(zhǔn)

2.1 基于區(qū)域的圖像配準(zhǔn)

基于區(qū)域的圖像配準(zhǔn)方法比較兩幅圖像不同區(qū)域的統(tǒng)計(jì)信息實(shí)現(xiàn)配準(zhǔn)，有互相關(guān)和互信息兩種比較經(jīng)典的算法，另外還有歸一化互相關(guān)、歸一化互信息、交叉熵等各種方法。實(shí)現(xiàn)簡(jiǎn)單，不需要提取額外特征，只用到了兩幅圖像的一定區(qū)域的統(tǒng)計(jì)信息，但是計(jì)算量比較大，魯棒性較差，適用場(chǎng)景較少。

2.2 基于變換域的圖像配準(zhǔn)

基于變換域的圖像配準(zhǔn)通過在頻域中配準(zhǔn)并將計(jì)算結(jié)果映射回空間域。相位相關(guān)法、快速傅里葉變換等方法利用傅里葉變換的平移不變性，通過檢測(cè)頻率域中相位的平移來檢測(cè)空間域中對(duì)應(yīng)的像素移動(dòng)，可以實(shí)現(xiàn)具有平移關(guān)系的圖像配準(zhǔn)，但是對(duì)具有旋轉(zhuǎn)、縮放關(guān)系的圖像配準(zhǔn)并不適用，因此應(yīng)用場(chǎng)景較為有限。Reddy等對(duì)相關(guān)法進(jìn)行改進(jìn)，用對(duì)數(shù)極坐標(biāo)變換結(jié)合相位相關(guān)的方式將旋轉(zhuǎn)和縮放關(guān)系都轉(zhuǎn)換為平移關(guān)系，但仍要求兩幅圖像間有較大的重疊度。

2.3基于特征的圖像配準(zhǔn)

Harris算法通過計(jì)算像素像素鄰域梯度判斷角點(diǎn)，具有光照、旋轉(zhuǎn)和平移的不變性，不具有尺度不變性。FAST、SUSAN等算法比較當(dāng)前點(diǎn)與附近的一個(gè)圓形鄰域點(diǎn)的灰度差異判定特征點(diǎn)，操作相對(duì)簡(jiǎn)單，實(shí)時(shí)性較好，但是對(duì)尺度和旋轉(zhuǎn)等變化的自適應(yīng)性不是特別理想，在檢測(cè)閾值的設(shè)定方面比較煩瑣，易受噪聲影響。SIFT算法由Lowe提出并進(jìn)行了完善，不受光照、旋轉(zhuǎn)以及尺度變換影響，在圖像高斯差分金字塔的不同層進(jìn)行比較提取特征并最終將特征描述為128維向量，計(jì)算量較大但精度高于其他特征提取算法。出現(xiàn)了很多在SIFT基礎(chǔ)上的改進(jìn)版本，如ASIFT、GSIFT、CSIFT、PCA-SIFT等。Bay等提出了SURF算法，對(duì)SIFT算法的主要改進(jìn)為通過Haar小波響應(yīng)以及積分圖來計(jì)算特征矢量，提升了計(jì)算速度但精度有所下降。Rublee等提出了ORB算法，使用優(yōu)化后的FAST特征檢測(cè)算法和BRIEF描述符，計(jì)算速度也有了大幅提升。2020年，一種新的特征描述符：BEBLID被提出，其匹配精度優(yōu)于ORB算法，同時(shí)運(yùn)算更快。

2.4基于深度學(xué)習(xí)的圖像配準(zhǔn)

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，深度學(xué)習(xí)也被應(yīng)用在圖像配準(zhǔn)領(lǐng)域。運(yùn)用深度學(xué)習(xí)的方法可進(jìn)行特征點(diǎn)檢測(cè)、特征描述符的學(xué)習(xí)或者計(jì)算兩幅圖像間的單應(yīng)性變換矩陣等，尋找最優(yōu)變換參數(shù)等。很多時(shí)候會(huì)優(yōu)于傳統(tǒng)方法，但缺點(diǎn)是需要大量數(shù)據(jù)支持。