大范圍傾斜多視影像連接點自動提取的區(qū)域網(wǎng)平差法

閆　利，費　亮，葉志云，夏　旺

武漢大學測繪學院，湖北 武漢430079

?

大范圍傾斜多視影像連接點自動提取的區(qū)域網(wǎng)平差法

閆利，費亮，葉志云，夏旺

武漢大學測繪學院，湖北 武漢430079

Foundation support： The National Key Technology Research and Development Program of the Ministry of Science and Technology of China (No. 2012BAJ23B00); The Fundamental Research Funds for the Central Universities(No.2015214020201)

摘要：提出了一種大范圍傾斜多視影像自動連接點提取和光束法區(qū)域網(wǎng)平差算法。首先利用POS數(shù)據(jù)對傾斜影像進行矯正并預測候選像對，使用SIFT特征進行影像匹配；然后利用并查集數(shù)據(jù)結構實現(xiàn)多視影像間連接點對應關系的快速確定；最后將POS數(shù)據(jù)和控制點數(shù)據(jù)作為帶權觀測值進行平差解算。選取3種典型的傾斜相機系統(tǒng)(組裝輕量級傾斜相機、國產(chǎn)SWDC-5相機、微軟UltraCam相機)進行了試驗，結果表明，本文算法能夠適應國內(nèi)外流行的傾斜攝影系統(tǒng)，且一次性可處理的影像數(shù)目超過2000張；在相同條件下傾斜影像光束法區(qū)域網(wǎng)平差的整體精度優(yōu)于傳統(tǒng)垂直攝影情形，實際精度可以達到水平方向0.75 GSD，高程方向2.0 GSD。

關鍵詞：傾斜影像；自動空三; 光束法區(qū)域網(wǎng)平差；連接點提?。?/p>

隨著機載傾斜多相機系統(tǒng)的發(fā)展，傾斜影像已經(jīng)成為地圖、城市三維重建等應用的主要數(shù)據(jù)源，其中涉及的公司包括Blomoblique、IGI、Leica、Midas、Pictometry、Vexcel/Microsoft、VisionMap等。通過在同一飛行平臺上搭載多臺傳感器，傾斜攝影技術可以同時從多個角度采集影像，克服了正射影像只能從垂直角度拍攝的局限，可以獲得近地高分辨率的建筑物立面信息，使得目前高昂的三維建模成本大大降低，但是傾斜攝影數(shù)據(jù)后處理目前仍然是國內(nèi)外研究的一個熱點和難點問題。常見的傾斜多相機系統(tǒng)普遍采用Maltese-cross相機配置[1]如圖1所示，即1個下視相機和4(或6)個斜視相機組合方式(下文中的傾斜影像指下視與斜視影像的總和)，斜視相機傾斜角一般在45°左右，根據(jù)相機設計的不同，同測站的下視與斜視相機可能有重疊或無重疊。

圖1　Maltese-cross 1+4傾斜多相機系統(tǒng)示意圖Fig.1　The maltese-cross multi-camera configuration diagram

傾斜影像空三作為傾斜影像數(shù)據(jù)產(chǎn)品生產(chǎn)的關鍵步驟之一[2-5]，主要涉及連接點提取和光束法區(qū)域網(wǎng)平差兩個環(huán)節(jié)。由于區(qū)域網(wǎng)平差的相關理論和算法都已經(jīng)比較成熟，因此傾斜影像空三的難點在于多視影像間的連接點自動提取。大部分傳統(tǒng)的攝影測量商業(yè)軟件在進行連接點提取時都使用標準的影像匹配技術，如歸一化相關系數(shù)匹配(NCC)和最小二乘匹配(LSM)，但這些方法僅適用于影像尺度一致的垂直攝影情形[1，6]。由于傾斜影像具備多角度、大傾角的特點，傳統(tǒng)匹配方法無法解決立體匹配中的遮擋、幾何變形、幾何斷裂、影像大幅旋轉等瓶頸問題，同時斜軸透視的場景深度變化帶來基高比劇烈變化，都使得傾斜影像間的轉點變得更加困難。部分近景攝影測量匹配技術能夠處理仿射變形影像匹配(如ASIFT、MSER等)[7-12]，但算法效率較低，無法適用于高分辨率傾斜影像匹配問題。另一方面，由于傾斜多視影像數(shù)量龐大，且影像間的重疊關系復雜，如何快速地確定序列影像間的公共連接點也是一個問題。文獻[13]提出了一種快速、簡單的無序影像間的特征追蹤算法，有效地將立體像對間的對應關系擴展到多視影像，使用并查集算法來解決對應關系的融合問題，與其他算法相比具有更低的復雜度并可以獲取更多的連接點。

國內(nèi)對于傾斜影像空三的研究尚處于起步階段，國外對該問題研究已經(jīng)取得了一定成果。文獻[1，14]提出了一種影像串聯(lián)算法，通過GNSS/IMU給定的外方位初值約束相關影像間的特征提取，在相對定向過程中引導影像的串聯(lián)，由于使用Apero軟件進行區(qū)域網(wǎng)平差，文中算法連接點提取采用的是一種增量式重建思路，并未充分利用POS的先驗信息，增加了算法的處理時間，且采用無控制點區(qū)域網(wǎng)平差，沒有利用檢查點對結果進行精度評定；文獻[15]提出在區(qū)域網(wǎng)平差過程中添加場景約束信息(如水平、垂直、直角條件)，可以有效減少地面控制點的數(shù)目同時提高平差和相機自檢校的可靠性，但文中算法需要人工提取場景中的約束信息，不利于傾斜影像全自動空三的實現(xiàn)。文獻[16—17]指出充分利用POS的先驗信息能夠有效提高連接點的匹配成功率和效率，但文中算法主要針對傳統(tǒng)垂直攝影航帶間的轉點問題，無法直接用于傾斜多視影像間的連接點自動提取。

本文提出了一種自動連接點提取算法：首先利用POS信息進行影像匹配像對預測，并對傾斜影像糾正消除因大傾角引起的仿射變形，通過SIFT匹配和特征追蹤自動獲取匹配連接點；給出了傾斜多視影像空三的兩種平差模型；最后利用3種典型的傾斜相機數(shù)據(jù)進行了空三試驗。

1自動連接點提取

SIFT算法[18-20]以其尺度、旋轉不變性并能克服一定程度仿射變形和光照變化在影像匹配領域得到廣泛應用。同方向傾斜立體像對由于拍攝角度一致，仿射變形小，因此SIFT算法能夠成功匹配，但無法適用于不同方向傾斜像對間的匹配問題。ASIFT算法具有完全的仿射不變性，通過在經(jīng)度和緯度方向進行視角變化采樣，模擬各個仿射變化下的影像，進而利用SIFT算法進行特征提取和匹配，但由于使用窮舉匹配策略，在實際應用中受到很大限制。目前的傾斜攝影系統(tǒng)(Pictometry、UltraCam、SWDC-5等)都配備了GPS/IMU設備，在獲取影像數(shù)據(jù)的同時能夠得到高精度的POS數(shù)據(jù)。借鑒ASIFT仿射不變特征算法思想，首先利用POS信息進行斜視影像糾正，消除因大傾角與旋轉角引起的影像幾何變形；接著利用文獻[20]中的SIFT算法對糾正后影像進行特征提取并歸算至原始影像，進而利用SIFT描述符完成特征匹配；最后，利用文獻[13]中的特征追蹤算法實現(xiàn)傾斜多視影像間連接點對應關系的快速確定。

1.1斜視影像糾正

給定影像的外方位元素初值和設計航高，根據(jù)共線條件方程能夠得到影像在地面上的投影四邊形“軌跡”

(1)

(2)

式中，(x,y)、(x′,y′)分別表示原始影像像點和糾正后影像對應點的坐標。利用數(shù)字微分糾正即可獲取糾正后的影像，斜視影像糾正效果如圖2所示。從糾正結果可以看出，影像間由于大傾角和大旋轉角引起的變形已經(jīng)基本消除，只剩下由于地形起伏引起的像點位移。由于傾斜多視影像間公共的連接點一般都位于平坦地區(qū)，建筑物上的連接點較少(少數(shù)點位于建筑物頂部)，而這些區(qū)域在經(jīng)過上述斜視糾正后基本消除了仿射變形影響，因此能夠利用SIFT算法匹配到公共特征點。

圖2　斜視影像糾正結果Fig.2　The Rectification result of oblique image

1.2特征提取與匹配

由于大范圍傾斜影像空三處理涉及的影像數(shù)目龐大，且傾斜影像間重疊關系復雜，傾斜影像的匹配策略對算法效率影響顯著，本文首先根據(jù)初始POS數(shù)據(jù)及傾斜相機配置信息確定滿足條件的候選匹配像對，主要依據(jù)如下：

(1) 重疊率：根據(jù)POS信息計算每張影像在地面的投影多邊形軌跡，依據(jù)軌跡間的重疊率來判斷，剔除小于指定閾值THRoverlap(默認取0.30)的匹配像對；兩多邊形的重疊率計算公式為

THRoverlap=Soverlap/min(S1,S2)

式中，S1、S2分別代表兩多邊形的面積，Soverlap代表兩多邊形的重疊面積。

(2) 相機配置：對于同測站下視與斜視有重疊度的傾斜相機系統(tǒng)，不考慮重疊率大小，保留下視與斜視匹配像對。

獲取滿足條件的候選匹配像對后，首先利用SIFT特征進行初始匹配，由于傾斜影像分辨率較高，在特征提取時對糾正后的斜視影像進行分塊(如1600×1600)特征提取，并利用式(2)將特征點坐標歸算至原始影像；接著基于核線約束和單應約束采用隨機一致性估計算法(RANSAC)[21]對匹配特征進行粗差剔除。

1.3特征追蹤

特征追蹤是指在序列影像中跟蹤同一物方點的位置。利用圖論的思想，將每個影像上的特征點作為獨立節(jié)點，同名像點對應關系作為邊，由此序列影像間的多視對應關系搜索可以轉換為整個圖中有幾條連通分支的問題，利用并查集數(shù)據(jù)結構可以有效處理。

下面以一個有效特征追蹤a1-b1-c1-d1為例來闡述特征追蹤原理，如圖3所示。

(1) 遍歷所有影像上的特征點，在圖中創(chuàng)建對應的節(jié)點，即a1、a2、a3、…、d3。

(2) 遍歷所有的同名像點匹配列表，首先執(zhí)行影像a-b同名像對時，連接a1和b1節(jié)點，取a1作為根節(jié)點；添加影像b-c同名像對，連接c1和b1節(jié)點，執(zhí)行并查集算法的Find操作，判斷兩者的根節(jié)點是否屬于同一節(jié)點。如果不是，則執(zhí)行并查集算法中的Join操作，將c1節(jié)點的根節(jié)點修改為b1節(jié)點的根節(jié)點；否則，直接跳過；類似地繼續(xù)添加影像b-d同名像對，連接d1和b1節(jié)點，判斷二者的根節(jié)點是否相同，如果不是，修改d1節(jié)點的根節(jié)點為b1節(jié)點的根節(jié)點。

(3) 執(zhí)行完畢，即可得到一個有效的特征追蹤a1-b1-c1-d1。

圖3　并查集算法實現(xiàn)特征追蹤原理Fig.3　The feature tracking theory using union-find algorithm

經(jīng)過上述過程，可以獲取初始的特征追蹤結果。設定每張影像上有效的連接點數(shù)目閾值THRNtrPerImg(默認取20)及每個連接點的重疊度閾值THRNipPerTr(默認取3)，剔除不滿足上述閾值的影像及連接點。當POS初始精度較差時，可以通過提高重疊度閾值來剔除誤匹配點，獲取一個較高精度外定向結果后，再降低閾值獲取更多的連接點數(shù)目。

1.4多片前方交會

多片前方交會有兩方面的作用：一方面為區(qū)域網(wǎng)平差提供一個良好的物方點初值；另一方面，由于傾斜影像空三物方連接點對應的可見影像數(shù)目遠高于傳統(tǒng)垂直攝影情形，最高可達幾十度重疊，因此可以利用觀測值的一致性檢驗來進一步剔除殘留的粗差點。

由文獻[14]可知，當傾斜影像空三的連接點中含有大量的粗差點時，平差的收斂性會受到極大影響，甚至無法收斂。多片前方交會過程中的粗差剔除分為兩個階段：

1.4.1前方交會

1.4.2高程濾波

2區(qū)域網(wǎng)平差

2.1最小二乘平差

與傳統(tǒng)攝影測量區(qū)域網(wǎng)平差相比，傾斜影像空三在數(shù)學模型上基本一致，主要不同點在于像點觀測值數(shù)目遠遠多于傳統(tǒng)垂直攝影情形，本文采用帶附加參數(shù)的自檢校區(qū)域網(wǎng)平差[22]，將自檢校參數(shù)、控制點坐標及外方位元素視為帶權觀測值，平差的基本誤差方程為

(3)

式中，X1為外方位元素和加密點坐標的改正數(shù)向量；L1為像點觀測值向量；P1為像點觀測值的權；X2為控制點坐標的改正數(shù)向量；P2為控制點坐標觀測值的權；X3為外方位元素改正數(shù)向量；P3為外方位元素觀測值的權；X4為自檢校參數(shù)向量；P4為自檢校參數(shù)觀測值的權；A1、A2、A3、A4為對應誤差方程式的系數(shù)矩陣；E2、E3、E4為單位陣。式(3)可簡化為

V=AX-L,P

(4)

法方程為

(ATPA)X=ATPL

(5)

2.2傾斜影像區(qū)域網(wǎng)平差模型

在傾斜多視影像區(qū)域網(wǎng)平差中，可以采用以下兩種模型：

2.2.1附加約束參數(shù)模型

假設整個傾斜成像系統(tǒng)滿足剛性不變條件，考慮同一測站下視與斜視相機間的約束關系，采用6個偏心參數(shù)來描述兩者之間的變換。同一測站下視和斜視相機的外方位線元素分別記為CN、CO，旋轉矩陣記為RN、RO，斜視相機相對于下視相機的相對定向元素記為ΔTNO、ΔRNO，則有

(6)

2.2.2獨立模型

同一測站下視與斜視影像間的外方位元素相互獨立，基于共線條件方程整體求解所有影像的內(nèi)外方位元素

(7)

在附加參數(shù)模型中，整個航飛過程中同測站下視與斜視相機間的偏心參數(shù)保持不變，以1+4型相機配置為例：假設有N個測站，則外方位元素未知參數(shù)的個數(shù)為6N+6×5個，而采用獨立模型的外方位元素未知參數(shù)的個數(shù)為6N×5個。當測站數(shù)目龐大時，采用附加參數(shù)模型可以有效減少影像外方位元素未知參數(shù)數(shù)目，但同時由于忽略了傾斜相機間的非剛性變形和相機曝光的不同步性，會引入一定的系統(tǒng)誤差。在POS精度較差時，可先對下視影像進行空三并利用偏心參數(shù)獲取斜視相機優(yōu)化的外方位元素初值。獨立模型雖然增加了未知參數(shù)的數(shù)目，平差解算的系統(tǒng)內(nèi)存占用更高，但是由于采用最嚴格的數(shù)學模型，可以獲得最高的精度，本文采用獨立模型進行區(qū)域網(wǎng)平差解算。

3試驗與分析

3.1試驗數(shù)據(jù)

試驗選取典型的3種傾斜相機數(shù)據(jù)：組裝輕量級傾斜相機、SWDC-5相機、UltraCam相機數(shù)據(jù)進行了試驗，數(shù)據(jù)的相關描述見表1。其中，第1組數(shù)據(jù)含有地面控制點，用于進行傾斜空三與傳統(tǒng)空三對比試驗及其傾斜空三的實際精度評定，如果單獨采用下視影像，與傳統(tǒng)空三沒有區(qū)別；第2、3組數(shù)據(jù)無地面控制點，用于測試本文算法對國內(nèi)外流行的傾斜攝影系統(tǒng)和大數(shù)據(jù)量的適應性?；赪in7 64位系統(tǒng)采用VC++2010、CUDA 6.0開發(fā)了傾斜影像自動空三軟件Mogas-AT，硬件平臺為Dell Precision工作站，處理器為英特爾酷睿i7-4910MQ、主頻2.90 GHz，內(nèi)存16 GB，顯卡為4 GB英偉達Quadro K3100M。

表1　試驗傾斜影像數(shù)據(jù)描述

3.2組裝輕量型傾斜相機試驗

試驗組裝傾斜成像系統(tǒng)采用1+4相機配置方式，相機型號為Cannon EOS 5D，同一測站下視相機與斜視相機有重疊，測區(qū)范圍為2.2 km×1.4 km，共飛行5條航帶，測區(qū)中均勻分布有14個控制點，其中下視與傾斜影像(包括下視)的重疊關系及控制點分布如圖4所示。

分別對僅用下視影像和傾斜影像采用獨立模型進行不同控制點數(shù)目的區(qū)域網(wǎng)平差試驗，其中控制點數(shù)目為0代表無控制點區(qū)域網(wǎng)平差。連接點提取耗時包括特征提取、特征匹配、特征追蹤3部分耗時，利用像點的平均反投影誤差σr與檢查點的實際精度兩項指標進行精度評定，其結果如表2、圖5、圖6所示。

由上述結果得到以下結論：

(1) 傾斜影像空三精度優(yōu)于傳統(tǒng)下視影像空三精度。在各種控制方案下，傾斜影像空三的水平和垂直精度都要高于下視影像空三，且精度提高約為2～3倍。分析可知，這是因為在傾斜影像空三過程中引入了斜視影像上的像點觀測值，增加了多余觀測值數(shù)目，提高了匹配的可靠性：一方面，可以解決諸如相似紋理、遮擋等困難區(qū)域匹配的多義性和誤匹配問題；另一方面，較大的匹配冗余有利于匹配粗差的自動定位和剔除。由表2中結果可以看出，傾斜影像空三的連接點數(shù)目約為下視影像空三連接點數(shù)目的6倍，像點觀測值數(shù)目約為9倍。傾斜影像空三可以達到水平方向0.75 GSD，高程方向2.0 GSD。

表2　不同控制點數(shù)目和平差模型的區(qū)域網(wǎng)平差結果

(2) 無控制點情況下，將POS獲取的外方位元素作為帶權觀測值參與平差不能有效提高區(qū)域網(wǎng)平差的精度。圖6是無控制點區(qū)域網(wǎng)平差殘差分布圖，可以看出檢查點定位結果存在明顯的系統(tǒng)誤差，說明POS數(shù)據(jù)含有一定的系統(tǒng)誤差。當含有一個中心點時，傾斜空三的精度能夠得到顯著提高。因此，在傾斜影像空三處理時，要發(fā)揮POS精度的潛力依然需要少量的外業(yè)控制點。

(3) 控制點數(shù)目對傾斜影像空三的精度影響與傳統(tǒng)下視影像空三相一致。當使用3個角點的控制方案時，區(qū)域網(wǎng)平差的精度已經(jīng)達到一個較好的水平，再增加控制點數(shù)目對精度的提高十分有限。因此，在實際的傾斜影像外業(yè)控制點布設時，一般只需3個角點。傾斜影像空三的高程精度低于平面精度，當采用1個中心點時，傾斜影像空三的高程精度與平面精度相當，增加控制點數(shù)目時，水平精度仍可得到進一步的提高，高程精度提升不明顯。

(4) 控制點的引入不影響區(qū)域網(wǎng)平差的像點平均反投影誤差精度，這是因為平均反投影誤差反映的是像點殘差的內(nèi)符合精度，控制點的引入不會影響平差收斂程度，只是相當于對連接點物方坐標進行絕對定向，將其納入到控制點所在的坐標系統(tǒng)下。

下視影像空三與傾斜影像空三試驗結果如圖7和圖8所示。

3.3大范圍傾斜影像空三試驗

為了驗證本文算法對各類傾斜攝影系統(tǒng)和大數(shù)據(jù)量的支持，分別對UltraCam和SWDC-5傾斜影像數(shù)據(jù)進行了試驗,由于上述兩個試驗數(shù)據(jù)均無地面控制點，僅以像點的平均反投影誤差進行精度評定。為了減少連接點提取耗時，下述試驗中SIFT特征提取初始層級取2(即對原始影像進行2次降采樣)，結果如圖9和圖10所示。

表3　大范圍傾斜影像空三試驗結果

圖4　組1試驗測區(qū)影像重疊關系及控制點分布圖Fig.4　Images overlap relationship and control points distribution

圖5　下視與傾斜影像空三精度對比Fig.5　The triangulation precision comparison between nadir and oblique images

圖6　無控制點平差的殘差分布圖Fig.6　The triangulation residuals without ground control points

圖7　下視影像與傾斜影像空三結果視圖Fig.7　The triangulation result view of nadir and oblique image

圖8　下視影像與斜視影像空三外方位元素放大圖Fig.8　The enlarged view of EO after bundle adjustment

圖9　微軟UltraCam傾斜影像數(shù)據(jù)空三處理結果Fig.9　The triangulation results of microsoft UltraCam oblique images

圖10　SWDC-5傾斜影像空三處理結果Fig.10　The triangulation results of SWDC-5 oblique images

上述試驗結果表明：

(1) 本文算法對當前國內(nèi)外常見的傾斜攝影系統(tǒng)UltraCam、SWDC-5等能夠很好地支持，由于算法均采用CUDA GPU進行并行加速，處理效率遠高于傳統(tǒng)空三軟件，主要處理耗時集中在特征提取和匹配階段。無控制點情況下，SWDC-5傾斜數(shù)據(jù)空三的像點平均反投影誤差在1.34像素，UltraCam傾斜數(shù)據(jù)的像點平均反投影誤差可以達到0.56像素。

(2) 本文算法能夠適應大范圍傾斜影像數(shù)據(jù)處理，試驗的兩個數(shù)據(jù)集影像數(shù)目都在2000張以上，一次性處理影像數(shù)目的上限與算法無關，主要由系統(tǒng)存儲容量決定。所有空三處理過程均為全自動，因此，能夠有效提高作業(yè)效率，節(jié)約測圖成本。

4結論和展望

本文對傾斜多視影像的自動連接點提取和空三進行了研究，試驗選取了3款國內(nèi)外流行的傾斜攝影系統(tǒng)，結果表明：本文的方法能夠適應各種傾斜攝影系統(tǒng)，所有空三過程均為全自動處理，可適用于大范圍傾斜影像空三處理，能有效提高作業(yè)效率；相同條件下傾斜影像空三的整體精度優(yōu)于傳統(tǒng)垂直攝影空三，實際精度可以達到水平方向0.75 GSD，高程方向2.0 GSD。后續(xù)將進一步研究傾斜影像空三適合的加權模型，以及如何進一步提高連接點提取的效率。

參考文獻：

[1]RUPNIK E, NEX F, REMONDINO F. Oblique Multi-camera Systems-orientation and Dense Matching Issues[C]∥International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-3/W1, EuroCOW 2014, the European Calibration and Orientation Workshop. Castelldefels: ISPRS,2014: 107-114.

[2]FDIETER D, RDIETER M. Oblique Image Data Processing： Potential, Experiences and Recommendations[EB/OL].(2013-06-08)[2014-01-30]. http:∥www.ifp.uni-stuttgart.de/publications/phowo13/090Fritsch.pdf

[3]KARB? N, SCHROTH R. Oblique Aerial Photography: A Status Review[EB/OL].(2009-10-03)[2014-01-30]. http:∥www.ifp.uni-stuttgart.de/publications/phowo09/140Karbo.pdf

[4]WANG Yandong, SCHULTZ S, GIUFFRIDA F. Pictometry’s Proprietary Airborne Digital Imaging System and Its Application in 3D City Modelling[C]∥International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences: XXXVII(B1). Beijing: ISPRS,2008: 1065-1069.

[5]GRUBER M, PONTICELLI M, WIECHERT A. UltraCam, A Brand for Continuous Devlopments[EB/OL].(2011-11-25)[2014-01-30]. http：∥www.ifp.uni-stuttgart.de/publications/phowo11/110Gruber.pdf

[6]SHRAGAI Z, EVEN-PAZ A, KLEIN I. Automatic Tie-point Extraction Using Advanced Approaches[C]∥Proceedings of the ASPRS 2011 Annual Conference.Milwaukee,Wisconsin:[s.n.],2011.

[7]CODREANU V, DONG Feng, LIU Baoquan, et al. Gpu-Asift: A Fast Fully Affine-invariant Feature Extraction Algorithm[C]∥Proceedings of 2013 International Conference on High Performance Computing and Simulation. Helsinki:IEEE, 2013: 474-481.

[8]MOREL J M, YU Guoshen. Asift: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[9]YU Guoshen, MOREL J M. A Fully Affine Invariant Image Comparison Method[C]∥Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing.Taipei:IEEE, 2009: 1597-1600.

[10]MIKOLAJCZYK K, SCHMID C. Scale & Affine Invariant Interest Point Detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63-86.

[11]MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1-2): 43-72.

[12]YANG Huachao,ZHANG Shubi,WANG Yongbo.Robust and Precise Registration of Oblique Images Based on Scale-invariant Feature Transformation Algorithm[J]. IEEE Geoscience and Remote Sensing Letters,2012, 9(4): 783-787.

[13]MOULON P, MONASSE P. Unordered Feature Tracking Made Fast and Easy[C]∥Proceedings of the 9th European Conference on Visual Media Production. London:CVMP,2012.

[14]RUPNIK E, NEX F, REMONDINO F. Automatic Orientation of Large Blocks of Oblique Images[C]∥International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-1/W1, ISPRS Hannover Workshop 2013.Hannover: ISPRS,2013: 299-304.

[15]GERKE M, NYARUHUMA A. Incorporating Scene Constraints into the Triangulation of Airborne Oblique Images[C]∥ISPRS Conference: High-resolution Earth Imaging for Geospatial Information: ISPRS XXXVIII 1-4-7/WS. Hannover: ISPRS, 2009: 4-7.

[16]袁修孝. POS輔助光束法區(qū)域網(wǎng)平差[J]. 測繪學報, 2008, 37(3): 342-348.

YUAN Xiuxiao. POS-supported Bundle Block Adjustment[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(3): 342-348.

[17]袁修孝, 明洋. POS輔助航帶間航攝影像的自動轉點[J]. 測繪學報, 2010, 39(2): 156-161.

YUAN Xiuxiao, MING Yang. POS-supported Matching Method for Aerial Images between Neighboring Strips[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(2): 156-161.

[18]LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[19]SUN Yanbiao, ZHAO Liang, HUANG Shoudong, et al. L2-SIFT: SIFT Feature Extraction and Matching for Large Images in Large-scale Aerial Photogrammetry[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 91: 1-16.

[20]WU Changchang. Siftgpu: A Gpu Implementation of Scale Invariant Feature Transform (SIFT) [EB/OL].(2009-10-03)[2014-01-30]. http:∥www.cs.unc.edu/～ccwu/siftgpu/

[21]FISCHLER M A, BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[22]李德仁, 袁修孝. 誤差處理與可靠性理論[M]. 武漢: 武漢大學出版社, 2002.

LI Deren, YUAN Xiuxiao. Error Processing and Reliability Theory[M]. Wuhan:Wuhan University Press, 2002.

(責任編輯：張艷玲)

Automatic Tie-points Extraction for Triangulation of Large-scale Oblique Multi-view Images

YAN Li，F(xiàn)EI Liang，YE Zhiyun，XIA Wang

School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China

Abstract：A new tie-points extraction and bundle block adjustment method for large-scale multi-view oblique images is presented. Firstly, exterior orientation data gained by POS are used to rectify oblique images and predict image correspondences, which can be matched using SIFT algorithm. Secondly, an unordered feature tracking method relies on union-find algorithm are adapted to detect the multi-view correspondences. After tie-points extracted, bundle adjustment are done with POS and control points data treated as weighted measurement. In the experiment part, three kinds of oblique images, taken by assembled lightweight oblique system, UltraCam and SWDC-5, are used to test the algorithm above. The results show that our method can adapt the popular oblique systems at home and abroad, which can process over 2000 images at a time. And the precision of oblique triangulation is better than the traditional vertical triangulation, with an accuracy of 0.75 GSD in horizontal direction, 2.0 GSD in elevation direction.

Key words：oblique images；automatic triangulation；bundle block adjustment；tie-points extraction

基金項目：國家科技支撐計劃(2012BAJ23B00)；中央高?；究蒲袠I(yè)務費專項資金(2015214020201)

中圖分類號：P231

文獻標識碼：A

文章編號：1001-1595(2016)03-0310-08

Corresponding author：FEI Liang

通信作者：費亮

作者簡介：第一 閆利(1966—)，男，博士，教授，研究方向為攝影測量與遙感。

收稿日期：2014-12-22

引文格式：閆利，費亮，葉志云，等.大范圍傾斜多視影像連接點自動提取的區(qū)域網(wǎng)平差法[J].測繪學報，2016,45(3)：310-317. DOI:10.11947/j.AGCS.2016.20140673.

YAN Li，F(xiàn)EI Liang，YE Zhiyun，et al.Automatic Tie-points Extraction for Triangulation of Large-scale Oblique Multi-view Images[J]. Acta Geodaetica et Cartographica Sinica,2016,45(3):310-317. DOI:10.11947/j.AGCS.2016.20140673.

修回日期： 2015-07-30

First author： YAN Li(1966—)，male，PhD，professor，majors in photogrammetry and remote sensing.

E-mail： lyan@sgg.whu.edu.cn.

E-mail： lfei@whu.edu.cn