車載無(wú)人機(jī)的多路影像采集與拼接*

劉家利， 關(guān)桂霞， 趙海盟， 晏 磊， 彭彬彬

(1.首都師范大學(xué) 信息工程學(xué)院，北京 100048;2.北京大學(xué) 空間信息集成與3S工程應(yīng)用北京市重點(diǎn)實(shí)驗(yàn)室，北京 100871)

車載無(wú)人機(jī)的多路影像采集與拼接*

劉家利1,2， 關(guān)桂霞1， 趙海盟2， 晏 磊2， 彭彬彬1,2

(1.首都師范大學(xué) 信息工程學(xué)院，北京 100048;2.北京大學(xué) 空間信息集成與3S工程應(yīng)用北京市重點(diǎn)實(shí)驗(yàn)室，北京 100871)

為提高無(wú)人機(jī)(UAV)采集全景影像的效率，采用基于ARM內(nèi)核的高性能影像編解碼處理器，以Linux為操作系統(tǒng)，搭載多路影像傳感器，構(gòu)建了一種適合無(wú)人機(jī)平臺(tái)的多路影像同步采集的嵌入式系統(tǒng)。設(shè)計(jì)了軟件多線程同步采集模式及基于Qt與OpenCV視覺(jué)庫(kù)的多影像拼接界面，實(shí)現(xiàn)了全景影像的多角度實(shí)時(shí)同步獲取及多路影像的拼接。系統(tǒng)軟硬件聯(lián)調(diào)與實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)能成功完成多路影像數(shù)據(jù)的同步采集拼接處理，操作方便，達(dá)到了預(yù)期的要求和效果。

無(wú)人機(jī); 多路影像傳感器; 多線程; 同步采集; 圖像拼接

0 引 言

無(wú)人機(jī)(UAV)影像采集技術(shù)具有影像實(shí)時(shí)傳輸、高危地區(qū)探測(cè)、成本低及機(jī)動(dòng)靈活等優(yōu)點(diǎn)[1]，已成為一種空間數(shù)據(jù)獲取的重要手段和遙感領(lǐng)域的有力補(bǔ)充，在國(guó)外已得到廣泛應(yīng)用。近年來(lái)，無(wú)人機(jī)越來(lái)越多的應(yīng)用于各種應(yīng)急救援場(chǎng)合，為指揮救援提供大量現(xiàn)場(chǎng)實(shí)時(shí)影像數(shù)據(jù)，為制定高效的救援方針提供保障。其中，無(wú)人機(jī)影像采集技術(shù)主要是通過(guò)攜帶相機(jī)，多次航拍獲得現(xiàn)場(chǎng)影像數(shù)據(jù)。由于無(wú)人機(jī)自身載荷輕，航飛時(shí)間短等特點(diǎn)，使之具有能在復(fù)雜多變的救援現(xiàn)場(chǎng)最大發(fā)揮其機(jī)動(dòng)靈活性，實(shí)時(shí)性等優(yōu)點(diǎn)。

為提高無(wú)人機(jī)快速獲取救援現(xiàn)場(chǎng)影像信息，本文設(shè)計(jì)了基于無(wú)人機(jī)平臺(tái)的多影像傳感器數(shù)據(jù)同步采集與地面實(shí)時(shí)控制及處理的車載無(wú)人機(jī)遙感系統(tǒng)。該系統(tǒng)主要用于應(yīng)急救援領(lǐng)域的車載無(wú)人機(jī)前端影像采集系統(tǒng)及地面控制端的全景影像分析決策系統(tǒng)。通過(guò)提高無(wú)人機(jī)單次航飛的效率，及對(duì)現(xiàn)場(chǎng)全場(chǎng)影像信息的獲取，來(lái)提升車載無(wú)人機(jī)應(yīng)急救援系統(tǒng)現(xiàn)場(chǎng)處理、分析、決策的能力，為制定精準(zhǔn)的救援方針提供有力保障，為攝影測(cè)量、遙感等領(lǐng)域的三維重建、全景拼接、配準(zhǔn)融合[2]提供豐富的前端多源影像數(shù)據(jù)。

1 車載無(wú)人機(jī)系統(tǒng)組成

本文針對(duì)車載無(wú)人機(jī)遙感平臺(tái)設(shè)計(jì)了現(xiàn)場(chǎng)影像數(shù)據(jù)的同步采集、編碼、存儲(chǔ)及拼接的嵌入式軟硬件系統(tǒng)。該嵌入式系統(tǒng)質(zhì)量輕，體積小，集成度高，可以完成無(wú)人機(jī)對(duì)地物多角度的同時(shí)拍攝及對(duì)采集影像的拼接，從而實(shí)現(xiàn)救援現(xiàn)場(chǎng)信息的快速獲取。車載無(wú)人機(jī)系統(tǒng)分為無(wú)人機(jī)載荷端和地面控制端[3]。其中，無(wú)人機(jī)載荷端包括多傳感器采集系統(tǒng)、航飛控制系統(tǒng)、數(shù)據(jù)傳輸系統(tǒng)及導(dǎo)航系統(tǒng)等;地面控制端包括航線規(guī)劃系統(tǒng)、地面控制系統(tǒng)以及數(shù)據(jù)接收系統(tǒng)、影像處理系統(tǒng)。無(wú)人機(jī)載荷端主要功能是根據(jù)地面端制定的航跡，完成多路遙感影像數(shù)據(jù)的實(shí)時(shí)同步采集與存儲(chǔ)。地面控制端主要功能是無(wú)人機(jī)的實(shí)時(shí)控制與數(shù)據(jù)的處理。整個(gè)車載無(wú)人機(jī)系統(tǒng)架構(gòu)圖如圖1所示。

圖1 車載無(wú)人機(jī)系統(tǒng)圖

由圖1可知，無(wú)人機(jī)載荷端的多傳感器影像采集系統(tǒng)以多通道影像采集設(shè)備NVP1918C[4]為核心，結(jié)合外圍采集電路，完成對(duì)多路模擬CCD影像傳感器影像數(shù)據(jù)的采集與數(shù)字化。影像的編碼系統(tǒng)采用基于ARM內(nèi)核的專業(yè)影像編解碼器Hi2520D[5]，接收來(lái)自采集單元NVP1918C的影像幀流，對(duì)影像進(jìn)行前期處理，完成影像的編碼與存儲(chǔ)。

地面控制端的控制處理系統(tǒng)主要通過(guò)Qt人機(jī)交互界面完成對(duì)無(wú)人機(jī)載荷端的多傳感器影像采集系統(tǒng)的參數(shù)設(shè)置、多通道影像的預(yù)覽及全景拼接預(yù)覽。方便對(duì)無(wú)人機(jī)端實(shí)時(shí)地控制及快速獲取現(xiàn)場(chǎng)影像信息。

2 多路影像同步采集

2.1 影像采集平臺(tái)的構(gòu)建

基于多傳感器同步采集的硬件系統(tǒng)，開(kāi)發(fā)數(shù)據(jù)編碼、參數(shù)設(shè)置、存儲(chǔ)管理、影像顯示與處理、線程管理、設(shè)備管理和驅(qū)動(dòng)加載、網(wǎng)絡(luò)通信以及系統(tǒng)的初始化的軟件系統(tǒng)，并完成Linux內(nèi)核的燒寫(xiě)、驅(qū)動(dòng)加載、系統(tǒng)啟動(dòng)腳本編寫(xiě)等工作。由于嵌入式平臺(tái)的架構(gòu)與PC架構(gòu)不同，本系統(tǒng)平臺(tái)的構(gòu)建及應(yīng)用程序的開(kāi)發(fā)均采用PC宿主機(jī)與目標(biāo)機(jī)相結(jié)合的交叉開(kāi)發(fā)模式[6]：宿主機(jī)上設(shè)計(jì)、調(diào)試、交叉編譯，調(diào)試成功后，目標(biāo)機(jī)上運(yùn)行、驗(yàn)證、再調(diào)試直至可靠運(yùn)行。具體流程圖如圖2所示。

圖2 軟件平臺(tái)流程圖

2.2 多線程同步采集模式

基于多通道采集多傳感器影像數(shù)據(jù)的硬件平臺(tái)，為提高無(wú)人機(jī)高速航飛時(shí)多路影像數(shù)據(jù)采集的同步性，影像采集程序的設(shè)計(jì)采用Linux下多線程編程模式，即為每一個(gè)通道的影像數(shù)據(jù)的采集與存儲(chǔ)，分配相應(yīng)的采集線程與存儲(chǔ)線程，以實(shí)現(xiàn)多傳感器同一時(shí)刻對(duì)同一場(chǎng)景的多角度拍攝，為后期的影像處理提供原始影像數(shù)據(jù)。多線程的同步采集模式在提高了系統(tǒng)同步性的同時(shí)，精簡(jiǎn)了硬件資源，提高了系統(tǒng)的集成度。采集程序的工作流程圖如圖3。

圖3 同步采集流程圖

在影像采集程序的設(shè)計(jì)中主要采用了多線程同步中經(jīng)典的生產(chǎn)者—消費(fèi)者模式[7]，即分別將采集與存儲(chǔ)分為兩個(gè)線程，使多路傳感器圖像數(shù)據(jù)的采集與存儲(chǔ)處于不同的線程的控制下。采用信號(hào)量與互斥鎖同步采集線程和存儲(chǔ)線程，以實(shí)現(xiàn)多采集線程間隔時(shí)間的最小化，完成多源傳感器數(shù)據(jù)的同步獲取，從而滿足無(wú)人機(jī)高速航飛時(shí)的要求。

3 多路影像拼接

為實(shí)現(xiàn)地面控制端對(duì)無(wú)人機(jī)的靈活控制及對(duì)影像數(shù)據(jù)實(shí)時(shí)分析、處理，設(shè)計(jì)基于Qt的可視化實(shí)時(shí)操作界面，方便快捷地完成地面控制端的指令發(fā)送。同時(shí)，為實(shí)現(xiàn)對(duì)多通道影像數(shù)據(jù)的預(yù)覽及全景圖獲取，設(shè)計(jì)了基于OpenCV的影像顯示及處理模塊[8]。

3.1 基于Qt的人機(jī)交互界面設(shè)計(jì)

通過(guò)Ubuntu系統(tǒng)中QtCreator集成開(kāi)發(fā)環(huán)境，編寫(xiě)可視化的應(yīng)用程序Qt界面[9]。設(shè)計(jì)優(yōu)良的人機(jī)交互界面能簡(jiǎn)化操作，方便使用。利用Qt的控制處理界面實(shí)現(xiàn)對(duì)控制指令的發(fā)送及OpenCV下圖像處理算法及函數(shù)調(diào)用。通過(guò)該界面可以方便地完成對(duì)無(wú)人機(jī)的實(shí)時(shí)控制及對(duì)采集影像的快速預(yù)覽與處理。

3.2 基于OpenCV的圖像拼接處理

本系統(tǒng)通過(guò)影像處理界面選擇3張預(yù)拼接影像，通過(guò)OpenCV下Stitcher類中相關(guān)函數(shù)對(duì)多張影像預(yù)處理，特征點(diǎn)提取與配準(zhǔn)，多相機(jī)校準(zhǔn)，曝光補(bǔ)償，影像融合等操作，完成多路影像拼接[10]，獲取全景圖。具體流程圖如圖4所示。

圖4 圖像拼接流程

3.2.1 基于SIFT的特征提取與匹配

首先，對(duì)多張?jiān)加跋襁M(jìn)行直方圖匹配、平滑濾波、增強(qiáng)變換等基本圖像操作，完成圖形拼接的預(yù)處理，為影像的特征提取做準(zhǔn)備。然后，利用SIFT算法對(duì)圖像進(jìn)行尺度空間關(guān)鍵點(diǎn)檢測(cè)，確定關(guān)鍵點(diǎn)方向、關(guān)鍵點(diǎn)特征描述、關(guān)鍵點(diǎn)匹配等操作，完成影像的特征點(diǎn)提取與影像配準(zhǔn)。

利用高斯函數(shù)獲取不同的尺度空間，并在不同的尺度空間查找關(guān)鍵點(diǎn)，即對(duì)輸入的圖像進(jìn)行高斯濾波得到尺度空間，則得式(1)

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

通過(guò)高斯差分函數(shù)，檢測(cè)出尺度空間中的穩(wěn)定點(diǎn)，則得

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ) )*I(x,y)

(2)

即尺度空間相鄰上下兩層圖像相減，得到高斯差分圖像。將每一個(gè)采樣點(diǎn)與它同尺度的8鄰域點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)進(jìn)行比較，看其是否比它的影像域和尺度域的相鄰點(diǎn)大或者小，確保尺度空間和二維影像空間都檢測(cè)到極值點(diǎn)[11]。

利用圖像的局部特征為給每一個(gè)關(guān)鍵點(diǎn)分配一個(gè)基準(zhǔn)方向，使描述符具有旋轉(zhuǎn)不變性。關(guān)鍵點(diǎn)(x,y)的梯度模值和方向如下

m(x,y)=

(3)

通過(guò)以上步驟，得到每一個(gè)關(guān)鍵點(diǎn)的三個(gè)信息：位置、尺度以及方向[12]。接下來(lái)就是為每個(gè)關(guān)鍵點(diǎn)建立一個(gè)描述符，用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來(lái)，使其不隨各種變化而改變，比如光照變化、視角變化等。

得到影像的SIFT特征描述后，利用關(guān)鍵點(diǎn)特征描述符的歐氏距離作為兩幅影像中關(guān)鍵點(diǎn)的相似判定度量。取影像1中的某個(gè)關(guān)鍵點(diǎn)，找出影像2中歐氏距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，若最近的距離除以次近距離少于某個(gè)比例閾值，則可以接受該匹配點(diǎn)；如果降低此閾值，SIFT特征匹配點(diǎn)數(shù)會(huì)有所減少，但是匹配結(jié)果更加穩(wěn)定。

3.2.2 影像配準(zhǔn)

影像配準(zhǔn)則利用SIFT算法匹配相鄰圖片中的特征點(diǎn)，估算影像間投影變換矩陣，識(shí)別出兩幅影像對(duì)應(yīng)的特征信息。利用這些匹配的點(diǎn)來(lái)估算“單應(yīng)矩陣”(homographyestimation)，即把其中一張通過(guò)關(guān)聯(lián)性與另一張匹配的方法。單應(yīng)矩陣H如下式(4)

(4)

通過(guò)單應(yīng)矩陣H，可以將原圖像中任意像素點(diǎn)坐標(biāo)轉(zhuǎn)換為新坐標(biāo)點(diǎn)，轉(zhuǎn)換后的圖像即為適合拼接的結(jié)果圖像。

3.2.3 相機(jī)校準(zhǔn)

根據(jù)前面求出的任意兩幅影像的單應(yīng)矩陣H，求出符合條件的相機(jī)焦距f，并求出均值作為所有影像的粗略估計(jì)焦距f。根據(jù)匹配的內(nèi)點(diǎn)構(gòu)建最大生成樹(shù)，然后，廣度優(yōu)先搜索求出根節(jié)點(diǎn)，并求出相機(jī)的旋轉(zhuǎn)矩陣R，相機(jī)參數(shù)模型矩陣K。相機(jī)參數(shù)模型定義為

(5)

旋轉(zhuǎn)矩陣為

(6)

由于多個(gè)成對(duì)的單應(yīng)性矩陣合成全景圖時(shí)，忽略全局的限制，造成累積誤差。多路影像傳感器從不同角度、位置拍攝多幅影像，則影像上所有特征點(diǎn)的物點(diǎn)、像點(diǎn)、光心都落在相應(yīng)的光線上，滿足成像的共線關(guān)系。利用光束法平差優(yōu)化這些共線關(guān)系的總體偏差，使物點(diǎn)、光心、光軸像機(jī)、目標(biāo)結(jié)構(gòu)等參數(shù)得到修正。因此，每一個(gè)圖像都要加上光束法平差值，使圖像被初始化成相同的旋轉(zhuǎn)和焦距長(zhǎng)度。

通過(guò)影像配準(zhǔn)，光束法平差等處理得到影像的相機(jī)參數(shù)及旋轉(zhuǎn)矩陣R，對(duì)影像進(jìn)行優(yōu)化后的單應(yīng)矩陣變換。源圖像的點(diǎn)(x，y，z)，圖像的旋轉(zhuǎn)矩陣R，圖像的相機(jī)參數(shù)矩陣K[13]，經(jīng)過(guò)變換后的同一坐標(biāo)(x1,y1,z1)如式(7)所示，然后通過(guò)映射式(8)映射到球形坐標(biāo)(U，V，W)，其關(guān)系如下

(7)

V=scale(π-acosW)

(8)

根據(jù)映射公式，對(duì)圖像的上下左右4個(gè)邊界求映射后的坐標(biāo)，確定變換后圖像的左上角和右上角的坐標(biāo)。

利用反投影將圖形反投影到變換的圖像上，并用2維線性插值計(jì)算像素值。將反投影求出的左上角和右上角坐標(biāo)軸寫(xiě)到圖形矩陣中,最后,使用自帶的函數(shù)將圖像重新繪制。

3.2.4 曝光補(bǔ)償與圖像融合

圖像拼接過(guò)程中，可能因?yàn)楣馊蛘吖饩€的問(wèn)題，導(dǎo)致相鄰圖片重疊區(qū)域出現(xiàn)亮度差，所以在拼接時(shí)就需要對(duì)圖像進(jìn)行亮度補(bǔ)償。

根據(jù)優(yōu)化后的圖像間單應(yīng)變換矩陣H確定圖像間重疊區(qū)域，將預(yù)融合的多幅影像鑲嵌到一個(gè)空白的影像中形成一個(gè)全景圖,完成系統(tǒng)多路影像拼接。

4 實(shí)驗(yàn)結(jié)果與分析

在成功完成無(wú)人機(jī)載荷端的多路影像數(shù)據(jù)的同步采集后，將采集的影像數(shù)據(jù)傳輸?shù)降孛婵刂平K端，運(yùn)行已調(diào)試成功的Qt控制處理界面，通過(guò)界面上影像預(yù)覽控件選擇3張同步采集的影像數(shù)據(jù)，并通過(guò)影像處理控件完成多采集的多影像數(shù)據(jù)的特征點(diǎn)提取與匹配，最后完成多路影像數(shù)據(jù)拼接，從而獲得全景影像數(shù)據(jù)。如圖5所示。

圖5 多影像拼接效果圖

由圖5可知，本系統(tǒng)所采用的基于SIFT的特征提取與匹配及光束法平等改進(jìn)算法很好的完成了3張分辨率為640×480影像的拼接處理，拼接結(jié)果較為自然，無(wú)明顯的拼接縫隙。盡管圖像間的亮度存在差異，但經(jīng)過(guò)曝光補(bǔ)償及融合后，還是保證了多影像間的平滑過(guò)渡?？傮w上，在多傳感器的不同拍攝角度、相機(jī)參數(shù)、亮度、曝光度及焦距等引起圖像的亮度及畸變的處理上是穩(wěn)健的。但是，實(shí)驗(yàn)表明:該算法存在拼接時(shí)間長(zhǎng)，亮度拼接縫等問(wèn)題，下一步將針對(duì)多傳感器不同參數(shù)、運(yùn)動(dòng)補(bǔ)償?shù)葐?wèn)題構(gòu)建更加穩(wěn)健的拼接模型。

同時(shí)，友好的人機(jī)交互界面增強(qiáng)了地面控制操作的方便性，并成功完成多路影像的實(shí)時(shí)預(yù)覽及拼接處理可視化操作。它在一定程度上增強(qiáng)了無(wú)人機(jī)感知信息的能力，加快了對(duì)應(yīng)急救援現(xiàn)場(chǎng)信息的采集與分析，提升了整個(gè)系統(tǒng)的性能。

5 結(jié) 論

本文根據(jù)無(wú)人機(jī)在應(yīng)急救援領(lǐng)域的應(yīng)用需求，設(shè)計(jì)了基于無(wú)人機(jī)平臺(tái)的嵌入式影像采集系統(tǒng)及地面控制處理終端。采用多線程同步采集模式優(yōu)化采集系統(tǒng)，為地面控制端提供大視場(chǎng)同步影像數(shù)據(jù)，加快了地面控制端對(duì)采集的同步多路影像的拼接處理。系統(tǒng)從硬件平臺(tái)的多傳感器，到軟件多線程的同步及基于OpenCV與Qt的控制處理界面設(shè)計(jì),均在傳統(tǒng)的無(wú)人機(jī)影像采集系統(tǒng)上進(jìn)行改進(jìn)與創(chuàng)新，將無(wú)人機(jī)的應(yīng)用與機(jī)器視覺(jué)相結(jié)合，以此來(lái)提升無(wú)人機(jī)的感知能力及航飛效率。

在系統(tǒng)聯(lián)合調(diào)試與實(shí)驗(yàn)中仍發(fā)現(xiàn)了一些需改進(jìn)之處，為提升整個(gè)系統(tǒng)的性能，下一步的工作將在系統(tǒng)集成度、軟硬件精簡(jiǎn)、快速拼接算法、影像去抖動(dòng)性及圖像界面優(yōu)化等方面進(jìn)行完善。

[1] 李巖山，裴繼紅，謝維信，等.一種新的無(wú)人機(jī)航拍序列圖像快速拼接方法[J].電子學(xué)報(bào),2012,40(5):935-940.

[2] 劉思潔.面向無(wú)人機(jī)監(jiān)控技術(shù)的多傳感器視頻圖像融合方法研究[D].北京：北京大學(xué)，2014:22-24.

[3] 彭彬彬,關(guān)桂霞,趙海盟.車載無(wú)人機(jī)遙感圖像采集與地面顯示模塊設(shè)計(jì)[J].影像科學(xué)與光化學(xué),2015,33(6):503-512.

[4] 于 琴.基于FPGA的數(shù)字圖像采集卡的開(kāi)發(fā)與設(shè)計(jì)[J].微計(jì)算機(jī)信息,2008,24(26):128-129.

[5] 趙冰潔.基于FPGA+ARM的多源圖像融合技術(shù)研究[D].西安：西安光學(xué)精密機(jī)械研究所,2014:15-30.

[6] 谷靜博，關(guān)桂霞.地應(yīng)力監(jiān)測(cè)中定位與姿態(tài)數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用,2014,34(9):2752-2756.

[7] 李 梅.生產(chǎn)者—消費(fèi)者的Linux多線程實(shí)現(xiàn)[J].價(jià)值工程,2012,30(6):221-222.

[8] 王福斌,李迎燕,劉 杰.基于OpenCV的機(jī)器視覺(jué)圖像處理技術(shù)實(shí)現(xiàn)[J].機(jī)械與電子,2010(6):54-57.

[9] 許崇娟,陳春光.基于嵌入式系統(tǒng)Qt界面的混沌數(shù)字圖像加密研究[J].工業(yè)控制計(jì)算機(jī)，2014,27(4):116-120.

[10] 楊 楊.無(wú)人機(jī)航拍視頻圖像實(shí)時(shí)拼接軟件系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[D].北京：北京工業(yè)大學(xué)，2013.

[11] 夏朝貴,李二森,劉 智.一種基于SIFT特征匹配的自動(dòng)圖像拼接方法[J].海洋測(cè)繪,2010,30(1):66-69.

[12] Lowe D G.Distinctive image feature form scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[13] Brown M,Lowe D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision,2007,74(1):59-73.

Capture and stitching of multi-channel images based on vehicle-mounted unmanned aerial vehicle*

LIU Jia-li1,2, GUAN Gui-xia1, ZHAO Hai-meng2, YAN Lei2, PENG Bin-bin1,2

(1.College of Information Engineering,Capital Normal University,Beijing 100048,China;2.Beijing Key Laboratory of Spatial Information Integration & 3S Application,Peking University,Beijing 100871,China)

The embedded system,capture and stitching of multi-channel images based on vehicle-mounted UAV is designed to improve the efficiency of capturing panoramic images.The system is composed of high performance images codec processor based on ARM kernel,the image sensors and Linux.It is very suitable for UAV platform.The system can capture the images in different angles in multithreading mode in real-time and synchronously,have the panorama images with the images stitching interface based on Qt and OpenCV.The results of experiment show that the system can capture images synchronously and stitch images successfully,its operation is convenient and achieve expected effect.

UAV; multi-channel image sensor; multithread; synchronous acquisition; image stitching

10.13873/J.1000—9787(2017)04—0008—04

2016—05—27

國(guó)家自然科學(xué)基金資助項(xiàng)目(41371492)；博士點(diǎn)基金資助項(xiàng)目(20130001110046)

TP 751

A

1000—9787(2017)04—0008—04

劉家利(1990-),男，碩士，主要研究方向?yàn)榍度胧较到y(tǒng)開(kāi)發(fā)與設(shè)計(jì)。

趙海盟(1980-)，男，通訊作者，工程師，主要從事衛(wèi)星導(dǎo)航、嵌入式系統(tǒng)設(shè)計(jì)工作，E—mail:zhaohaimeng@163.com。