復雜機場全景視頻拼縫優(yōu)化方法研究

梁恩澤，李宏剛，杜 雙

（中國飛行試驗研究院，陜西 西安 710089）

0 引 言

隨著機場行業(yè)的飛速發(fā)展及智慧機場等新興信息技術的迅速崛起和應用，復雜機場場面運行管控的效率提升需求日益凸顯。機場場面全景可視化管控作為未來機場的重要管控手段之一，正在穩(wěn)步推進。全景視頻可以提高機場場面運行態(tài)勢感知能力，提升場面運行安全和管控效率。

復雜機場全景視頻通過多路高清攝像機采集的視頻拼接融合形成一副全景畫面。由于機場復雜環(huán)境因素影響，攝像機部署位置距離機場比較近，這要求攝像機采集范圍超過180°。在這種特殊室外環(huán)境進行大視場全景視頻拼接，現(xiàn)階段的全景系統(tǒng)視頻拼接技術仍存在一些不足，因光照條件變化等影響會產(chǎn)生拼縫及鬼影[1-2]。本文對復雜機場中全景視頻拼接出現(xiàn)的問題進行分析，針對復雜機場內(nèi)物體過縫時鬼影造成的監(jiān)視困難，提出一種適用于復雜機場全景視頻鬼影的優(yōu)化方法，查找最佳縫合線，優(yōu)化運動目標過縫產(chǎn)生的鬼影現(xiàn)象，從而達到較好的呈現(xiàn)效果。

1 機場場面監(jiān)視局限性

目前，機場行業(yè)以服務為主，如何解決占地面積大、飛行區(qū)域廣闊、航班延誤或客流量大導致的起降時間不規(guī)則、現(xiàn)場環(huán)境復雜等缺點，已經(jīng)成為各大機場和航空公司角逐的關鍵。目前，復雜機場飛行保障相關人員主要采用目視監(jiān)視為主，其他設備監(jiān)視管控為輔的監(jiān)管手段。指揮人員通過塔臺目視、通信設備、輔助攝像頭等獲取飛行區(qū)、滑行道、聯(lián)絡道、停機坪中人、機、物的信息。因此，場面運行效率會受到惡劣天氣、建筑物遮擋、人眼疲勞等因素的影響，這直接限制了飛行任務的有 效開展[3]。

2 全景視頻拼接融合

本文采用的全景系統(tǒng)的拼接通過接收前端多臺高清攝像機實時視頻，對視頻進行拼接參數(shù)檢測，根據(jù)具體的拼接參數(shù)，對多個視頻的每一幀圖像進行特征提取、特征匹配、投影變換、曝光補償、尋找拼縫、圖像融合等處理，形成一幅全景式優(yōu)質(zhì)圖像[4]。視頻全景拼接的流程如圖1所示。

圖1 全景拼接流程示意圖

2.1 視頻采集

使用IP高清攝像機實現(xiàn)復雜機場視頻的實時無損采集，為后續(xù)拼接處理提供高清晰度數(shù)據(jù)源。IP高清攝像機能夠超越PAL/NTSC制式的分辨率及幀速率，獲得高清晰度的視頻。

2.2 預處理

相機多角度采集的視頻因光照不同造成圖像序列對應的明暗不一致現(xiàn)象，導致拼接后的全景圖像信息存在較多的問題，如亮度和色調(diào)不一致等。因此，色差一致性處理是預處理的重要環(huán)節(jié)。一般需要通過白平衡處理方式，將圖像的白色色塊進行還原，還原到經(jīng)典的光源拍攝下白色所具備的像素值，對像素塊的信息進行優(yōu)化和管理，使用變換參數(shù)矩陣乘以當前圖像矩陣，可以獲得當前圖像在經(jīng)典光源下的像素系統(tǒng)[5]。

2.3 投影變換

圖像采集及拍攝過程中，相機角度不是一成不變的。對于多角度拍攝，需對采集到的機場痕跡進行管理，按照指定的管理模式進行優(yōu)化，因而無法開展圖像的配準分析。為了有效解決以上問題，復雜機場全景視頻拼接進行投影變換時，采用柱面投影模型的圖像獲取方式，能夠保證圖像間有一定的重疊區(qū)域，速度和精度都較好[6]。

2.4 圖像配準

全景視頻的圖像配準就是采用一定的方法對拼接的圖像進行處理，使它們建立特定的對應關系，之后再進行匹配疊加。按照配準時所使用的圖像信息不同，配準方法可以分為基于灰度、基于特征以及基于變換域的配準方法。在復雜機場環(huán)境下，本文采用基于特征的配準方式，能有效避免匹配位置不精確和對重疊區(qū)域有限制的缺點。特征匹配算法是一種高魯棒性的局部特征點的檢測算法。在復雜機場視頻圖像配準過程中，算法主要分為4步。

（1）尺度空間極值點的檢測。搜索所有尺度空間上的圖像，通過Hessian矩陣找到極值點作為特征點，同時在尋找極值點的過程中采用了許多加速運算量的方法，因此在一定程度上提高了運算 速度。

（2）特征點的精確定位。對候選特征點的位置和尺度都用泰勒級數(shù)插值擬合方法來決定，而其穩(wěn)定性是特征點選擇的主要依據(jù)。

（3）選取特征點的主方向。通過統(tǒng)計特征點區(qū)域的哈爾小波特征，選取特征點的主方向。

（4）特征點的描述。沿特征點的主要方向結合相鄰的區(qū)域，取4×4的矩形區(qū)域，每個區(qū)域需要25個像素點，并且呈現(xiàn)垂直和水平方向分布，呈現(xiàn)哈爾小波特征。

2.5 視頻融合

全景視頻融合是將配準后的多幅圖像進行拼接管理，融合成為一幅更大的圖像。由于復雜機場中多路攝像機的角度、曝光程度、不同相機自身物理屬性及鏡頭畸變等問題，采集多路視頻圖像的過程中勢必會產(chǎn)生差異。匹配的過程會出現(xiàn)一些局部區(qū)域無法完全對齊的情況，故融合過程中也會出現(xiàn)模糊虛影現(xiàn)象。

常用的視頻融合算法有直接平均法、加權平均法以及重疊區(qū)線性過渡法等。直接平均法和加權平均法存在融合的圖像過渡不平滑、具有帶狀痕跡等缺點，因此，基于這種大視場下的復雜機場全景視頻融合，本文擬采用重疊區(qū)線性過渡法來減少帶狀痕跡等缺點的影響，具體分析如下。

設復雜機場全景視頻采集的圖像重疊區(qū)域?qū)挾葹長，xmax、xmin分別對應x軸上的最大值和最小值。則漸變系數(shù)d可由式（1）求解：

f1(x, y)、f2(x, y)分別表示圖A和圖B在重疊域的像素值。沿著x軸的值從開始為1慢慢過渡到為0時，復雜機場圖像的重疊域從屬于圖像A緩緩變化到屬于圖像B。該算法的相關信息應用較為直觀，在復雜的機場中應用效果明顯，且融合后的圖像平滑性較好。

3 復雜全景視頻拼縫及鬼影

3.1 拼縫及鬼影問題描述

一般情況下，機場全景圖像是通過一系列手段將一副完整的圖像呈現(xiàn)給管控人員。但是，管控人員往往可以通過目視發(fā)現(xiàn)整幅圖中的一些明顯拼接縫隙，影響全景圖像的整體視覺效果。而在圖像中有物體運行時，運動的物體在通過特定區(qū)域或拼縫時又會出現(xiàn)鬼影現(xiàn)象。

3.2 復雜機場拼縫及鬼影成因分析

經(jīng)過實地分析得出復雜機場全景視頻中拼縫和鬼影的成因如下。

拼縫問題的成因是機場當天天氣及日光照射角度等原因產(chǎn)生色差，造成拼縫的出現(xiàn)。因為不同攝像機的擺放角度不同，一天中光照角度不一致，導致相機之間的曝光差異特別大。

復雜機場多視角攝像機的視頻拼接過程中，若視頻序列中出現(xiàn)運動的物體，則會出現(xiàn)鬼影問題。對于復雜機場架設環(huán)境，由于多視角攝像機的相機質(zhì)量存在差異，擺放的角度不同，很難使所有的攝像機光心相同。而且，運動物體相對于全景拼接背景會有不同的視差，以及環(huán)境中的逆光問題等，都是造成鬼影問題的主要原因。由此，拼接之后的圖像會在錯誤的位置產(chǎn)生錯誤的像。根據(jù)運動物體的位置不同，又分為三種情況。第一，若運動目標都在某單一圖中，則不會產(chǎn)生拼縫及鬼影問題。如圖2中的目標A。第二，運動目標均有一部分滲透到了拼縫融合區(qū)域，但只在兩幅圖中的某一幅圖出現(xiàn)，如圖2中的目標B和目標E。第三，運動目標互相滲透到了拼縫融合區(qū)域，如圖2中的目標C和 目標D。

圖2 鬼影分析示意圖

對上述運動物體的三種情況進行分析如下。

對于第一種情況，不需要進行修正或優(yōu)化。因為目標僅僅出現(xiàn)于單圖中，故不用擔心會產(chǎn)生拼縫及鬼影問題。

對于第二種情況，運動物體往往會出現(xiàn)一些模糊或部分消失情況，需要補全目標在拼縫區(qū)域由于漸入漸出而造成的漸隱情況。

對于第三類情況，必須判斷運動目標所屬具體圖像，并將該幅圖像的目標貼入機場全景拼接圖中，同時抹去其他圖像在原位置生成的目標。這給復雜機場全景拼接造成了很大的困擾。

3.3 對復雜機場場面管控的影響

按照文章第2章全景視頻的拼接步驟實施后，得到了特定的復雜機場場面全景視頻的實時呈現(xiàn)。但在兩個相機畫面拼接處，能夠發(fā)現(xiàn)色彩與攝像頭采集的原始圖像存在不一致之處，特別是在兩個畫面色差較大時，拼縫更加明顯。同時，場面上運動的目標在經(jīng)過拼接處時會產(chǎn)生重影、模糊、部分消失等問題，即使在一些靜態(tài)看上去沒有明顯拼縫的地方，運動目標經(jīng)過時這些問題也會凸顯出來。在飛機起降過程中，拼縫及鬼影問題的出現(xiàn)，可能會給指揮人員傳遞虛假信息，嚴重時塔臺甚至無法依靠全景視頻判斷飛行器的確切位置及起落架收放情況等運行狀態(tài)，對飛行器的飛行安全產(chǎn)生較嚴重的影響。

因此，本文提出一種針對復雜機場的全景拼縫優(yōu)化方法，用于消除拼接過程中視頻圖像產(chǎn)生的拼縫及鬼影。

4 大視場下全景視頻拼縫優(yōu)化設計

4.1 最佳縫合線尋找方法

一般情況下，解決拼縫問題可以通過物理手段（相機罩等）對攝像機進行適當遮光處理。為了更好地解決拼縫造成的管控困難，本文采用一種最優(yōu)的拼縫尋找方法，使兩個相機畫面在拼縫處差異最小，優(yōu)化拼接的平滑性。

全景技術中，兩幅圖像能夠拼接融合的前提是兩幅圖像有一定的重合區(qū)域，再在重疊區(qū)域進行融合算法處理。重疊區(qū)域的縫合線選擇對融合后的全景圖像效果有很大影響，好的縫合線選擇算法和策略能夠使全景視頻的過渡更加平滑。

本文采用基于圖割的方法來尋找最佳縫合線，以圖3為例，首先需要對待拼接的圖像進行抽象化分析。

圖3 圖割抽象模型

圖3 中每一個方框區(qū)域代表著一個像素，通過模擬將圖像中的每一個像素抽象成為一個點，并對圖中點與點之間的邊進行控制，賦予每條邊權值進行分析，作為切割的代價。設s和t為相鄰的兩個點，A（）和B（）分別為其對應位置的像素值，可以將切割代價表示為：

式中：||*||表示取絕對值。

針對移動目標只存在于某個圖像的像素要點，屬于A或者B的像素信息，用權值為+∞的邊進行分析，連結到特定圖像所代表的點。因此結合上述模型進行分析，設定將兩幅圖像的重疊區(qū)域構建成一個圖結構。如何定義帶權線是構建圖結構過程的關鍵。能量函數(shù)取決于帶權線的定義。能量函數(shù)的計算公式一般為：

式中：V、D兩部分計算分別代表了能量函數(shù)的數(shù)據(jù)項和平滑項?？p合線尋優(yōu)也就是該能量函數(shù)的最小化過程。

在初始化階段，利用基準圖像來構建初始圖。一般來說，設定該圖結構有兩個源點，也就是分別從基準圖和待拼接圖中生成該圖結構，即縫合線定義中的重疊區(qū)域分別來自基準圖像和待拼接圖像。

初始化圖后，利用式（3）的能量函數(shù)公式來計算圖的總能量，進行算法的迭代最小化，并對可選源進行α-擴張，定義為：

式中：I'(p)為p節(jié)點的α-擴張結果值，而I(p)為p節(jié)點α-擴張前的值。

α-擴張可以將p節(jié)點用可選源中的其他節(jié)點替換，并重新計算替換后的圖的總能量。如果能量增加，則恢復p節(jié)點的能量值；如果能量減少，則采用替換后的可選源的節(jié)點作為結果圖中的節(jié)點。循環(huán)迭代最小化能量函數(shù)，保留能量最小值的節(jié)點。從而得到最終能量最小化結果，劃分可選源的最小能量值分割線就是最優(yōu)縫合線。

在循環(huán)迭代能量最小化過程中，需要不斷計算能量函數(shù)，并比較和選取能量函數(shù)的大小。因此，需要詳細研究計算能量函數(shù)的方法，采用最高效和適應性高的計算方法來實現(xiàn)縫合線的尋優(yōu)和圖像的拼接。能量函數(shù)一般分為數(shù)據(jù)項和平滑項，其中數(shù)據(jù)項可以簡單定義為：

式（5）中I1和I2為兩個待拼接圖像，能量函數(shù)的數(shù)據(jù)項定義是為了考察縫合線節(jié)點是否落在重疊區(qū)域內(nèi)。如果該節(jié)點屬于重疊區(qū)域，數(shù)據(jù)項為0，即不影響能量函數(shù)值；如果該節(jié)點不屬于重疊區(qū)域內(nèi)，則能量函數(shù)數(shù)據(jù)項值將為+∞，即能量函數(shù)值逼近無窮大，不符合能量最小化的要求。這樣可以確保該縫合線定位于兩幅圖像間的重疊區(qū)域內(nèi)。

4.2 鬼影優(yōu)化方法

4.2.1 色差差異造成的鬼影優(yōu)化

完成機場最優(yōu)縫合線搜尋后，進行機場全景拼接圖像的融合處理。由于源圖像與待拼接圖像之間存在不可避免的亮度差異，整個機場的圖像會存在亮度不一致的現(xiàn)象。且由于飛行器運動、匹配誤差等客觀原因?qū)е碌墓碛艾F(xiàn)象，使得拼接圖像效果不佳。因此，本文采用泊松圖像融合技術進一步優(yōu)化拼接圖像。

設拼接圖像為S，S上的修復區(qū)域定義為Ω，其邊界是

式中：N代表圖像待修復區(qū)域中p點的鄰域。設f是定義在Ω上的顏色融合信息，?Ω上的已知顏色信息設為f*。則求解Ω的圖像顏色融合，轉(zhuǎn)化為求解邊界?Ω上的己知像素的顏色在Ω上的顏色修復梯度場的插值，求解公式為：

式中：p∈Ω，gp和gq是Ω上的顏色修復值，vpq=gp-gq是Ω上的顏色修復梯度。

式（7）是大型稀疏線性方程組。因此，本文采用共軛梯度法求解待修復區(qū)域的顏色融合值，計算速度較快，顏色融合的效果較好。

4.2.2 運動物體產(chǎn)生的鬼影優(yōu)化

在圖像拼接過程中，源圖像序列中的運動物體經(jīng)過拼接操作，在拼接圖像中形成鬼影現(xiàn)象。因此需要在當前全景拼接圖像和其源圖像的重疊區(qū)域中探測鬼影現(xiàn)象。當發(fā)現(xiàn)“鬼影”時，定位源圖像中的相關運動物體，創(chuàng)建梯度域剔除并區(qū)域填充該運動物體，同時創(chuàng)建一個新的源圖像，重新拼接源圖像，以擺脫“鬼影”。在梯度域?qū)ο笾幸瞥蛥^(qū)域填充操作過程中，通過編輯源圖像的梯度來創(chuàng)建一個梯度向量場，并利用邊界條件構造和求解泊松方程，將源圖像從梯度向量場中恢復信息，獲取新的全景拼接圖像。具體算法流程如圖4所示。

圖4 算法流程圖

對于飛機等運動物體所產(chǎn)生的鬼影現(xiàn)象，進行如下處理：輸入源圖像后，標注所有待移除物體的鄰域，通過編輯源圖像的梯度來創(chuàng)建一個梯度向量域。從源圖像和梯度向量場中移除對象。為了使這些被移除的區(qū)域看起來像場景中沒有相應對象變化，通過梯度域的區(qū)域填充操作，使用圖像其他部分中能找到的最適合的內(nèi)容來恢復這些區(qū)域。用這種方式能獲得一個填充到拼接圖像If中的域和一個填充到合成梯度向量場(Gx,Gy)的域。

下一步是要從梯度向量場(Gx,Gy)中恢復一個新的拼接圖像Ic。為了做到這點，從梯度向量場(Gx,Gy)中計算向量場散度div(G)，并用它作為指導向量來構造一個泊松方程，新的拼接圖像Ic可以通過求解泊松方程和邊界條件，從向量場中恢復。

在求解方程時，使用圖像If作為初始值可以給出線性求解程序一個好的初始解決方案的評估。

假設I(x, y)是拼接圖像，使用散度作為指導，構造一個泊松方程：

這是一個線性偏微分方程。為了解決這個方程，必須首先指定邊界條件。在優(yōu)化方法中，使用Neumann邊界條件。

最后，新的拼接圖像Ic能夠通過求解泊松方程，從梯度向量場(Gx,Gy)中恢復，用這個結果做為最后的拼接圖像，用于全景圖像拼接過程中運動物體產(chǎn)生鬼影的移除。

5 實驗結果

為了驗證本文算法的效果，在復雜機場全景可視化平臺上進行實驗驗證。平臺主要配置為：

（1）攝像機為4臺華為X2381-VG4K槍機；

（2）服務器采用華為2288H V5，至強銀牌4210，16 GB內(nèi)存，顯卡為NVIDIA Quadro RTX4000；

（3）軟件平臺為Visual Studio 2019，C#、C++語言。

算法實驗效果如圖5、圖6及圖7所示。

圖5 特征點配準圖像

實驗表明，本文提出的最佳縫合線尋找方法和鬼影優(yōu)化方法能夠?qū)碗s機場全景視頻拼接中存在的拼縫明顯問題及出現(xiàn)鬼影問題起到較好的優(yōu)化 效果。

6 結 語

在復雜機場這種特殊的大視場環(huán)境中，使用多攝像機進行全景拼接，實時呈現(xiàn)機場運行態(tài)勢，是復雜環(huán)境下機場管控的有效輔助手段和發(fā)展趨勢。本文分析了復雜機場目前存在的問題，對大視場下復雜機場全景系統(tǒng)進行了分析，針對全景系統(tǒng)實施過程中存在的問題進行總結，提出了優(yōu)化最佳縫合線的算法和抑制鬼影的思路，并實際測試了效果。實驗結果證明，該方法能夠優(yōu)化全景視頻中的拼縫并對運動目標的鬼影進行抑制。但本文的研究也存在一定的不足，全景視頻呈現(xiàn)的實時性有待進一步解決。