面向經(jīng)緯儀圖像序列的關(guān)鍵幀提取算法

黃 為，汪 毅，張 龍，張煜昕，楊海民

（中國(guó)衛(wèi)星海上測(cè)控部 技術(shù)部，江蘇 江陰 214431）

引言

光電經(jīng)緯儀利用光學(xué)成像原理采集高速運(yùn)動(dòng)目標(biāo)的圖像信息[1-3]，并對(duì)傳動(dòng)機(jī)架的角度旋轉(zhuǎn)情況實(shí)時(shí)測(cè)量，從而獲得目標(biāo)的運(yùn)動(dòng)參數(shù)。隨著傳感器技術(shù)、數(shù)字圖像處理技術(shù)的飛速發(fā)展，高分辨率、高幀頻圖像采集技術(shù)在光電跟蹤領(lǐng)域日趨成熟，高幀頻、高分辨率的圖像序列帶來了更大存儲(chǔ)容量的挑戰(zhàn)[4-5]，特別是在艦載、機(jī)載等模式下受傳輸帶寬限制，很難實(shí)時(shí)進(jìn)行經(jīng)緯儀跟蹤目標(biāo)圖像序列的地基實(shí)時(shí)傳輸。

不同于普通的視頻圖像序列，經(jīng)緯儀在穩(wěn)定跟蹤過程中光學(xué)圖像變化并不顯著，只在初始搜索狀態(tài)或目標(biāo)速度劇烈變化時(shí)圖像有較大的變化，傳統(tǒng)的關(guān)鍵幀提取算法[6-8]會(huì)選取大量的非穩(wěn)定跟蹤圖像幀，而將穩(wěn)定跟蹤測(cè)量信息遺棄。為了便于經(jīng)緯儀圖像序列進(jìn)行快速傳輸與監(jiān)測(cè)，同時(shí)保留一定數(shù)量的目標(biāo)穩(wěn)定跟蹤測(cè)量圖像幀，需要構(gòu)建一種適宜于經(jīng)緯儀圖像序列的關(guān)鍵幀提取算法。因此，在艦載、機(jī)載經(jīng)緯儀跟蹤目標(biāo)情況下，實(shí)時(shí)通信時(shí)只傳輸關(guān)鍵圖像幀，可在一定程度上減少傳輸帶寬的影響，使地基工作人員能實(shí)時(shí)了解跟蹤目標(biāo)狀態(tài)，有效進(jìn)行指揮決策。

本文分析經(jīng)緯儀圖像序列的特點(diǎn)，構(gòu)建了一種基于局部幀間差分極大值的關(guān)鍵幀提取方法。該方法基于局部極大值來選取經(jīng)緯儀圖像序列關(guān)鍵幀，獲取的關(guān)鍵幀在整個(gè)跟蹤測(cè)量圖像序列中分布更為均勻，能更好地表現(xiàn)目標(biāo)的跟蹤測(cè)量信息，具有簡(jiǎn)單、高效的優(yōu)點(diǎn)。

1 相關(guān)工作

視頻/圖像序列的內(nèi)容比文本豐富很多，表現(xiàn)力強(qiáng)、信息量大。相應(yīng)的視頻/圖像序列中存在大量的冗余信息，我們希望能夠從視頻/圖像序列中提取出一些具有顯著特征的幀，這些幀能夠大致表征視頻/圖像序列的語義，這個(gè)過程稱為視頻/圖像序列關(guān)鍵幀提取。關(guān)鍵幀是一種高效、精簡(jiǎn)的視頻/圖像序列展現(xiàn)方式，用關(guān)鍵幀表征原始圖像序列可以極大地減少圖像序列檢索數(shù)據(jù)量，快速進(jìn)行檢索和瀏覽，同時(shí)降低圖像序列存儲(chǔ)的負(fù)擔(dān)。關(guān)鍵幀提取作為一種可行的解決方案，越來越受到人們的關(guān)注。

一般來說，關(guān)鍵幀提取方法可以分為以下4種：

1）基于鏡頭邊界的方法

基于鏡頭邊界的關(guān)鍵幀提取算法是視頻檢索領(lǐng)域中最先發(fā)展起來的，也是目前最為成熟的方法[9-10]。該方法的優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，計(jì)算量也很小，但僅適用于經(jīng)過編輯處理，具有鏡頭切換的視頻源，如新聞等。

2）基于內(nèi)容分析的方法

基于內(nèi)容分析的關(guān)鍵幀提取方法，是將圖像序列中特征信息有明顯變化的幀作為關(guān)鍵幀[11-13]。該方法通常先選取圖像的一類特征，如灰度、紋理來表示其內(nèi)容，然后計(jì)算相鄰幀的特征差異，通過比較幀間差異與閾值的大小來選取關(guān)鍵幀。

3）基于運(yùn)動(dòng)分析的方法

該方法主要考慮視頻中目標(biāo)的運(yùn)動(dòng)特性，是一種基于光流分析的方法[14-15]。這種方法提取到的關(guān)鍵幀能有效地表達(dá)視頻運(yùn)動(dòng)的特征，但是該方法需要依賴于物體運(yùn)動(dòng)的局部特征，因此算法本身的魯棒性較差。

4）基于視頻幀聚類的方法

這種方法考慮了鏡頭內(nèi)和鏡頭間的相關(guān)性，在提取關(guān)鍵幀過程中通過聚類的方法來表達(dá)視頻的主題[16-17]，通過聚類分析將相似的圖像幀序列劃分到同一類中，再根據(jù)特定準(zhǔn)則從每個(gè)類中選取關(guān)鍵幀。在獲取到聚類中心后，可以選擇離聚類中心最近的圖像幀作為關(guān)鍵幀。

2 本文算法

經(jīng)緯儀光學(xué)圖像序列具有高幀頻和高分辨率的特性，但不同于通常的視頻/圖像序列，經(jīng)緯儀圖像序列往往是長(zhǎng)時(shí)間跟蹤同一飛行目標(biāo)得到的一段完整鏡頭，鏡頭單一，大多數(shù)情況下不需要再做鏡頭分割。因此，基于鏡頭分割的關(guān)鍵幀提取方法并不適用于經(jīng)緯儀光學(xué)圖像序列。經(jīng)緯儀光學(xué)圖像目標(biāo)運(yùn)動(dòng)特征的變化不顯著，使用基于運(yùn)動(dòng)分析的方法計(jì)算光流分量的精度不高。此外，基于運(yùn)動(dòng)分析的方法提取關(guān)鍵幀計(jì)算復(fù)雜度較高?；诰垲惖年P(guān)鍵幀提取算法通過聚類分析可以獲得聚類結(jié)果。在各個(gè)聚類中可以根據(jù)不同的內(nèi)容采用不同的準(zhǔn)則提取關(guān)鍵幀，但由于經(jīng)緯儀圖像序列長(zhǎng)時(shí)間跟蹤同一飛行目標(biāo)，幀之間不存在明顯的聚類中心，聚類算法的閾值設(shè)置較為困難。

通過分析不同的圖像序列關(guān)鍵幀提取技術(shù)，本文構(gòu)建了一種基于局部幀間差分極大值的關(guān)鍵幀提取算法，將2幀圖像進(jìn)行差分，得到圖像的幀間差分像素強(qiáng)度可以用來衡量?jī)蓭瑘D像的變化大小。因此，基于幀間差分像素強(qiáng)度的關(guān)鍵幀提取方法，是當(dāng)視頻中某一幀與前一幀畫面內(nèi)容產(chǎn)生了大的變化，就認(rèn)為它是關(guān)鍵幀，并將其提取出來。

經(jīng)典的幀間差分關(guān)鍵幀提取算法計(jì)算過程如下。

設(shè)S={f1,f2,…fn}是圖像序列中一個(gè)鏡頭，共n幀，取任意2個(gè)圖像幀fi、fj為候選關(guān)鍵幀。圖像幀間距離計(jì)算公式為

在得到幀間距離D后，可將D除以圖像尺寸進(jìn)行規(guī)范化。將上述幀間距離D與設(shè)定閾值T進(jìn)行比較，若D ＞T，則將fj作為關(guān)鍵幀。

具體實(shí)現(xiàn)過程中直接設(shè)定幀間差分閾值T較為困難，本文使用了幀間差分強(qiáng)度局部極大值作為關(guān)鍵幀提取標(biāo)準(zhǔn)。使用局部極大值方法時(shí)選擇局部鄰域的大小為1，即檢查每個(gè)幀間差分值與其左右鄰域的數(shù)值大小，若大于其左右鄰域的數(shù)值，則為局部極大值，將該幀間差分值對(duì)應(yīng)的圖像幀選取為關(guān)鍵幀?；诰植繕O大值的方法可使關(guān)鍵幀提取結(jié)果在圖像序列中分布更為分散，提取結(jié)果豐富度表現(xiàn)更好一些。

在使用上述幀間差分方法時(shí)，對(duì)圖像序列的幀間差分值本文使用了基于卷積核的平滑。使用平滑后的幀間差分強(qiáng)度作為替代，可有效地移除隨機(jī)噪聲，以避免將相似圖像序列下的若干幀均同時(shí)提取為關(guān)鍵幀，我們使用漢寧窗（hanning）作為卷積核函數(shù)。本文算法整體流程如圖1所示。

圖1 本文算法流程Fig.1 Flow chart of proposed algorithm

作為對(duì)比方法，我們同時(shí)構(gòu)建了一種使用幀間差分強(qiáng)度排序的方法。該方法對(duì)所有幀按照幀間差分強(qiáng)度進(jìn)行排序，選擇幀間差分強(qiáng)度最高的若干張圖片作為圖像序列的關(guān)鍵幀。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)中使用的數(shù)據(jù)集為“紅外序列圖像中弱小飛機(jī)目標(biāo)檢測(cè)跟蹤數(shù)據(jù)集”[18]。該數(shù)據(jù)集使用的傳感器為制冷型中波紅外相機(jī)，采集對(duì)象為空中固定翼無人機(jī)(燃油動(dòng)力)目標(biāo)，每幅紅外圖像的分辨率均為256×256像素，8 bit位深。本文實(shí)驗(yàn)中選取了2段空天背景下無人機(jī)目標(biāo)的圖像序列,分別記為Dataset-A、Dataset-B。其中Dataset-A中無人機(jī)一直處于穩(wěn)定跟蹤狀態(tài)，圖像序列中無人機(jī)大致位于圖像中心位置附近，且背景較為簡(jiǎn)單，表現(xiàn)為只有飛行姿態(tài)和2架飛機(jī)相對(duì)位置的變化；Dataset-B中無人機(jī)相對(duì)于經(jīng)緯儀鏡頭飛行速度較大，無人機(jī)在圖像中的位置變化較大，且背景有大量云層，較為復(fù)雜，在圖像系列的尾部，無人機(jī)不再可見。

圖2給出從2個(gè)不同圖像序列中選取首尾2幀圖像的樣本示例。其中圖2(a)為Dataset-A中的圖像幀樣本；圖2(b)為Dataset-B的圖像幀樣本。

圖2 經(jīng)緯儀圖像序列示例Fig.2 Examples of theodolite image sequence

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，分別使用了幀間差分強(qiáng)度局部極大值和幀間差分強(qiáng)度排序2種方法，從上述2個(gè)經(jīng)緯儀圖像序列中提取關(guān)鍵幀，設(shè)置幀間差分強(qiáng)度排序方法，提取關(guān)鍵幀數(shù)目為圖像序列總幀數(shù)的1/50，幀間差分強(qiáng)度局部極大值的漢寧窗口寬度設(shè)置為51。

基于Dataset-A圖像序列得到的幀間差分曲線及關(guān)鍵幀如圖3所示。其中橫坐標(biāo)為圖像序列幀序號(hào)；縱坐標(biāo)為幀間差分值，兩者數(shù)值均無單位。圖3中紅色圓圈代表提取的關(guān)鍵幀，其中3(a)為基于強(qiáng)度排序提取的關(guān)鍵幀；圖3(b)為基于局部極大值提取的關(guān)鍵幀。從圖3可以看出，本文基于局部極大值算法提取到的關(guān)鍵幀在整個(gè)圖像序列中分布更為均勻，基于幀間差分強(qiáng)度排序的方法提取的關(guān)鍵幀分布在少數(shù)的幾個(gè)圖像片段中。

圖3 基于Dataset-A的幀間差分曲線及關(guān)鍵幀F(xiàn)ig.3 Frame difference curve and key frames based on Dataset-A

Dataset-B的幀間差分曲線及對(duì)應(yīng)的關(guān)鍵幀如圖4所示。圖4（a）和圖4（b）中橫坐標(biāo)為圖像序列幀序號(hào)，縱坐標(biāo)為幀間差分值，兩者數(shù)值均無單位。從圖4中可以看出，分析得到的結(jié)果與圖3類似，證明了本文算法提取到的關(guān)鍵幀較為均勻地分布于整個(gè)圖像序列中。

圖4 基于Dataset-B的幀間差分曲線及關(guān)鍵幀F(xiàn)ig.4 Frame difference curve and key frames based on Dataset-B

基于Dataset-B，基于強(qiáng)度排序提取關(guān)鍵幀和基于局部極大值提取關(guān)鍵幀2種方法提取的關(guān)鍵幀數(shù)目分別為16和13。我們均勻采樣，選取了其中5幀圖像，并將運(yùn)動(dòng)目標(biāo)用白色方框進(jìn)行標(biāo)注，如圖5所示。

圖5 使用Dataset-B的關(guān)鍵幀提取結(jié)果Fig.5 Key frame extraction results by using Dataset-B

從圖5(a)可以看出，基于幀間差分強(qiáng)度排序方法提取的關(guān)鍵幀圖像集中在圖像序列尾部大約100幀中，在Dataset-B圖像序列尾部經(jīng)緯儀跟蹤目標(biāo)丟失，背景中云層差異較大，大量的目標(biāo)跟蹤測(cè)量幀丟棄。從圖5（b）可以看出，由本文提出的基于局部極大值算法得到的結(jié)果在整個(gè)圖像序列中分布較為均勻，在圖5（b）的前4幀中均包含跟蹤目標(biāo)信息。從圖5(a)與圖5(b)的對(duì)比中可以看到，本文算法提取的關(guān)鍵幀圖像內(nèi)容更具有代表性，關(guān)鍵幀中目標(biāo)跟蹤測(cè)量信息更為完整，包含的目標(biāo)信息更豐富，更好地保存了經(jīng)緯儀目標(biāo)跟蹤的測(cè)量信息。

4 結(jié)論

本文分析了經(jīng)緯儀圖像序列的特點(diǎn)，提出了一種基于幀間差分強(qiáng)度局部極大值的關(guān)鍵幀提取算法，該算法具有簡(jiǎn)單、高效的優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文算法提取的經(jīng)緯儀圖像關(guān)鍵幀在整個(gè)圖像序列中的分布較為均勻，運(yùn)動(dòng)目標(biāo)的跟蹤測(cè)量信息保存較為豐富，能較好地保留原圖像序列中的運(yùn)動(dòng)目標(biāo)信息。