基于梯度能量函數的調焦窗口構建方法

郭敬濱，馮華杰，王 龍，彭勤建，李醒飛

?

基于梯度能量函數的調焦窗口構建方法

郭敬濱1，馮華杰1，王 龍2，彭勤建3，李醒飛1

（1.天津大學精密測試技術及儀器國家重點實驗室，天津 300072；2.中環(huán)天儀（天津）氣象儀器有限公司，天津 300038；3.海司航保部，天津 300042）

光電跟蹤取證系統(tǒng)對運動目標進行跟蹤拍攝時需要進行變焦和調焦，目標姿態(tài)和位置改變而產生調焦窗口偏離是導致傳統(tǒng)自動調焦方法失效的主要原因。針對該問題，提出了一種針對跟蹤目標動態(tài)建立調焦窗口的方法。該方法利用梯度能量評價函數提取目標特征，通過相關性處理和邊界擴展建立調焦窗口，能克服調焦窗口偏離的缺陷。實驗結果證明，對704×576像元不同離焦狀態(tài)的圖像都可以在20ms內根據目標的位置和大小，構建準確有效的調焦窗口，滿足光電跟蹤取證系統(tǒng)對運動目標進行實時自動調焦的特殊要求。

光電跟蹤；動態(tài)調焦；梯度能量評價函數；調焦窗口構建；特征提取

0 引言

光電跟蹤取證設備是海上、邊防搜索跟蹤、執(zhí)法取證的重要設備，主要用于對水面、空中、邊境開闊地的運動目標進行跟蹤和拍攝。為對各種目標進行自動跟蹤和拍攝，保持目標在視場中成像穩(wěn)定、清晰，攝像系統(tǒng)需要在跟蹤過程中對尺寸和位置變化的目標進行自動調焦，以獲得有價值的圖像同時避免因圖像清晰度變化而丟失目標。目前，無論是海上、高原邊境使用的光電跟蹤取證系統(tǒng)大多都不具備這樣的功能，需要人工輔助調節(jié)。因此，需要針對光電跟蹤取證系統(tǒng)的動態(tài)目標設計快速、精準的調焦算法。基于數字圖像的自動調焦過程包括3個步驟：目標區(qū)域選擇、圖像清晰度評價和極點搜索。目標區(qū)域選擇作為整個調焦過程的第1步，直接影響光電跟蹤取證系統(tǒng)對運動目標實時調焦的準確性。應針對畫面中的目標劃分出位置準確、大小合適的有效區(qū)域作為后續(xù)調焦過程的處理對象，以避免跟蹤過程中目標偏離調焦窗口導致調焦失敗和圖像模糊[1]。

光電跟蹤取證系統(tǒng)一般都采用大孔徑的長焦電動變焦鏡頭拍攝遠處運動的目標，圖像景深小，捕獲的通常都是離焦的圖像。通常都是比較簡單的天空背景，部分場景存在一定程度的自然景物干擾。

目前研究應用的區(qū)域選擇算法主要有中央區(qū)域選擇法、多區(qū)域選擇法、黃金分割法、非均勻采樣法、數字圖像一階矩選擇法和結合視覺感知的窗口構建方法等[2-4]。前面4種方法都是根據經驗劃分出位置和尺寸固定的區(qū)域作為調焦窗口的靜態(tài)構建方法，不適用于調焦過程中目標尺寸和位置不確定的場合。后面2種是根據目標的狀態(tài)動態(tài)建立調焦窗口的方法。文獻[3]提出的數字圖像一階矩選擇法根據圖像灰度或邊緣的一階矩定位調焦窗口，不能區(qū)分前后景。文獻[4]提出的基于視覺注意機制的動態(tài)調焦窗口構建法，模擬生物視覺過程，提取圖像特征最突出的區(qū)域建立調焦窗口，使窗口具有尺寸和位置上的自適應性。但該方法提取圖像特征的過程涉及金字塔化分層、多尺度濾波器和擴大感受野等復雜的過程，運算量大，在靶場背景下光測設備對720×576的目標圖像構建調焦窗口需要130ms，對運動目標有滯后。

本文針對現有區(qū)域選擇算法存在的缺陷，結合光電跟蹤取證系統(tǒng)使用場景的特點，設計了一種新的快速提取圖像特征突出區(qū)域的方法，實現了20ms內完成調焦窗口構建和清晰度評價。

1 特征提取原理

1.1 梯度能量函數分析方法

首先，采用目前應用較廣的梯度能量清晰度評價函數[5]分析攝像系統(tǒng)在調焦過程中目標區(qū)域和背景區(qū)域的評價函數值的差異，如下式：

(,)＝[(＋1,)－(,)]2＋[(,＋1)－(,)]2(1)

式中：(,)為坐標(,)點的評價函數值；(,)為坐標(,)點的灰度值。

梯度能量評價函數通過計算相鄰的2個像素灰度梯度平方值，獲取圖像的邊緣和細節(jié)信息，忽略非相鄰像素之間的相關性，式中的平方運算改變了梯度值對評價函數的影響，增強大梯度值在評價結果中的作用，同時減弱小梯度值的作用，有利于減少動態(tài)調焦窗口變化引起的評價函數波動[6-7]。

區(qū)域的評價函數值即其中像素的梯度能量函數累加和，容易受噪聲的影響。為抑制噪聲的干擾，設計每個像素的評價值的噪聲閾值[8-9]，如式(2)所示，只有當像素的評價值大于噪聲閾值才會保留：

式中：為噪聲閾值。

實驗1使用光電跟蹤取證系統(tǒng)拍攝遠處的通信基站從深度離焦到正焦再到離焦的視頻圖像。視頻圖像分辨率為704×576，幀率為25Hz。等間隔提取其中的40幀畫面，在圖像中選出6個大小為40×40的不同特征的子區(qū)域，目標區(qū)域A、B和背景區(qū)域C、D、E、F，如圖1所示。

圖1 不同區(qū)域窗口

圖2顯示圖1中6個子區(qū)域的評價函數曲線。目標區(qū)域A、B在整個調焦過程中表現出比背景區(qū)域C、D、E、F更強的規(guī)律性，并且函數值表現出與背景區(qū)域的顯著差異。圖2顯示，背景D區(qū)域在調焦過程中能量梯度函數有一段時間的值在目標區(qū)域之上，并且與目標區(qū)域有相近的增長率。

圖2 不同區(qū)域的梯度能量評價函數曲線

表1顯示圖像序列中6個不同區(qū)域能量函數的總和以及與目標A區(qū)域的百分比。A、B目標區(qū)域能量偏差小于5%，背景區(qū)域只有D能達目標區(qū)域的50%以上，其他背景區(qū)域能量水平都低40%。因此根據區(qū)域的梯度能量評價函數可以區(qū)分圖像特征突出的區(qū)域，作為圖像特征提取的方法，并且可同時完成對目標區(qū)域圖像清晰度的評價。但作為特征提取算法還需要進一步的改進。

1.2 特征提取

根據1.1節(jié)的處理方法，進一步設計如下的特征

表1 不同區(qū)域的能量梯度函數和

提取方法。將圖像分割為大小為×的子區(qū)域；按式(3)計算子區(qū)域的梯度能量函數值，獲得圖像的特征圖F：

式中：(,)為特征圖中坐標點(,)的點的值；、分別為子區(qū)域的高度和寬度。

對圖1按上述方法進行處理，得到圖3的特征圖。經過預處理的圖像增強了大部分的目標特征，同時對原圖像進行了抽樣，使得后續(xù)處理的單元更少，耗時更短。對特征圖進行閾值分割可分離目標及背景區(qū)域。

圖3 特征圖

Fig.3 Feature map

2 調焦窗口的構建

光電跟蹤取證系統(tǒng)中調焦窗口的構建就是要在系統(tǒng)對目標進行跟蹤拍攝過程中實時地構建一個包含目標主要細節(jié)的有限范圍。根據第1節(jié)的特征提取方法，調焦窗口的構建流程如圖4所示。

為增強特征圖中能量集中的區(qū)域，分離相關性較低的點，對特征圖按行進行歸一化處理并采用閾值進行二值化，分割目標和背景區(qū)域[10]。按公式(4)對每一行進行歸一化，得特征圖￠：

式中：Fmax和Fmin分別為第行的最大、最小值。為了便于處理和顯示，歸一化范圍取[0,255]。

對特征圖￠進行二值化是為了分離相關性較低的點，并保留足夠多的有效點用于區(qū)域擴展，閾值由公式(5)獲得：

式中：K為灰度的分級數；n0為特征圖F￠非0點的個數；N為理想的有效點數。

按公式(6)對特征圖￠進行處理，得到二值化的特征圖″：

二值化的特征圖2是一系列在特征突出區(qū)域集中的點，需要選用合適的方法將聚集的點擴展為矩形窗口。采用“十”字模板對特征圖2進行擴展。即當無效點的“十”字范圍內存在的有效點多于1個時，該無效點變?yōu)橛行c，進行多次迭代處理，最終使得集中的點連接到一起，形成矩形區(qū)域[4]。

一般由于圖像深度離焦或者存在多個目標，以及背景和噪聲的影響，區(qū)域擴展后存在多個矩形區(qū)域。以矩形區(qū)域與畫面中心的距離和面積作為權重，選取權重最大的區(qū)域作為調焦窗口，最后通過坐標映射到原圖像中定位調焦窗口[9]，如下式：

W＝1＋2(7)

式中：W為矩形區(qū)域權值；為矩形區(qū)域中心與畫面中心的距離；為矩形區(qū)域的面積；1、2為比例系數。

3 實驗結果與分析

為了驗證算法的可用性，模擬使用場景，使用光電跟蹤取證系統(tǒng)采集電動長焦鏡頭調焦過程的視頻，對視頻提取的圖像進行調焦窗口的構建實驗。對3個不同的場景進行實驗，并與采用Sobel邊緣檢測算法[11]的數字圖像一階矩方法進行對比。

本文采用10×10大小的子區(qū)域，特征圖的大小為57×70，噪聲閾值選擇16。

第1組實驗如圖5所示，通信塔圖像為大視場小目標的場景，背景景物較多，目標較小。背景干擾比光電跟蹤取證系統(tǒng)常用的場景大，可進一步驗證算法的普遍性，并作為算法擴展應用場景的參考。

圖5(a)、5(b)顯示，離焦狀態(tài)下的圖像背景與目標區(qū)別不明顯，但本方法建立的調焦窗口仍比較準確地包含了通信塔的主體；圖5(c)、5(d)顯示，數字圖像一階矩方法建立的調焦窗口不能區(qū)分背景特征和目標特征，主要是因為邊緣檢測圖像的細節(jié)分布較為均勻，如圖5(e)；圖5(f)顯示，通過本方法獲得的特征圖同樣包含了大量的背景細節(jié)，但增強了特征突出的區(qū)域，經過二值化分離后背景區(qū)域仍存在較多的有效特征點，但都分布得比較離散，經過邊界擴展后僅保留了目標區(qū)域。

第2組實驗如圖6所示，模擬光電跟蹤取證系統(tǒng)拍攝天空中飛行器的場景。簡單的天空背景前有2個位置不同的飛機模型。由于2個目標距離攝像系統(tǒng)的距離不同，因此正焦位置也不同[8]，正確的調焦，需要分離2個目標區(qū)域，選取權值最大的區(qū)域作為首要目標區(qū)域，建立調焦窗口，進行后續(xù)的調焦操作。對于深度離焦的畫面圖6(a)，通過本方法處理后獲得2個特征點相對聚集的區(qū)域，如圖6(e)所示。通過進一步二值化和邊界擴展，連接相對集中的特征點，選取權值最大的區(qū)域構建如圖6(g)所示的調焦窗口；圖6(a)、(b)顯示，本方法對離焦和正焦圖像建立的調焦窗口準確包含首要目標的主體區(qū)域；圖6(c)、(d)顯示，數字要目標的主體區(qū)域；圖6(c)、(d)顯示，數字圖像一階矩方法建立的調焦窗口偏離目標區(qū)域，這主要是由于場景存在2個目標。實驗證明本方法可以區(qū)分不同的特征顯著區(qū)域，根據需求建立針對不同目標的調焦窗口。

第3組實驗如圖7所示，場景模擬光電跟蹤取證系統(tǒng)拍攝天空中運動的飛行器的場景。

實驗中的目標模型在調焦的過程中從畫面的右側移動到左側。實驗中為了能更好的對比，數字圖像一階矩方法的調焦窗口選擇比目標區(qū)域稍大的240×240固定窗口。

圖7(a)～(d)是從深度離焦到正焦變化的圖像，實線窗口為本方法構建的調焦窗口，虛線窗口是由一階矩方法構建的調焦窗口。圖7(a)～(d)顯示，2種方法在整個過程中都可以確定目標的位置，選中目標的主體區(qū)域。

實驗證明對于簡單背景中單個運動目標，2種方法都可以有效地定位目標的位置，選中目標主體區(qū)域。本方法還能夠根據目標的大小和姿態(tài)調整窗口的大小和形狀，比一階矩方法具有更強的適應性。

清晰度評價函數曲線可用于判斷對焦算法對圖像清晰度評價的準確性。為了驗證本方法和一階矩方法對運動目標構建的調焦窗口的有效性，對電動變焦鏡頭變焦過程的視頻圖像，每隔10幀，使用以上兩種算法建立調焦窗口，計算圖像的梯度能量函數值，繪制曲線圖，如圖8所示。

(a)、(b)本方法對離焦、正焦圖像建立的調焦窗口；(c)、(d)一階矩方法對離焦、正焦圖像建立的調焦窗口；(e)離焦圖像邊緣圖；(f)~(h)文方法對離焦圖像提取的特征圖、二值化特征圖和邊界擴展獲得的調焦窗口

(a)、(b)本方法對離焦、正焦圖像建立的調焦窗口；(c)、(d)一階矩方法對離焦、正焦圖像建立的調焦窗口；(e)～(g)本方法對離焦圖像提取的特征圖、二值化特征圖和邊界擴展獲得的調焦窗口

(a)～(d)本方法和一階矩方法對運動目標建立的調焦窗口；(e)～(g)本方法對離焦圖像提取的特征圖、二值化特征圖和邊界擴展獲得的調焦窗口

圖8 本方法和一階矩方法的評價函數曲線

圖8顯示，通過2種方法建立的調焦窗口獲得的評價函數曲線都具有很好的單峰性和無偏性，有利于后續(xù)極點搜索算法的執(zhí)行[6]。

算法的實時性是本方法提出的一個主要目的。為了驗證本方法的實時性，在光電跟蹤取證系統(tǒng)控制臺上的使用本方法和一階矩方法對序列圖像進行處理，分析耗時。光電跟蹤取證系統(tǒng)為了保證系統(tǒng)的可靠性和集成化，控制計算機采用無風扇、低功耗的小型特種計算機，參數如下：處理器：Intel Atom N450 1.66GHz；內存：DDRII 667 SDRAM 1GB。

在光電跟蹤取證系統(tǒng)控制臺上對空中運動目標的704×576圖像進行調焦窗口的構建實驗。圖9給出了2種方法的耗時對比圖，一階矩方法平均耗時＞158ms，本方法平均耗時為20ms，遠比一階矩方法的耗時少，只有視頻圖像一幀畫面更新時間的1/2。

圖9 本方法和一階矩方法耗時對比

對于遠處低空高速運動的物體，以拍攝到的目標的長寬至少占畫面的1/8，認為跟蹤拍攝效果良好。光電跟蹤取證系統(tǒng)伺服系統(tǒng)的最大角速度為50°/s；最大角加速度為90°/s2；平穩(wěn)跟蹤最小角速度變化為0.2°/s。當電動變焦鏡頭調整到750mm焦距時，由式(9)可得水平視場角只有0.49°，小的跟蹤偏差雖然不影響目標的拍攝，但會讓目標偏離上一幀構建的調焦窗口。以最小的角速度變化0.2°/s，相鄰兩幀畫面中目標偏離原位置的面積就超過10%，因此需要對每一幀圖像構建調焦窗口。即光電跟蹤取證系統(tǒng)的調焦算法需要在一幀畫面時間間隔為40ms內得出評價結果，并且留有足夠的余量用于目標跟蹤算法和控制算法的運行。

式中：為CCD的寬度，攝像系統(tǒng)CCD寬度為6.4mm；為水平視場角；?為鏡頭焦距。

實驗分析和統(tǒng)計結果顯示，在系統(tǒng)平臺上只有本方法能在40ms內完成調焦窗口的構建，并且留有較大的時間余量。

4 結論

針對光電跟蹤取證系統(tǒng)對運動目標進行調焦控制的實時性需求，設計了一種新的提取圖像特征突出區(qū)域的方法，完成快速構建調焦窗口的功能。該方法利用梯度能量評價函數計算的每個小區(qū)域的評價值，經過少量的數據分析就可以建立有效的調焦窗口。通過實驗證明，實驗場景中該方法能夠在整個調焦過程中對離焦、正焦的圖像構建出位置準確、大小合適的調焦窗口，適應性強、耗時短。該方法在光電跟蹤取證系統(tǒng)平臺上運行速度較快，構建一次調焦窗口的平均耗時只要20ms，滿足光電跟蹤取證系統(tǒng)對調焦的實時性要求，對實現跟蹤拍攝功能的自動化和提高攝像質量具有直接的工程應用價值。

[1] 朱孔鳳, 姜威, 高贊, 等. 自動聚焦系統(tǒng)中聚焦窗口的選擇及參量的確定[J]. 光學技術, 2006, 16(6): 836-840.

Zhu Kongfeng, Jiang Wei, Gao Zan, et al. Focusing window choice and parameters determination in automatic focusing system[J]., 2006, 16(6): 836-840.

[2] 朱孔鳳, 姜威, 王端芳, 等. 用高斯非均勻采樣解決自動聚焦中的誤判[J]. 光學技術, 2005, 31(6): 910-912.

Zhu Kongfeng, Jiang Wei, Wang Duanfang, et al. Using Gaussian unequally spaced sampling to make automatic focusing result correct[J]., 2005, 31(6): 910-912.

[3] 張樂, 姜威, 高贊. 數字圖像一階矩的自動聚焦區(qū)域選擇算法[J]. 光學技術, 2008, 34(2): 163-165.

Zhang Le, Jiang Wei, Gao Zan. Automatic focusing region selection algorithm based on first order of digital image[J]., 2008, 34(2): 163-165．

[4] 劉雪超, 吳志勇, 黃德天, 等. 結合視覺感知的調焦窗口構建[J]. 中國激光, 2014, 41(1): 191-198.

Liu Xuechao, Wu Zhiyong, Huang Detian, et al. Designing of focus window combined with visual perception[J]., 2014, 41(1): 191-198.

[5] 陳芳, 張存繼, 韓延祥, 等. 簡單圖像的快速聚焦[J]. 光學精密工程, 2014, 22(1): 220-227.

Chen Fang, Zhang Cunji, Han Yanxiang, et al. Fast focus on simple images[J]., 2014, 22(1): 220-227.

[6] 劉雪超. 基于數字圖像處理的自動調焦技術研究[D]. 長春: 中國科學院研究生院長春光學精密機械與物理研究所, 2014.

Liu Xuechao. Study on auto-focusing based on digital image processing technology[D]. Changchun：Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2014.

[7] 周賢, 姜威. 基于圖像邊緣能量的自動聚焦算法[J]. 光學技術, 2006, 32(2): 910-912.

Zhou Xian, Jiang Wei. Auto-focus algorithm based on image edge energy[J]., 2006, 32(2): 910-912.

[8] Chiu Li-cheng, Fuh Chiou-shann. An efficient auto focus method for digital still camera based on focus value curve prediction model[J]., 2010, 26(4): 1261-1272 .

[9] 梁敏華, 吳志勇, 陳濤. 采用最大灰度梯度法實現經緯儀自動調焦控制[J]. 光學精密工程, 2009, 17(12): 3016-3021.

Liang Minhua, Wu Zhiyong, Chen Tao. Autofocusing adjustment of theodolites by largest the gradient method[J]., 2009, 17(12): 3016-3021.

[10] 張龍, 喬鐵柱. 一種紅外圖像的二值化分割算法研究[J]. 紅外技術, 2014, 36(8): 649-651.

Zhang Long, Qiao Tiezhu. An binary segmentation algorithm for infrared image[J]., 2014, 36(8): 649-651.

[11] 夏清, 胡振琪, 許立江, 等. 一種改進Sobel算子的熱紅外影像邊緣檢測方法[J]. 紅外技術, 2015, 37(6): 462-466.

Xia Qing, Hu Zhenqi, Xu Lijiang, et al. A modified edge extraction algorithm of infrared thermal image based on Sobel operator[J]., 2015, 37(6): 462-466.

Design of Focusing Window Based on Energy Function of Gradient

GUO Jingbin1，FENG Huajie1，WANG Long2，PENG Qinjian3，LI Xingfei1

(1.,,300072,；2.(),300072,；3.,300042,)

Zoom and focus are required when photoelectric tracking system is used to track moving targets. The deviation of focusing window caused by the change of target posture and position is the main reason that leads to the failure of automatical focusing. In light of this, a method to establish dynamic focusing window for target is proposed. We used gradient energy evaluation function to extract target features and then establish focusing window by correlation treatment method and boundary expansion, which can overcome the defects of original method. The experiment results show that the new method can establish effective focusing window for 704×576 pixels images during 20ms. The results demonstrate that this method can meet the need of real-time operation.

photoelectric tracking，dynamic focusing，gradient energy evaluation function，focusing window establishment，feature extraction

TP391.4

A

1001-8891(2016)03-0197-06

2015-09-19；

2015-10-29.

郭敬濱（1959-），男，河北保定人，工學碩士，副教授，主要從事精密測試技術及儀器、圖像處理的研究。E-mail：guojingbin@tju.edu.cn。