基于單目視覺的森林火點(diǎn)實(shí)時定位方法

仇金宏，沈明霞，叢靜華，李龍國

（1.南京農(nóng)業(yè)大學(xué) 工學(xué)院，江蘇 南京210031；2.南京森林公安?？茖W(xué)校，江蘇 南京210046）

隨著消滅宜林荒山和實(shí)現(xiàn)全面綠化造林事業(yè)的不斷發(fā)展，森林防火問題已經(jīng)受到越來越多的關(guān)注。森林火災(zāi)具有突發(fā)性、隨機(jī)性及短時間內(nèi)能造成巨大損失的特點(diǎn)?；馂?zāi)撲救決策是否及時得當(dāng)，主要取決于林火行為的及時發(fā)現(xiàn)和其具體位置的準(zhǔn)確［1－2］定位。目前，森林火點(diǎn)監(jiān)測定位一般都是采用人工瞭望觀測定位的方式，由于瞭望臺都是建在高山上，生活條件差，人員留守難，且極易造成觀察空檔和觀察人員的疲憊，影響瞭望效果。而對利用機(jī)器視覺進(jìn)行森林火點(diǎn)全自動定位方法的研究，目前尚未見報道。對利用機(jī)器視覺進(jìn)行空間目標(biāo)點(diǎn)定位的研究可追溯到對軍事目標(biāo)信息獲取方法的研究［3］。文獻(xiàn)［4］研究了一種用于智能機(jī)器人的全向視覺定位方法，雖然全向圖像包含信息量大，能夠把握整體環(huán)境信息，但全向攝像機(jī)的反射鏡需要經(jīng)過專門的設(shè)計(jì)，且成像扭曲十分嚴(yán)重；文獻(xiàn)［5］詳盡地討論了雙目視覺定位技術(shù)，盡管使用雙目視覺能夠獲得很大的景深，但其要進(jìn)行對應(yīng)點(diǎn)的匹配，耗費(fèi)大量的時間，難以滿足實(shí)時性的要求；文獻(xiàn)［6］的研究認(rèn)為，單目視覺模型構(gòu)造簡單，避免了視覺數(shù)據(jù)融合，易于實(shí)現(xiàn)實(shí)時監(jiān)測，但是，單目視覺系統(tǒng)卻一般只能采用對應(yīng)點(diǎn)標(biāo)定法［7］來獲取靜態(tài)對象的相關(guān)信息。文獻(xiàn)［7］很好地改善了上述對應(yīng)點(diǎn)標(biāo)定法的不足，提出了一種基于單目視覺的實(shí)時測距方法，但是該方法卻不適用于攝像機(jī)焦距發(fā)生變化的場合。為了實(shí)現(xiàn)對森林火點(diǎn)進(jìn)行實(shí)時準(zhǔn)確的定位，本研究提出了一種基于單目視覺的森林火點(diǎn)實(shí)時定位方法。

1 森林火點(diǎn)實(shí)時定位理論的幾何模型

用于森林火情監(jiān)控的攝像機(jī)一般架設(shè)于它所能監(jiān)控范圍內(nèi)的最高點(diǎn)處，同時，其架設(shè)高度一般也遠(yuǎn)遠(yuǎn)高于它所能監(jiān)控范圍內(nèi)最高那棵樹的高度。當(dāng)森林中有火情時，必然會有煙霧從森林中飄向空中，此時就以煙霧出來的那個點(diǎn)所處與攝像機(jī)架垂直的平面作為投影平面，此時就可以認(rèn)為攝像機(jī)拍攝到的場景圖像是三維空間的場景在二維空間的投影，所以，在利用機(jī)器視覺對森林火點(diǎn)進(jìn)行識別的過程中，需要一種逆的求解過程，即從二維圖像還原成火點(diǎn)現(xiàn)場實(shí)際空間圖像。

由于用于森林火情監(jiān)控的攝像機(jī)是根據(jù)針孔攝像機(jī)的基本成像原理［8］，將用于森林火點(diǎn)實(shí)時定位的單目視覺系統(tǒng)簡化為攝像機(jī)的投影模型［9－13］（圖1）。

圖1 攝像機(jī)投影模型Figure 1 Camera projection model

圖1-a中，平面ABI代表火點(diǎn)所處的森林區(qū)域，ABCD為攝像機(jī)拍攝到的火點(diǎn)所處森林區(qū)域的梯形區(qū)域。O點(diǎn)為攝像機(jī)鏡頭的中心點(diǎn)，OG為攝像機(jī)光軸，G點(diǎn)為攝像機(jī)光軸和火點(diǎn)所處森林區(qū)域的交點(diǎn)（同時也是視野的對角線的交點(diǎn)）。I點(diǎn)為O點(diǎn)在火點(diǎn)所處平面上的垂直投影，IO的距離為攝像機(jī)的實(shí)際架設(shè)高度。在火點(diǎn)所處的平面坐標(biāo)系中，將G點(diǎn)定義為該坐標(biāo)系的原點(diǎn)，攝像機(jī)照射方向定義為Y軸方向。G，A，B，C，D各點(diǎn)在圖像平面內(nèi)的對應(yīng)點(diǎn)分別為圖1-b中的g，a，b，c，d，其中a，b，c，d為像平面矩形的4個端點(diǎn)。P點(diǎn)為森林火點(diǎn)，p點(diǎn)為實(shí)際森林火點(diǎn)在監(jiān)控?cái)z像機(jī)成像平面上的像點(diǎn)。定義圖像矩形的中點(diǎn)g為像平面坐標(biāo)系的坐標(biāo)原點(diǎn)，y軸代表攝像機(jī)的照射方向。

2 火情監(jiān)控?cái)z像機(jī)視場角的實(shí)時計(jì)算方法

對于用于森林火情監(jiān)控的攝像機(jī)，其標(biāo)準(zhǔn)畫幅：

則攝像機(jī)標(biāo)準(zhǔn)畫幅的長寬比：

式（1）和式（2）中l(wèi)為標(biāo)準(zhǔn)畫幅ε的長；k為標(biāo)準(zhǔn)畫幅ε的寬。

由勾股定理得知，攝像機(jī)標(biāo)準(zhǔn)畫幅的對角線長：

則攝像機(jī)的水平視場角：

故，攝像機(jī)的垂直視場角：

將式（2）和式（4）帶入式（5）中得攝像機(jī)的垂直視場角：

至此，求解攝像機(jī)視場角函數(shù)可以視為單一變量攝像機(jī)焦距的函數(shù)，則在攝像機(jī)焦距發(fā)生變化時，確定森林火點(diǎn)所處具體位置時，一定要考慮攝像機(jī)的視場角會隨其自身焦距的變化而變化。

3 森林火點(diǎn)實(shí)時定位算法

取火點(diǎn)P在其所處實(shí)際森林區(qū)域平面坐標(biāo)系中的坐標(biāo)為（Xp，Yp），其在攝像機(jī)成像平面坐標(biāo)系中像點(diǎn) p 的坐標(biāo)為（xp，yp）。

攝像機(jī)鏡頭中心到火點(diǎn)所處森林區(qū)域平面的直線距離為：

式（6）中dOI為圖1中線段OI的長；k為標(biāo)準(zhǔn)畫幅ε的寬；γ0為攝像機(jī)的俯仰角。

根據(jù)透鏡小孔成像的規(guī)律，在該投影模型中有：

式（7）中dOg為攝像機(jī)鏡頭中心到像平面中心的直線距離。

由式（7）得：

由式（6）和式（8）得：

3.1 Y軸方向上的成像模型的推導(dǎo)

Y軸方向上的成像模型如圖2所示。由圖2（b）得：

式（9）中yp為火點(diǎn)P在實(shí)際平面里Y軸上的投影；H為像平面的高。

實(shí)際平面中目標(biāo)點(diǎn)坐標(biāo)的Y軸分量：

Y軸方向上成像模型中矩形像平面的高：

3.2 X軸方向上的成像模型的推導(dǎo)

X軸方向上的成像模型如圖3所示。由圖3（b）得線段IG的長：

圖2 Y軸方向上的成像模型Figure 2 Imaging model in the direction of Y-axis

實(shí)際平面中目標(biāo)點(diǎn)坐標(biāo)的X軸分量：

式（10）中W為像平面的寬。

X軸方向上成像模型中矩形像平面的寬：

因此，目標(biāo)點(diǎn)所在平面與矩形像平面之間的映射關(guān)系如下所示：

圖3 X軸方向上的成像模型Figure 3 Imaging model in the direction of X-axis

4 森林火點(diǎn)實(shí)時定位算法試驗(yàn)驗(yàn)證及結(jié)果分析

4.1 算法試驗(yàn)方法及步驟

將攝像機(jī)安置于一矩形紙質(zhì)平面的中心對稱線上，使得攝像機(jī)成像平面的左右對稱線與上述矩形紙質(zhì)平面的中心對稱線完全重合。設(shè)攝像機(jī)的坐標(biāo)為O（0，0），在攝像機(jī)前方矩形紙質(zhì)平面上的某個位置上放置一個物體（代替火點(diǎn)），通過算法測得該物體相對于攝像機(jī)所處位置的坐標(biāo)Q（x，y）。

求解坐標(biāo)Q（x，y）的方法如下：①通過CCD攝像機(jī)獲得視野前方含火點(diǎn)代替物體在內(nèi)的圖像；②通過基于機(jī)器視覺的邊界檢測算法［14－15］識別出上述所得圖像中的火點(diǎn)代替物體，并用含標(biāo)出對角線的矩形框?qū)⑵錁?biāo)記出來，取兩對角線的交點(diǎn)為Q′（x′，y′）；③在所拍攝到的圖像平面中求出Q′點(diǎn)的坐標(biāo)（x′，y′）；④將圖像平面Q′點(diǎn)的坐標(biāo)通過前文提到的幾何關(guān)系推導(dǎo)成實(shí)際火點(diǎn)代替物體所處平面坐標(biāo)Q（x，y）。

影響本算法結(jié)果精度的因素有以下2點(diǎn)：一是是否能夠準(zhǔn)確及時地獲得在變化后的攝像機(jī)的焦距；由于用于森林火情監(jiān)控的攝像機(jī)一直處于巡航狀態(tài)中，故另一個就是是否能夠準(zhǔn)確及時地獲得在變化后的攝像機(jī)的俯仰角。

固定攝像機(jī)的俯仰角為75°不變，通過改變攝像機(jī)的焦距（其他參數(shù)不變）得到的Q點(diǎn)的坐標(biāo)變化數(shù)據(jù)如表1所示。

固定攝像機(jī)的焦距為3.2 mm不變，通過改變攝像機(jī)的俯仰角（其他參數(shù)不變）得到的Q點(diǎn)的坐標(biāo)變化數(shù)據(jù)如表2所示。

表1 隨焦距變化的坐標(biāo)數(shù)據(jù)Table 1 Location changing with focal length

當(dāng)攝像機(jī)的焦距按步長1.2 mm從1.2 mm至4.8 mm分別進(jìn)行試驗(yàn)時，2次坐標(biāo)X分量和Y分量的最小差值分別高達(dá)3.2 cm和19.8 cm。當(dāng)攝像機(jī)的俯仰角按步長15°從30°至75°分別進(jìn)行試驗(yàn)時，2次坐標(biāo)X分量和Y分量的最大差值僅有0.6 cm和0.6 cm。由此可見，攝像機(jī)的俯仰角對準(zhǔn)確確定火點(diǎn)替代物所處位置的影響很小，而攝像機(jī)的焦距對火點(diǎn)替代物所處位置的確定起著關(guān)鍵的作用，它在很大程度上制約著確定火點(diǎn)替代物所處具體位置坐標(biāo)的準(zhǔn)確性。

在實(shí)際的應(yīng)用中，攝像機(jī)的視場角是會隨著其自身焦距的變化而變化的。表1中的數(shù)據(jù)之所以與實(shí)際測得的坐標(biāo)相差如此之大，實(shí)際上就是因?yàn)闆]有考慮到這一重要因素。

4.2 靜態(tài)試驗(yàn)驗(yàn)證及結(jié)果分析

移動代替火點(diǎn)的物體8次，每一次都對物體所處的具體位置分別進(jìn)行一次實(shí)際測量和算法測量，試驗(yàn)結(jié)果如表3所示，靜態(tài)試驗(yàn)中2次測得的Q點(diǎn)坐標(biāo)之間的誤差如圖4所示。

由表3和圖4可知，利用上述實(shí)時定位算法進(jìn)行實(shí)際測定時X分量和Y分量的最大差值僅為0.4 cm和0.4 cm，準(zhǔn)確性高。

靜態(tài)試驗(yàn)中誤差較小的原因：在進(jìn)行幾何關(guān)系的推導(dǎo)時，由于攝像機(jī)模型中的AI和BI為水平視場角的2條邊，且這兩條邊能按Y軸保持絕對對稱，故利用該幾何關(guān)系推導(dǎo)法得到的相應(yīng)參數(shù)比較準(zhǔn)確，從而使得靜態(tài)試驗(yàn)中所得的誤差比較小。

靜態(tài)試驗(yàn)中產(chǎn)生誤差的原因：在進(jìn)行各項(xiàng)理論推導(dǎo)時，認(rèn)為攝像機(jī)的各參數(shù)是理想存在的，實(shí)際上攝像機(jī)并非是一種絕對理想的光學(xué)設(shè)備，其自身總有一定的誤差，從而導(dǎo)致了在靜態(tài)試驗(yàn)中仍然存在著較小的誤差。

4.3 動態(tài)試驗(yàn)驗(yàn)證及結(jié)果分析

當(dāng)攝像機(jī)的轉(zhuǎn)速為10°·s－1，不移動已測得具體所處位置的火點(diǎn)代替物，按1幅·s-1圖片的速度采集含火點(diǎn)代替物體在內(nèi)的圖像8次，試驗(yàn)結(jié)果如表4所示。

當(dāng)攝像機(jī)的轉(zhuǎn)速為30°·s－1，不移動已測得具體所處位置的火點(diǎn)代替物，按1幅·s－1圖片的速度采集含火點(diǎn)代替物體在內(nèi)的圖像5次（由于在攝像機(jī)轉(zhuǎn)速為30°·s－1的情況下進(jìn)行試驗(yàn)，到第6次采集圖像時，火點(diǎn)代替物已經(jīng)超出了攝像機(jī)的視野范圍，故該組試驗(yàn)只進(jìn)行5次）。試驗(yàn)結(jié)果如表5所示。

2次動態(tài)試驗(yàn)中測得的Q點(diǎn)坐標(biāo)之間的誤差如圖5所示。

由表4，表5和圖5可知，當(dāng)攝像機(jī)的轉(zhuǎn)速較低時，利用上述實(shí)時定位算法進(jìn)行實(shí)際測定時兩坐標(biāo)X分量和Y分量的最大差值僅為0.8 cm和0.6 cm，準(zhǔn)確性高，可滿足實(shí)時性要求；當(dāng)攝像機(jī)的轉(zhuǎn)速過高時，利用上述實(shí)時定位算法進(jìn)行實(shí)際測定時兩坐標(biāo)X分量和Y分量的最小差值高達(dá)2.4 cm和4.0 cm，無法完全滿足實(shí)時性要求。

在不同速度下進(jìn)行試驗(yàn)產(chǎn)生不同誤差的原因：當(dāng)攝像機(jī)在合適的速度下運(yùn)轉(zhuǎn)時，攝像機(jī)采集到的火點(diǎn)代替物在圖像中無拖影，從而保證了用標(biāo)出對角線的矩形框進(jìn)行森林火點(diǎn)中心確定時的準(zhǔn)確性；而當(dāng)攝像機(jī)在過高速度的狀態(tài)下運(yùn)轉(zhuǎn)時，除含有靜態(tài)試驗(yàn)中產(chǎn)生誤差的原因外，還有由于攝像機(jī)采集到的火點(diǎn)代替物在圖像中形成了拖影，降低了用標(biāo)出對角線的矩形框進(jìn)行森林火點(diǎn)中心確定的準(zhǔn)確性，以致造成了較大誤差。

表3 靜態(tài)試驗(yàn)的試驗(yàn)結(jié)果Table 3 Experimental results of static experiments

表4 攝像機(jī)轉(zhuǎn)速為10°·s－1時的試驗(yàn)結(jié)果Table 4 Experimental results of this topic with speed of camera in ten degrees per second

圖4 靜態(tài)試驗(yàn)中2次測得的Q點(diǎn)坐標(biāo)之間的誤差Figure 4 Error between Q-points during the process of static tests

圖5 2次動態(tài)試驗(yàn)中測得的Q點(diǎn)坐標(biāo)之間的誤差Figur 5 Error between Q-points during the process of dynamic tests

4.4 現(xiàn)場實(shí)測試驗(yàn)結(jié)果分析

2009年7月在內(nèi)蒙古興安盟白狼林區(qū)進(jìn)行了上述算法在使用中的測試，其中森林火情監(jiān)控?cái)z像機(jī)焦距的變動數(shù)據(jù)由南京農(nóng)業(yè)大學(xué)工學(xué)院實(shí)驗(yàn)室自行開發(fā)的森林火情監(jiān)控軟件實(shí)時傳回。試驗(yàn)期間共進(jìn)行點(diǎn)火試驗(yàn)3次，火情監(jiān)控?cái)z像機(jī)的起始方位為正北，即投影平面上y軸的指向?yàn)檎狈较?，x軸的指向?yàn)檎龞|方向，監(jiān)控范圍為以半徑為5 km的圓域。現(xiàn)場實(shí)測試驗(yàn)結(jié)果和算法效率評估分別如表6和表7所示所示。

表5 攝像機(jī)轉(zhuǎn)速為30°·s－1時的試驗(yàn)結(jié)果Table 5 Experimental results of this topic with speed of camera in thirty degrees per second

表6 現(xiàn)場實(shí)測試驗(yàn)結(jié)果Table 6 Experimental results of actual measurement on the field

表7 算法效率評估Table 7 Assessment of efficiency of the algorithm

5 結(jié)束語

根據(jù)單目視覺的基本原理研究了一種森林火點(diǎn)實(shí)時定位方法。通過對該方法進(jìn)行分析研究，推導(dǎo)出了森林火點(diǎn)實(shí)時定位理論模型及相關(guān)算法，并試驗(yàn)通過進(jìn)行了算法的驗(yàn)證。試驗(yàn)結(jié)果表明，本研究推得的算法能夠滿足森林火點(diǎn)實(shí)時定位的準(zhǔn)確性和實(shí)時性要求。

［1］胡文奇.森林防火無線遠(yuǎn)程監(jiān)控系統(tǒng)［D］.北京：北京郵電大學(xué)，2008.HU Wenqi.Wireless Remote Monitoring System for Forest Fire-prevention［D］.Beijing：Beijing University of Posts and Telecommunications，2008.

［2］宋麗艷，周國模，湯孟平，等.基于GIS的林火蔓延模擬的實(shí)現(xiàn)［J］.浙江林學(xué)院學(xué)報，2007，24（5）：614－618.SONG Liyan，ZHOU Guomo，TANG Mengping，et al.Realization of a simulation model for forest fire spread ［J］.J Zhejiang For Coll，2007，24（5）：614－618.

［3］劉進(jìn)忙，羅紅英，劉建都.幾何關(guān)系的目標(biāo)信息分坐標(biāo)處理原理［J］.空軍工程大學(xué)學(xué)報：自然科學(xué)版，2009，10（3）：27－31.LIU Jinmang，LUO Hongying，LIU Jiandu.Research on a method of the coordinates fusion based on the geometry relation［J］.J Air Force Eng Univ Nat Sci Ed，2009，10（3）：27－31.

［4］王亮.智能移動機(jī)器人定位技術(shù)研究［D］.哈爾濱：哈爾濱工程大學(xué)，2004.WANG Liang.Research of Intelligent Mobile Robots Location ［D］.Harbin：Harbin Engineering University，2004.

［5］鄭瑾.基于雙目視覺的目標(biāo)定位與運(yùn)動分析研究［D］.秦皇島：燕山大學(xué)，2006.ZHEN Jing.Object Location and Motion Analysis based on Two-Camera Visual System ［D］.Qinhuangdao：Yanshan University，2006.

［6］徐寧.單目攝像頭實(shí)時視覺定位［D］.上海：上海交通大學(xué)，2008.XU Ning.Real-time Visual Localization with a Single Camera ［D］.Shanghai：Shanghai Jiaotong University，2006.

［7］郭磊，徐友春，李克強(qiáng)，等.基于單目視覺的實(shí)時測距方法研究［J］.中國圖像圖形學(xué)報，2006，11（1）：74－81.GUO Lei，XU Youchun，LI Keqiang，et al.Study on real-time distance detection based on monocular vision technique［J］.J Image Gr，2006，11（1）：74－81.

［8］許永華.基于信息融合和多行為決策的自主機(jī)器人導(dǎo)航系統(tǒng)［D］.長沙：中南大學(xué)，2002.XU Yonghua.Autonomous Robot Navigation System Absed on Information Fusion and Multi-behavior Decision-making［D］.Changsha：Zhongnan University，2002.

［9］賈志成，胡天翔，劉春景.基于機(jī)器視覺的森林防火監(jiān)測技術(shù)初步研究［J］.林業(yè)機(jī)械與木工設(shè)備，2008，36（10）：21－23.JIA Zhicheng，HU Tianxiang，LIU Chunjing.Preliminary study on forest fire monitoring technology based on machine vision ［J］.For Mach&Woodwork Equip，2008，36（10）：21－23.

［10］邱茂林，馬頌德，李毅.計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)綜述［J］.自動化學(xué)報，2000，26（1）：43－55.QIU Maolin，MA Songde，LI Yi.Overview of camera calibration for computer vision ［J］.Acta Autom Sin，2000，26（1）：43－55.

［11］ HABED A，BOUFAMA B.Camera self-calibration from bivariate polynomials derived from Kruppa’s equations ［J］.Pattern Recogn，2008，41（5）：2484－2492.

［12］D’HELON C，PROTOPOPESCU V，WELLS J C，et al.GMG——A guaranteed global optimization algorithm：Application to remote sensing ［J］.Mathem&Comput Model，2007，45（6）：459－472.

［13］馬頌德，張正友.計(jì)算機(jī)視覺：計(jì)算理論與算法基礎(chǔ)［M］.北京：科學(xué)出版社，1998.

［14］張磊，王書茂，陳兵旗，等.基于機(jī)器視覺的麥田邊界檢測［J］.農(nóng)業(yè)機(jī)械學(xué)報，2007，38（2）：111－114.ZHANG Lei，WANG Shumao，CHEN Bingqi，et al.Edge detection for wheat field based on machine vision ［J］.Trans Chin Socr Agric Mach，2007，38（2）：111－114.

［15］蔡健榮，周小軍，李玉良，等.基于機(jī)器視覺自然場景下成熟柑橘識別［J］.農(nóng)業(yè)工程學(xué)報，2008，24（1）：175－178.CAI Jianrong，ZHOU Xiaojun，LI Yuliang，et al.Recognition of mature oranges in natural scene based on machine vision ［J］.Trans Chin Socr Agric Eng，2008，24（1）：175－178.