改進(jìn)小波序貫極限學(xué)習(xí)機(jī)的光電經(jīng)緯儀空間配準(zhǔn)算法研究

楊宏韜高慧斌劉 鑫

（1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049；3.長春工業(yè)大學(xué)電氣與電子工程學(xué)院，吉林 長春 130012）

改進(jìn)小波序貫極限學(xué)習(xí)機(jī)的光電經(jīng)緯儀空間配準(zhǔn)算法研究

楊宏韜1，2，3，高慧斌1，劉 鑫1

（1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049；3.長春工業(yè)大學(xué)電氣與電子工程學(xué)院，吉林 長春 130012）

針對(duì)光電經(jīng)緯儀數(shù)據(jù)融合系統(tǒng)中的空間配準(zhǔn)問題，提出復(fù)合函數(shù)小波神經(jīng)網(wǎng)絡(luò)序貫極限學(xué)習(xí)機(jī)光電經(jīng)緯儀空間配準(zhǔn)算法。該算法將小波理論引入到極限學(xué)習(xí)機(jī)中，利用小波函數(shù)和任意分段連續(xù)非線性函數(shù)構(gòu)造極限學(xué)習(xí)機(jī)隱層節(jié)點(diǎn)激勵(lì)函數(shù)，小波函數(shù)的伸縮因子和平移因子根據(jù)輸入數(shù)據(jù)范圍進(jìn)行初始化，并結(jié)合極限學(xué)習(xí)機(jī)在線學(xué)習(xí)方法進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明：改進(jìn)小波序貫極限學(xué)習(xí)機(jī)的光電經(jīng)緯儀空間配準(zhǔn)算法可以使光電經(jīng)緯儀的測量精度提高到3″以內(nèi)，與標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)空間配準(zhǔn)算法相比，該算法能夠?qū)崿F(xiàn)在線增量式快速學(xué)習(xí)，具有更好的泛化性能。

光電經(jīng)緯儀；空間配準(zhǔn)；小波神經(jīng)網(wǎng)絡(luò)；序貫極限學(xué)習(xí)機(jī)

0 引 言

光電經(jīng)緯儀多傳感器數(shù)據(jù)融合系統(tǒng)中，采用融合技術(shù)綜合處理長波紅外、中波紅外、可見光等傳感器的量測數(shù)據(jù)，可以增大量測范圍、提高目標(biāo)跟蹤能力、增強(qiáng)系統(tǒng)可靠性及跟蹤準(zhǔn)確度。由于系統(tǒng)中各傳感器存在系統(tǒng)誤差,量測軌跡并不重合，直接進(jìn)行融合將導(dǎo)致跟蹤準(zhǔn)確度降低，難以發(fā)揮多傳感器融合的優(yōu)勢。所以量測數(shù)據(jù)融合前需要進(jìn)行空間配準(zhǔn)以消除各傳感器的系統(tǒng)偏差[1]。國內(nèi)外學(xué)者為了解決多傳感器的空間配準(zhǔn)進(jìn)行了大量的研究，文獻(xiàn)[2]結(jié)合目標(biāo)的運(yùn)動(dòng)狀態(tài)和傳感器系統(tǒng)誤差構(gòu)建擴(kuò)維系統(tǒng)動(dòng)態(tài)方程,提出了迭代擴(kuò)展卡爾曼濾波（IEKF)的配準(zhǔn)算法,能取得和UKF相近估計(jì)精度。文獻(xiàn)[3]對(duì)機(jī)動(dòng)平臺(tái)的傳感器系統(tǒng)誤差、目標(biāo)狀態(tài)進(jìn)行期望最大化迭代，并對(duì)目標(biāo)的狀態(tài)進(jìn)行融合估計(jì)，提出離線機(jī)動(dòng)極大似然配準(zhǔn)（MLRM)算法，有效估計(jì)出量測、姿態(tài)角系統(tǒng)誤差和目標(biāo)狀態(tài)。文獻(xiàn)[4]采用擴(kuò)展卡爾曼濾波通過非線性轉(zhuǎn)換坐標(biāo)機(jī)動(dòng)模型，分別對(duì)每個(gè)傳感器的位置誤差和方位誤差進(jìn)行估計(jì)，準(zhǔn)確計(jì)算出公共參考坐標(biāo)系下的三坐標(biāo)雷達(dá)的位置與方位誤差。上述方法都是在假設(shè)系統(tǒng)偏差為固定偏差集合的基礎(chǔ)上取得了不錯(cuò)的配準(zhǔn)效果，而忽略了影響系統(tǒng)偏差的許多不確定因素[5]。

單隱層前饋神經(jīng)網(wǎng)絡(luò)（single-hidden layer feedforward neural networks，SLFNs)具有的非線性辨識(shí)能力，使其在多傳感器空間配準(zhǔn)領(lǐng)域得到了廣泛應(yīng)用。文獻(xiàn)[6]在各類傳感器系統(tǒng)偏差來源未知的前提下運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行偏差配準(zhǔn)。與傳統(tǒng)SLFNs不同，極限學(xué)習(xí)機(jī)（extreme learning machine，ELM)使用求解線性方程組方法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練時(shí)輸入層與隱含層的網(wǎng)絡(luò)權(quán)值以及隱含層閾值隨機(jī)生成，僅求解矩陣廣義逆得到隱含層與輸出層網(wǎng)絡(luò)權(quán)值，訓(xùn)練時(shí)間大幅縮短。文獻(xiàn)[7]采用極限學(xué)習(xí)機(jī)算法建立光電經(jīng)緯儀空間配準(zhǔn)模型。雖然上述兩種方法解決了系統(tǒng)偏差假設(shè)問題，但是存在泛化能力低、網(wǎng)絡(luò)訓(xùn)練時(shí)間較長、難以得到全局最優(yōu)解、難以實(shí)現(xiàn)在線學(xué)習(xí)等問題。

文獻(xiàn)[8]在ELM[9]基礎(chǔ)上提出在線序貫極限學(xué)習(xí)機(jī) (online sequential extreme learning machine，OS-ELM)，該算法訓(xùn)練時(shí)只對(duì)新數(shù)據(jù)進(jìn)行學(xué)習(xí)，而不必連同之前歷史數(shù)據(jù)重新訓(xùn)練，新數(shù)據(jù)一旦學(xué)習(xí)結(jié)束即可丟棄，其本質(zhì)為ELM的在線增量式快速學(xué)習(xí)算法。文獻(xiàn)[10]指出由于輸入數(shù)據(jù)的變化OS-ELM算法的穩(wěn)定性隨之變化較大，隱層節(jié)點(diǎn)激活函數(shù)的問題依賴性導(dǎo)致該算法泛化性下降。

本文將小波的時(shí)頻局部特性、聚焦特性[11]，神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自適應(yīng)、魯棒性以及序貫極限學(xué)習(xí)機(jī)的在線學(xué)習(xí)能力相結(jié)合，提出復(fù)合函數(shù)小波神經(jīng)網(wǎng)絡(luò)序貫極限學(xué)習(xí)機(jī)（composite function wavelet neural networks with online sequential extreme learning machine，CFWNN-OSELM)空間配準(zhǔn)算法，網(wǎng)絡(luò)的隱層節(jié)點(diǎn)激活函數(shù)由小波函數(shù)和任意分段連續(xù)的非線性函數(shù)構(gòu)成，小波函數(shù)的伸縮、平移因子根據(jù)輸入數(shù)據(jù)的范圍進(jìn)行初始化，并結(jié)合極限學(xué)習(xí)機(jī)序貫學(xué)習(xí)方法對(duì)小波神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。通過光電經(jīng)緯儀的星體測量數(shù)據(jù)進(jìn)行模型驗(yàn)證，并與ELM空間配準(zhǔn)算法進(jìn)行對(duì)比。結(jié)果表明，該算法具有更快的學(xué)習(xí)速度和更強(qiáng)的泛化能力，達(dá)到了提高光電經(jīng)緯儀測量精度的目的。

1 CFWNN-OSELM概述

1.1 CFWNN結(jié)構(gòu)

復(fù)合函數(shù)小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)的小波神經(jīng)網(wǎng)絡(luò)相比，除了在輸入層增加了非零偏置x0，更主要的是隱層節(jié)點(diǎn)使用經(jīng)過平移與尺寸伸縮的母小波函數(shù)與任意分段連續(xù)非線性函數(shù)構(gòu)成的復(fù)合函數(shù)作為激活函數(shù)。復(fù)合激活函數(shù)比單一使用小波函數(shù)更加緊湊，適當(dāng)選取小波函數(shù)的伸縮因子和平移因子，能保證小波函數(shù)覆蓋輸入數(shù)據(jù)范圍，這時(shí)CFWNN將具有良好的逼近能力[12]。CFWNN的結(jié)構(gòu)如圖1所示。

圖1 CFWNN的結(jié)構(gòu)

對(duì)于N個(gè)任意訓(xùn)練樣本（xi，ti)，其中xi=[x0，xi1，xi2，…，xin]T∈Rn，ti∈Rm，對(duì)于具有L個(gè)隱層神經(jīng)元的CFWNN，可記為

式中：Vi=[νi1，νi2，…，νin]T∈Rn——連接輸入層神經(jīng)元與隱層第i個(gè)神經(jīng)元的權(quán)值；

βi——連接隱層第i個(gè)神經(jīng)元和輸出層神經(jīng)元的權(quán)值；

ψai，bi（·)——隱層第i個(gè)神經(jīng)元的小波函數(shù)；

ai，bi——伸縮因子和平移因子；

g（·)——任意分段連續(xù)非線性函數(shù)。

式（1)可以改寫為Hβ=T，其中，H稱為CFWNN的隱層輸出矩陣。

1.2 小波參數(shù)的初始化

隱層小波函數(shù)的伸縮因子和平移因子初始化是CFWNN-OSELM空間配準(zhǔn)算法的關(guān)鍵，本文根據(jù)輸入數(shù)據(jù)的范圍對(duì)參數(shù)進(jìn)行初始化。首先，隨機(jī)選擇輸入權(quán)值矩陣V，設(shè)[xi，min，xi，max]表示第i個(gè)輸入數(shù)據(jù)的范圍（不考慮x0)，則隱層節(jié)點(diǎn)復(fù)合函數(shù)輸入值范圍表示為L。t*、ψ*分別表示小波函數(shù)的時(shí)窗中心和時(shí)窗半徑，則第h個(gè)隱層神經(jīng)元的小波函數(shù)ψah，bh的時(shí)窗為[bh+ah（t*-ψ*)，bh+ah（t*+ψ*)]。為了保證小波函數(shù)能覆蓋輸入數(shù)據(jù)范圍，得到如下等式：

由式（4)、式（5)得出伸縮因子和平移因子初始化公式：

小波函數(shù)的時(shí)窗中心和時(shí)窗半徑由下式得出：

1.3 CFWNN-OSELM學(xué)習(xí)算法

CFWNN-OSELM學(xué)習(xí)算法分為初始化階段和序貫學(xué)習(xí)階段，計(jì)算步驟為：

1)初始化階段：從給定訓(xùn)練集N={（xi，ti)|xi∈Rn，ti∈Rm，i=1，2，3，…，n}中選取少量的初始訓(xùn)練集N0=其中N0≥L，進(jìn)行初始化學(xué)習(xí)。a)隨機(jī)分配輸入權(quán)值Vi，按照式（6)、式（7)初始化伸縮因子ai和平移因子bi，i=1，…，L。

b)計(jì)算初始隱層輸出矩陣H0

d)令k=0。

a)計(jì)算隱層節(jié)點(diǎn)輸出矩陣Hk+1

d)令k=k+1。轉(zhuǎn)到步驟2)繼續(xù)執(zhí)行。

上述推導(dǎo)過程可知，該算法只對(duì)新來的數(shù)據(jù)集進(jìn)行學(xué)習(xí)，并且數(shù)據(jù)集長度可變，從而提高了算法的運(yùn)行速度。在對(duì)網(wǎng)絡(luò)參數(shù)初始化時(shí)，除了對(duì)小波參數(shù)進(jìn)行初始化外，只需確定隱層神經(jīng)元個(gè)數(shù)，降低了網(wǎng)絡(luò)參數(shù)之間的依賴性。

2 實(shí)驗(yàn)結(jié)果與分析

為了分析ELM和CFWNN-OSELM算法的訓(xùn)練時(shí)間和配準(zhǔn)效果，采用某型號(hào)光電經(jīng)緯儀測量的36顆恒星數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，將其中3190組測量數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其余的350組作為測試數(shù)據(jù)，部分測量數(shù)據(jù)如表1所示。

CFWNN-OSELM算法的輸入為非零偏置、方位和俯仰實(shí)測值，輸出為方位、俯仰測量誤差。CFWNNOSELM算法的隱層神經(jīng)元個(gè)數(shù)為30，隱層節(jié)點(diǎn)激活函數(shù)由經(jīng)過平移和伸縮的Morlet小波函數(shù)ψ（t)=cos（1.75t)e-0.5t2和“Sigmoid”函數(shù)g（x)=1/（1+e-x)構(gòu)成。ELM算法的隱層神經(jīng)元個(gè)數(shù)為30，隱層節(jié)點(diǎn)激活函數(shù)選擇“Sigmoid”函數(shù)。設(shè)定ELM與CFWNNOSELM算法初始化學(xué)習(xí)階段樣本數(shù)為200，序貫學(xué)習(xí)階段的每次學(xué)習(xí)的樣本數(shù)為1。在仿真實(shí)驗(yàn)時(shí)，輸入數(shù)據(jù)標(biāo)準(zhǔn)化至[-1，1]之間，輸出數(shù)據(jù)標(biāo)準(zhǔn)化至[0，1]之間。仿真實(shí)驗(yàn)均在2.5GHz的Intel CPU、4GB RAM和Matlab 7.10.0環(huán)境下進(jìn)行。兩種配準(zhǔn)算法測試時(shí)輸出的誤差曲線及性能對(duì)比如圖2、表2所示。

表1 部分恒星測量數(shù)據(jù)

圖2 測試誤差比較圖

表2 配準(zhǔn)性能對(duì)比

可以看出CFWNN-OSELM與ELM相比，在配準(zhǔn)準(zhǔn)確度上有一定程度的提高，但是CFWNN-OSELM的訓(xùn)練時(shí)間明顯小于ELM，這是由于標(biāo)準(zhǔn)ELM算法采用批量學(xué)習(xí)方式，當(dāng)新數(shù)據(jù)輸入時(shí)，需要對(duì)所有數(shù)據(jù)重新訓(xùn)練，訓(xùn)練時(shí)間主要消耗在計(jì)算矩陣H∈RN0×L的Moore-Penrose廣義逆；而CFWNN-OSELM算法在初始化學(xué)習(xí)階段只計(jì)算一次L×L矩陣的逆運(yùn)算，由式（12)可知在序貫學(xué)習(xí)階段訓(xùn)練時(shí)間的消耗與每次學(xué)習(xí)的樣本數(shù)量有關(guān)，樣本數(shù)量越少學(xué)習(xí)時(shí)間越短。

由此可知，CFWNN-OSELM算法的快速學(xué)習(xí)特性與在線學(xué)習(xí)階段每次學(xué)習(xí)的新數(shù)據(jù)的樣本數(shù)量有關(guān)，在對(duì)實(shí)時(shí)性要求較高的情況下，應(yīng)該選擇較少的新數(shù)據(jù)樣本數(shù)量。

圖3 原始測量誤差

圖4 CFWNN-OSELM算法配準(zhǔn)后的測量誤差

為驗(yàn)證CFWNN-OSELM算法的效果，用光電經(jīng)緯儀對(duì)能夠提供精確軌道數(shù)據(jù)的激光衛(wèi)星（LASER Satellite)進(jìn)行跟蹤測量。圖3是光電經(jīng)緯儀對(duì)某激光衛(wèi)星的原始測量誤差，圖4是CFWNN-OSELM算法配準(zhǔn)后的測量誤差。

可以計(jì)算出原始測量中的方位、俯仰平均絕對(duì)誤差分別為-11.0504″、-4.1582″，配準(zhǔn)后的方位、俯仰平均絕對(duì)誤差分別為0.2017″、0.6947″，配準(zhǔn)后測量準(zhǔn)確度大幅提高。對(duì)兩顆激光衛(wèi)星進(jìn)行一段時(shí)間的連續(xù)跟蹤測量，結(jié)果見表3，進(jìn)一步驗(yàn)證了CFWNNOSELM空間配準(zhǔn)算法提高光電經(jīng)緯儀測量精度的可行性。

表3 CFWNN-OSELM配準(zhǔn)后測量準(zhǔn)確度

本文提出的空間配準(zhǔn)算法適用各類偏差來源未知傳感器系統(tǒng)，且實(shí)時(shí)性要求較高的光電經(jīng)緯儀多傳感器數(shù)據(jù)融合系統(tǒng)中，使用該算法直接對(duì)測量結(jié)果進(jìn)行修正，再進(jìn)行數(shù)據(jù)融合可以進(jìn)一步提高光電經(jīng)緯儀的跟蹤準(zhǔn)確度。

3 結(jié)束語

本文針對(duì)如何有效解決光電經(jīng)緯儀數(shù)據(jù)融合系統(tǒng)中的空間配準(zhǔn)問題，提出了一種新的空間配準(zhǔn)算法CFWNN-OSELM，該算法具有序貫極限學(xué)習(xí)機(jī)在線快速學(xué)習(xí)的特點(diǎn)，引入小波函數(shù)和任意分段連續(xù)非線性函數(shù)構(gòu)成隱層節(jié)點(diǎn)激活函數(shù)，以增加配準(zhǔn)算法的局部分辨能力，根據(jù)輸入數(shù)據(jù)的范圍對(duì)小波函數(shù)的伸縮、平移因子進(jìn)行初始化，從而得到更好的泛化性能。最后通過星體測量數(shù)據(jù)進(jìn)行模型驗(yàn)證，結(jié)果表明該算法可以使光電經(jīng)緯儀的測量準(zhǔn)確度提高到3″以內(nèi)，達(dá)到了修正光電經(jīng)緯儀測量誤差的目的，并且具有更快的學(xué)習(xí)速度和更強(qiáng)的泛化能力，為提高光電經(jīng)緯儀的測量準(zhǔn)確度提供了新的方法和思路。

[1]劉瑜，何友，王海鵬，等.基于平方根容積卡爾曼濾波的目標(biāo)狀態(tài)與傳感器偏差擴(kuò)維聯(lián)合估計(jì)算法[J].吉林大學(xué)學(xué)報(bào)：工學(xué)版，2015，45（1)：314-321.

[2]李軍輝，楊峰，程詠梅，等.一種多傳感器實(shí)時(shí)誤差配準(zhǔn)算法研究[J].傳感技術(shù)學(xué)報(bào)，2010，23（5)：713-716.

[3]崔亞奇，熊偉，何友.基于MLR的機(jī)動(dòng)平臺(tái)傳感器誤差配準(zhǔn)算法[J].航空學(xué)報(bào)，2012，33（1)：118-128.

[4]Nassib N，Robort H.Bishop solution to a multisensor tracking problem with sensor registration error[J].IEEE T-AES，1999，35（1)：354-363.

[5]余建國，劉梅，包玖紅.基于星光測量天基傳感器實(shí)時(shí)定標(biāo)在彈道目標(biāo)跟蹤應(yīng)用[J].電子與信息學(xué)報(bào)，2013，35（4)：915-920.

[6]Karmiely H，Hava T S.Sensor registration using neural network[J].IEEE Transactions on Aerospace and Electronic Systems，2000，36（1)：85-100.

[7]楊宏韜，高慧斌，張淑梅.極限學(xué)習(xí)機(jī)方法在經(jīng)緯儀空間配準(zhǔn)中的應(yīng)用[J].紅外與激光工程，2013，42（12)：3517-3521.

[8]Liang N Y，Huang G B，Saratchandran P，et al.A fast and accurate online sequential learningalgorithm for feedforward networks[J].IEEE Transactions on Neural Networks，2006，17（6)：1411-1423.

[9]Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：theory and applications[J].Neurocomputing，2006，70（1)：489-501.

[10]Lan Y，Yeng C S，Huang G B.Ensemble of online sequential extreme learning machine[J].Neurocomputing，2009，72（1)：3391-3395.

[11]全麗萍，李曉理，王巧智.多分辨率小波極限學(xué)習(xí)機(jī)[J].北京科技大學(xué)學(xué)報(bào)，2014，36（12)：1712-1719.

[12]Cao J W，Lin Z P，Huang G B.Composite function wavelet neural networks with extreme learning machine[J]. Neurocomputing，2010（73)：1405-1416.

Research on modified wavelet online sequential extreme learning machine in space registration for photoelectric theodolite

YANG Hongtao1，2，3，GAO Huibin1，LIU Xin1
（1.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.University of Chinese Academy of Sciences，Beijing 100049，China；3.College of Electronic and Electrical Engineering，Changchun University of Technology，Changchun 130012，China）

An algorithm using composite functions and wavelet neural networks（WNN）in online sequential extreme learning machines（OS-ELM）was proposed to solve the problem in the space registration of photoelectric theodolite data fusion system.The wavelet theory was introduced to extreme learning machines and the wavelet function and bounded non-constant piecewise continuous function were used to build an hidden-node excitation function for extreme learning machine.The contraction-expansion and shift factors of the wavelet function were initiated with the input data range and it was trained in combination with the online learning methods of extreme learning machine.Experimental results show that this algorithm can improve the measurement accuracy of photoelectric theodolite to within 3″and has fast online learning speed and good generalization compared with standard space registration algorithms.

photoelectric theodolite；space registration；WNN；OS-ELM

A

：1674-5124（2015）10-0001-05

10.11857/j.issn.1674-5124.2015.10.001

2015-02-26；

：2015-04-13

國家863計(jì)劃項(xiàng)目（2008AA0047)

楊宏韜（1982-)，男，吉林長春市人，博士，研究方向?yàn)楣怆姕y量與信息融合。