多元總體最小二乘問題的牛頓解法

王樂洋，趙英文，陳曉勇，臧德彥

1. 東華理工大學(xué)測(cè)繪工程學(xué)院，江西 南昌 330013; 2. 流域生態(tài)與地理環(huán)境監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013; 3. 江西省數(shù)字國(guó)土重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013

?

多元總體最小二乘問題的牛頓解法

王樂洋1,2,3，趙英文1，陳曉勇1,2,3，臧德彥1,2,3

1. 東華理工大學(xué)測(cè)繪工程學(xué)院，江西 南昌 330013; 2. 流域生態(tài)與地理環(huán)境監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013; 3. 江西省數(shù)字國(guó)土重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013

transformation

Foundation support： The National Natural Science Foundation of China (Nos. 41204003; 41161069; 41304020; 41464001); The National Department Public Benefit Research Foundation (Surveying，Mapping and Geoinformation)(No. 201512026); The Natural Science Foundation of Jiangxi Province (No. 20151BAB203042); The Science and Technology Project of the Education Department of Jiangxi Province (Nos. GJJ150595; KJLD12077; KJLD14049); The Found of Key Laboratory of Watershed Ecology and Geographical Environment Monitoring (No. WE2015005); The Scientific Research Foundation of ECIT(No. DHBK201113); Innovation Fund Designated for Graduate Students of Jiangxi Province (Nos. YC2015-S266; YC2015-S267); Innovation Fund Designated for Graduate Students of ECIT(No. DHYC-2015005); The Found of the Key Laboratory of Mapping from Space, NASG (No.K201502)

摘要：為提高多元總體最小二乘問題參數(shù)估值的解算效率，推導(dǎo)了基于牛頓法的多元加權(quán)總體最小二乘算法；分析比較了基于牛頓法的多元加權(quán)總體最小二乘解和基于拉格朗日乘數(shù)法多元加權(quán)總體最小二乘解之間的關(guān)系，根據(jù)協(xié)因數(shù)傳播律給出了多元總體最小二乘平差的16種協(xié)因數(shù)陣的近似計(jì)算公式。新算法能夠解決觀測(cè)矩陣和系數(shù)矩陣元素具有相關(guān)性的問題，并且可以把觀測(cè)矩陣和系數(shù)矩陣的隨機(jī)元素和常數(shù)元素納入到一個(gè)協(xié)因數(shù)陣中進(jìn)行處理。算例結(jié)果表明，本文提出的多元總體最小二乘問題的牛頓解法可行且收斂速度更快。

關(guān)鍵詞：多元總體最小二乘；牛頓法；協(xié)因數(shù)傳播律；仿射變換

總體最小二乘(total least squares，TLS)方法是近30多年來發(fā)展起來的一種能同時(shí)顧及觀測(cè)值誤差和模型系數(shù)矩陣誤差的數(shù)學(xué)方法，其理論及應(yīng)用研究是目前國(guó)內(nèi)外研究的熱點(diǎn)問題[1]。文獻(xiàn)[2]首次提出總體最小二乘概念，隨著變量誤差模型(errors-in-variables，EIV)由單變量模型擴(kuò)展到多元變量模型[3]，總體最小二乘也相應(yīng)擴(kuò)展到多元總體最小二乘(multivariate TLS，MTLS)[4-5]。某些模型的系數(shù)矩陣會(huì)因未知參數(shù)寫成向量形式含有重復(fù)出現(xiàn)的隨機(jī)元素和大量的零元素；多元總體最小二乘將參數(shù)向量和觀測(cè)向量改寫成矩陣形式，避免了這種現(xiàn)象，進(jìn)而削弱了系數(shù)矩陣中行列之間的相關(guān)性，而且使得系數(shù)矩陣的構(gòu)造更加簡(jiǎn)單。

在國(guó)外相關(guān)研究中，文獻(xiàn)[5—7]認(rèn)為觀測(cè)矩陣和系數(shù)矩陣中的隨機(jī)元素是等精度的，給出了基于奇異值分解法和拉格朗日乘數(shù)法的多元總體最小二乘算法；文獻(xiàn)[8]討論了基于拉格朗日乘數(shù)法的多元加權(quán)總體最小二乘算法，將隨機(jī)元素的方差陣分解成兩個(gè)矩陣取直積的形式，但是當(dāng)觀測(cè)數(shù)據(jù)含有兩個(gè)以上的方差分量或是觀測(cè)數(shù)據(jù)含有多類觀測(cè)值時(shí)，隨機(jī)變量的方差協(xié)方差陣就很難寫成或是不能寫成兩個(gè)矩陣取直積的形式；文獻(xiàn)[9]推導(dǎo)了基于奇異值分解法的多元加權(quán)總體最小二乘算法，但是這種算法只使用了行尺度權(quán)陣，其權(quán)陣不具有一般性。以上文獻(xiàn)的所有算法都不適用于系數(shù)矩陣與觀測(cè)矩陣中隨機(jī)元素具有相關(guān)性的情況。文獻(xiàn)[10]給出了基于拉格朗日乘數(shù)法的多元加權(quán)總體最小二乘算法，其權(quán)陣具有一般性，但沒有具體給出系數(shù)矩陣含有常數(shù)元素的解法以及沒有解決算法的精度評(píng)定問題，這種算法的解算效率也還需要驗(yàn)證。在國(guó)內(nèi)相關(guān)研究中，文獻(xiàn)[11]將基于奇異值分解法的多元總體最小二乘算法應(yīng)用在三維坐標(biāo)轉(zhuǎn)換中；文獻(xiàn)[12]給出的多元總體最小二乘算法受到正交Procrustes算法制約僅適用于觀測(cè)值誤差對(duì)稱獨(dú)立的情況，隨機(jī)元素相關(guān)性問題也沒有解決；文獻(xiàn)[13]只給出了觀測(cè)值等精度同方差情況下的多元總體最小二乘算法。對(duì)于系數(shù)矩陣含有常量的情況，文獻(xiàn)[10,14—16]將系數(shù)矩陣拆分成分別包含隨機(jī)元素和常數(shù)元素的系數(shù)矩陣；文獻(xiàn)[11—13]采用消元法，分兩步計(jì)算隨機(jī)元素對(duì)應(yīng)的未知參數(shù)和常數(shù)元素對(duì)應(yīng)的未知參數(shù)；文獻(xiàn)[8,17]使常數(shù)元素的方差和協(xié)方差為零，然后進(jìn)行加權(quán)解算；文獻(xiàn)[18]首次將EIV模型改寫成更具一般性的PEIV(partial EIV)模型，解決了系數(shù)矩陣任意位置含有常數(shù)元素的平差問題。但以上方法都沒有把系數(shù)矩陣和觀測(cè)向量(或矩陣)中的所有元素納入到一個(gè)協(xié)因數(shù)陣中進(jìn)行處理。

基于以上問題，本文推導(dǎo)了顧及系數(shù)矩陣含有常數(shù)元素情況下的多元總體最小二乘的牛頓解法，并討論了多元總體最小二乘的牛頓法解和拉格朗日乘數(shù)法解之間的關(guān)系以及給出了多元總體最小二乘的精度評(píng)定公式，最后通過模擬數(shù)據(jù)和實(shí)測(cè)數(shù)據(jù)驗(yàn)證了本文算法的可行性和有效性。

1多元總體最小二乘解法

1.1多元變量EIV模型

多元變量EIV模型[6-8]為

Y=(A+EA)Ξ-EY

(1)

(2)

顧及系數(shù)矩陣A中某列含有常數(shù)元素，在文獻(xiàn)[8,17—18]的基礎(chǔ)上，系數(shù)矩陣和相應(yīng)的協(xié)因數(shù)陣定義為

(3)

(4)

式中，As是系數(shù)矩陣A的隨機(jī)元素部分；Ad是系數(shù)矩陣A的常數(shù)元素部分；Es為隨機(jī)元素的誤差矩陣；Qi(i=1,2,…，t)∈Rn×n(t+m)。

此時(shí)，協(xié)因數(shù)陣Q為奇異陣，但在計(jì)算時(shí)并沒有直接求取Q的逆，因此并不影響解算過程。

1.2多元總體最小二乘問題的牛頓解法

本文在文獻(xiàn)[10]推導(dǎo)牛頓法思路的基礎(chǔ)上，進(jìn)一步推導(dǎo)了一般情形下多元總體最小二乘問題的牛頓解法。根據(jù)總體最小二乘問題平差準(zhǔn)則VTPV=min，由求條件極值的拉格朗日乘數(shù)法構(gòu)造如下目標(biāo)函數(shù)

Γ(V,Ξ,λ)=VTPV+2λT(vec(Y+EY)-

(ΞT?In)vec(A+EA))

(5)

式中，λ∈Rnm×1為拉格朗日乘數(shù)向量；?為Kronecker-Zehfuss積。

對(duì)式(5)中的元素分別求導(dǎo)得

(6)

(7)

由式(6)和式(7)，得到改正數(shù)最優(yōu)估值為[10]

(8)

進(jìn)而得到牛頓法求解無約束問題的目標(biāo)函數(shù)

(9)

式中

式(9)對(duì)vec(Ξ)求一階導(dǎo)數(shù)，得

(10)

經(jīng)推導(dǎo)可得式(10)第1部分

(11)

由逆矩陣求導(dǎo)原理，得式(10)第2部分

(12)

式中

(13)

(14)

由式(11)和式(12)得

(15)

式(9)對(duì)vec(Ξ)求二階導(dǎo)數(shù)，得

(16)

并令

(17)

則

(18)

依據(jù)牛頓法原理得到未知參數(shù)的改正數(shù)

(19)

以及

(20)

多元總體最小二乘問題的牛頓解法的迭代步驟為(k為迭代次數(shù))：

作為迭代初始值。

第2步，由上一步獲得的數(shù)值，分別計(jì)算

由式(15)和式(18)，進(jìn)一步計(jì)算Gk+1、Hk+1和

第3步，根據(jù)式(20)更新未知參數(shù)估值。

作為未知參數(shù)的最佳估值。

1.3牛頓法解和拉格朗日乘數(shù)法解之間的關(guān)系

拉格朗日乘數(shù)法的多元總體最小二乘解為[10]

(21)

式(21)在近似值處展開，寫成式(20)的形式

(22)

式中，拉格朗日乘數(shù)法未知參數(shù)改正數(shù)為

(23)

令

(24)

利用矩陣反演公式[10,19]，得

(25)

又因?yàn)?/p>

(26)

聯(lián)合式(23)、式(25)和式(26)，得

(27)

2多元總體最小二乘解法精度評(píng)定

2.1單位權(quán)方差估值公式

根據(jù)文獻(xiàn)[6—7]，多元總體最小二乘解法的單位權(quán)方差估值公式為

(28)

式中，m(n-t)為自由度，mn為觀測(cè)矩陣Y元素的個(gè)數(shù)，mt為參數(shù)矩陣Ξ元素的個(gè)數(shù)。

2.2協(xié)因數(shù)陣計(jì)算公式

多元總體最小二乘法中，數(shù)據(jù)多以矩陣形式存在。為計(jì)算協(xié)因數(shù)陣，把矩陣寫成向量形式，得到

(29)

表1多元總體最小二乘法協(xié)因數(shù)陣

Tab.1Cofactor matrice of multivariate total least squares adjustment

L^V^L^ξLQ-^X5Q-^X5-Q^ΣT^XT4^V-^X5^X50Q^ΣT^XT4^LQ-^X50Q-^X50^ξ-^X4^ΣQ^X4^ΣQ0^X3

3算例分析

3.1模擬算例

根據(jù)文獻(xiàn)[17]中給出的源坐標(biāo)系的真值數(shù)據(jù)，本文通過給定的二維仿射變換參數(shù)真值計(jì)算得到目標(biāo)坐標(biāo)系的真值數(shù)據(jù)。在得到兩組坐標(biāo)系的真值數(shù)據(jù)后，依據(jù)文獻(xiàn)[17]，本文在模擬數(shù)據(jù)中源坐標(biāo)系所加誤差的協(xié)因數(shù)陣為

Qxy=I2?(0.01diag([1,2,3,1,5,4,2,7,2,1,8,3,6]))

模擬數(shù)據(jù)中目標(biāo)坐標(biāo)系所加誤差的協(xié)因數(shù)陣為

QXY=I2?(0.01diag([1,3,6,1,1,8,4,3,6,5,4,5,2]))

共模擬500次，分別使用本文提出的牛頓法(N法)和拉格朗日-牛頓法(L-N法)，以及Fang(2011)法[10]、Schaffrin(2009)法[8]和加權(quán)最小二乘法(WLS)計(jì)算二維仿射變換參數(shù)，迭代法的終止條件均為10-12，將獲得的二維仿射變換參數(shù)的平均值，以及二維仿射變換參數(shù)平均值與其真值的差值2范數(shù)和平均迭代次數(shù)列于表2中。

參數(shù)為矩陣時(shí)，文獻(xiàn)[10]并沒有給出在系數(shù)矩陣含有常數(shù)列時(shí)的具體公式算法。依據(jù)其提出的在參數(shù)為向量時(shí)系數(shù)矩陣含有常數(shù)列的加權(quán)總體最小二乘算法，本文編程實(shí)現(xiàn)了這種將系數(shù)矩陣分成兩部分的多元加權(quán)總體最小二乘算法，并簡(jiǎn)稱為Fang(2011)法。拉格朗日-牛頓法(L-N法)是指把Fang(2011)法(拉格朗日乘數(shù)法)獲得的第一次多元加權(quán)總體最小二乘參數(shù)解作為本文牛頓法迭代的初始值；在選取迭代初始值時(shí)，如果使用多元最小二乘參數(shù)解作為初始值計(jì)算式(20)，則為牛頓法(N法)，如果使用多元加權(quán)總體最小二乘參數(shù)解作為初始值計(jì)算式(20)，則為拉格朗日-牛頓法(L-N法)；在能夠獲得多元加權(quán)總體最小二乘參數(shù)解的情況下，建議使用收斂速度更快的L-N法。

以上算例沒有考慮系數(shù)矩陣元素與觀測(cè)矩陣元素的相關(guān)性。為了驗(yàn)證本文的牛頓法能夠解決更一般的多元總體最小二乘問題，在文獻(xiàn)[19]的基礎(chǔ)上，使用Matlab 7.11.0軟件，利用函數(shù)randn(100,13*4)T×randn(100,13*4)生成協(xié)因數(shù)陣Qr，利用函數(shù)mvnrnd生成均值均為0，方差-協(xié)方差陣為0.001 Qr的隨機(jī)誤差矩陣，并將其施加到真值數(shù)據(jù)中以作為計(jì)算的模擬數(shù)據(jù)。

由于模擬數(shù)據(jù)使得兩套坐標(biāo)系具有了相關(guān)性，此時(shí)Schaffrin(2009)法不再適用，選用本文提出的牛頓法和拉格朗日-牛頓法，以及Fang(2011)法模擬計(jì)算10 000次，計(jì)算時(shí)取Q=Qr，迭代法的終止條件均為10-12，并由獲得的10 000次的參數(shù)估值繪制出的參數(shù)估值頻率直方圖及其相應(yīng)的擬合出的正態(tài)分布曲線圖如圖1所示。

計(jì)算結(jié)果表明，牛頓法的平均迭代次數(shù)為6.972 6，拉格朗日-牛頓法的平均迭代次數(shù)為6.828 7，F(xiàn)ang(2011)法的平均迭代次數(shù)為12.188 2。牛頓法和拉格朗日-牛頓法使用的協(xié)因數(shù)陣Q為奇異矩陣，但這并不影響未知參數(shù)的解算。Fang(2011)法的迭代次數(shù)最多，拉格朗日-牛頓法迭代次數(shù)要少于牛頓法，這也與上文的結(jié)論相符合。參數(shù)估值的頻率直方圖近似于正態(tài)分布，相應(yīng)的正態(tài)分布擬合曲線大約也以參數(shù)的真值為對(duì)稱軸。以上的結(jié)論證明了多元總體最小二乘牛頓解法的可行性和有效性。

表2　5種方法參數(shù)估計(jì)結(jié)果

圖1　所估參數(shù)的直方圖及其正態(tài)分布擬合曲線Fig.1　Histogram and fitting curve of normal distribution of estimated parameters

3.2實(shí)測(cè)算例

選取文獻(xiàn)[19]中二維坐標(biāo)轉(zhuǎn)換數(shù)據(jù)作為計(jì)算數(shù)據(jù)，共有5組在源坐標(biāo)系和目標(biāo)坐標(biāo)系下的公共點(diǎn)。

源坐標(biāo)系和目標(biāo)坐標(biāo)系權(quán)陣為[19]

Pxy=diag([18.781 7,6.377 4,12.648 9，

17.476 9,22.272 6,23.982 3,13.680 4，

3.465 6,3.732 4,6.437 7])

PXY=diag([9.836 1,5.535 7,12.736 9,

12.009 9,10.181,11.366 1,11.147,

5.883 4,9.832 2,7.567 8])

使用本文提出的牛頓法和拉格朗日-牛頓法，以及Fang(2011)法計(jì)算二維仿射變換參數(shù)，迭代法的終止條件均為10-12。3種方法的未知參數(shù)估值列于表3中。利用表3中的未知參數(shù)估值結(jié)果和表1中的公式計(jì)算未知參數(shù)估值協(xié)因數(shù)陣，并將其列于表4中。

表3　3種方法參數(shù)估計(jì)結(jié)果

表4　參數(shù)估值協(xié)因數(shù)陣

4結(jié)論

本文推導(dǎo)了多元總體最小二乘問題的牛頓解法，并比較了基于牛頓法的多元加權(quán)總體最小二乘解和基于拉格朗日乘數(shù)法的多元加權(quán)總體最小二乘解之間的關(guān)系，給出了多元總體最小二乘算法精度評(píng)定的16種協(xié)因數(shù)陣的近似計(jì)算公式。通過算例驗(yàn)證，并與現(xiàn)有的解法作了比較，得到以下幾點(diǎn)結(jié)論：

(1) 牛頓法有著更少的迭代次數(shù)，更高的解算效率。

(2) 在觀測(cè)矩陣和系數(shù)矩陣元素對(duì)應(yīng)的協(xié)因數(shù)陣中，本文取常數(shù)元素的協(xié)因數(shù)為0。這雖然導(dǎo)致協(xié)因數(shù)陣Q奇異，但并不影響參數(shù)的估計(jì)結(jié)果；本文的算法也能解決觀測(cè)矩陣與系數(shù)矩陣元素具有相關(guān)性的問題。

(3) 牛頓法的解算效率會(huì)受到迭代初始值的影響，本文采用的拉格朗日-牛頓法因其迭代初始值更接近參數(shù)最優(yōu)估值，而使得解算效率比起牛頓法有所提高。

本文給出的多元總體最小二乘解法精度評(píng)定的公式只是近似公式，如何推導(dǎo)更為嚴(yán)密的總體最小二乘精度評(píng)定公式還需進(jìn)一步研究。

參考文獻(xiàn)：

[1]王樂洋.基于總體最小二乘的大地測(cè)量反演理論及應(yīng)用研究[J]. 測(cè)繪學(xué)報(bào), 2012, 41(4): 629.

WANG Leyang. Research on Theory and Application of Total Least Squares in Geodetic Inversion[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(4): 629.

[2]GOLUB G H, VAN LOAN C F. An Analysis of the Total Least Squares Problem[J]. SIAM Journal on Numerical Analysis, 1980, 17(6): 883-893.

[3]SPRENT P. Models in Regression and Related Topics[M]. London: Methuen & Co Ltd, 1969.

[4]王樂洋, 許才軍. 總體最小二乘研究進(jìn)展[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2013, 38(7): 850-856, 878.

WANG Leyang, XU Caijun. Progress in Total Least Squares[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7): 850-856, 878.

[5]VAN HUFFEL S, VANDEWALLE J. The Total Least Squares Problem: Computational Aspects and Analysis[D]. Philadelphia, Pennsylvania: SIAM, 1991.

[6]SCHAFFRIN B, FELUS Y A. Multivariate Total Least-squares Adjustment for Empirical Affine Transformations[C]∥VI Hotine-Marussi Symposium on Theoretical and Computational Geodesy: Challenge and Role of Modern Geodesy. Berlin: Springer, 2008, 132: 238-242.

[7]SCHAFFRIN B, FELUS Y A. On the Multivariate Total Least-squares Approach to Empirical Coordinate Transformations. Three Algorithms[J]. Journal of Geodesy, 2008, 82(6): 373-383.

[8]SCHAFFRIN B, WIESER A. Empirical Affine Reference Frame Transformations by Weighted Multivariate TLS Adjustment[C]∥Geodetic Reference Frames. Berlin: Springer, 2009, 134: 213-218.

[9]FELUS Y A, BURTCH R C. On Symmetrical Three-dimensional Datum Conversion[J]. GPS Solutions, 2009, 13(1): 65-74.

[10]FANG X. Weighted Total Least Squares Solutions for Applications in Geodesy[D]. Hanover: Leibniz University of Hanover, 2011.

[11]孫大雙, 張友陽, 黃令勇, 等. 多元總體最小二乘在大旋轉(zhuǎn)角三維坐標(biāo)轉(zhuǎn)換中的應(yīng)用[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2014, 31(5): 481-485.

SUN Dashuang, ZHANG Youyang, HUANG Lingyong, et al. Application of Multivariate Total Least Squares Method in Three-dimension Coordinate Conversion with Large Rotation Angle[J]. Journal of Geomatics Science and Technology, 2014, 31(5): 481-485.

[12]黃令勇, 呂志平, 任雅奇, 等. 多元總體最小二乘在三維坐標(biāo)轉(zhuǎn)換中的應(yīng)用[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2014, 39(7): 793-798.

HUANG Lingyong, Lü Zhiping, REN Yaqi, et al. Application of Multivariate Total Least Square in Three-dimensional Coordinate Transformation[J]. Geomatics and Information Science of Wuhan University, 2014, 39(7): 793-798.

[13]錢承軍, 陳義. 多變量總體最小二乘在點(diǎn)云拼接中的應(yīng)用[J]. 測(cè)繪與空間地理信息, 2015, 38(1): 67-69, 76.

QIAN Chengjun, CHEN Yi. Application of Multivariable Total Least Squares in the Registration of Point Clouds[J]. Geomatics & Spatial Information Technology, 2015, 38(1): 67-69, 76.

[14]王樂洋, 許才軍, 魯鐵定. 邊長(zhǎng)變化反演應(yīng)變參數(shù)的總體最小二乘方法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2010, 35(2): 181-184.

WANG Leyang, XU Caijun, LU Tieding. Inversion of Strain Parameter Using Distance Changes Based on Total Least Squares[J]. Geomatics and Information Science of Wuhan University, 2010, 35(2): 181-184.

[15]XU Caijun, WANG Leyang, WEN Yangmao, et al. Strain Rates in the Sichuan-Yunnan Region Based upon the Total Least Squares Heterogeneous Strain Model from GPS Data

[J]. Terrestrial Atmospheric and Oceanic Sciences, 2011, 22(2): 133-147.

[16]王樂洋, 于冬冬, 呂開云. 復(fù)數(shù)域總體最小二乘平差[J]. 測(cè)繪學(xué)報(bào), 2015, 44(8): 866-876. DOI: 10.11947/j.AGCS.2015.20130701.

WANG Leyang, YU Dongdong, Lü Kaiyun. Complex Total Least Squares Adjustment[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(8): 866-876. DOI: 10.11947/j.AGCS.2015.20130701.

[17]MAHBOUB V. On Weighted Total Least-squares for Geodetic Transformations[J]. Journal of Geodesy, 2012, 86(5): 359-367.

[18]XU Peiliang,LIU Jingnan,SHI Chuang.Total Least Squares Adjustment in Partial Errors-in-variables Models: Algorithm and Statistical Analysis[J]. Journal of Geodesy, 2012, 86(8): 661-675.

[19]JAZAERI S, AMIRI-SIMKOOEI A R, SHARIFI M A. Iterative Algorithm for Weighted Total Least Squares Adjustment[J]. Survey Review, 2014, 46(334): 19-27.

[20]BOYD S, VANDENBERGHE L. Convex Optimization[M]. Cambridge: Cambridge University Press, 2004.

[21]王樂洋, 魯鐵定. 總體最小二乘平差法的誤差傳播定律[J]. 大地測(cè)量與地球動(dòng)力學(xué), 2014, 34(2): 55-59.

WANG Leyang, LU Tieding. Propagation Law of Errors in Total Least Squares Adjustment[J]. Journal of Geodesy and Geodynamics, 2014, 34(2): 55-59.

[22]ZHOU Yongjun, KOU Xinjian, ZHU Jianjun, et al. A Newton Algorithm for Weighted Total Least-squares Solution to a Specific Errors-in-variables Model with Correlated Measurements[J]. Studia Geophysica et Geodaetica, 2014, 58(3): 349-375.

[23]王樂洋, 許才軍, 魯鐵定. 病態(tài)加權(quán)總體最小二乘平差的嶺估計(jì)解法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2010, 35(11): 1346-1350.

WANG Leyang, XU Caijun, LU Tieding. Ridge Estimation Method in Ill-posed Weighted Total Least Squares Adjustment[J]. Geomatics and Information Science of Wuhan University, 2010, 35(11): 1346-1350.

(責(zé)任編輯：叢樹平)

修回日期： 2015-10-12

First author： WANG Leyang (1983—), male, PhD, associate professor, majors in geodetic inversion and geodetic data processing.

E-mail： wleyang@163.com

A Newton Algorithm for Multivariate Total Least Squares Problems

WANG Leyang1,2,3,ZHAO Yingwen1,CHEN Xiaoyong1,2,3,ZANG Deyan1,2,3

1. Faculty of Geomatics, East China University of Technology, Nanchang 330013, China; 2. Key Laboratory of Watershed Ecology and Geographical Environment Monitoring, NASG，Nanchang 330013, China; 3. Jiangxi Province Key Lab for Digital Land, Nanchang 330013, China

Abstract：In order to improve calculation efficiency of parameter estimation, an algorithm for multivariate weighted total least squares adjustment based on Newton method is derived. The relationship between the solution of this algorithm and that of multivariate weighted total least squares adjustment based on Lagrange multipliers method is analyzed. According to propagation of cofactor, 16 computational formulae of cofactor matrices of multivariate total least squares adjustment are also listed. The new algorithm could solve adjustment problems containing correlation between observation matrix and coefficient matrix. And it can also deal with their stochastic elements and deterministic elements with only one cofactor matrix. The results illustrate that the Newton algorithm for multivariate total least squares problems could be practiced and have higher convergence rate.

Key words：multivariate total least squares; Newton method; propagation of cofactor; affine

第一作者簡(jiǎn)介：王樂洋(1983—)，男，博士，副教授，研究方向?yàn)榇蟮販y(cè)量反演及大地測(cè)量數(shù)據(jù)處理。

收稿日期：2015-05-11

基金項(xiàng)目：國(guó)家自然科學(xué)基金(41204003;41161069;41304020;41464001)；測(cè)繪地理信息公益性行業(yè)科研專項(xiàng)(201512026)；江西省自然科學(xué)基金(20151BAB203042)；江西省教育廳科技項(xiàng)目(GJJ150595;KJLD12077;KJLD14049)；流域生態(tài)與地理環(huán)境監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室開放基金(WE2015005)；東華理工大學(xué)博士科研啟動(dòng)金(DHBK201113)；江西省研究生創(chuàng)新專項(xiàng)資金(YC2015-S266;YC2015-S267)；東華理工大學(xué)研究生創(chuàng)新專項(xiàng)資金(DHYC-2015005)；對(duì)地觀測(cè)技術(shù)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室開放基金(K201502)

中圖分類號(hào)：P207

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001-1595(2016)04-0411-07

引文格式：王樂洋，趙英文，陳曉勇,等.多元總體最小二乘問題的牛頓解法[J].測(cè)繪學(xué)報(bào)，2016,45(4)：411-417,424. DOI:10.11947/j.AGCS.2016.20150246.

WANG Leyang,ZHAO Yingwen,CHEN Xiaoyong,et al.A Newton Algorithm for Multivariate Total Least Squares Problems[J]. Acta Geodaetica et Cartographica Sinica,2016,45(4):411-417,424. DOI:10.11947/j.AGCS.2016.20150246.