信號(hào)檢測(cè)與估計(jì)課程教學(xué)討論之最小二乘估計(jì)問題

劉兆霆　吳端坡

摘 要 詳細(xì)介紹最小二乘方法的優(yōu)缺點(diǎn)，并提出一種魯棒性信號(hào)參數(shù)估計(jì)方法，這有助于學(xué)生對(duì)最小二乘方法的更全面理解，同時(shí)拓展學(xué)生對(duì)信號(hào)參數(shù)估計(jì)方法學(xué)習(xí)的視野。

關(guān)鍵詞 信號(hào)檢測(cè)與估計(jì)；最小二乘；魯棒性

中圖分類號(hào)：G642.3 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1671-489X（2017）04-0115-03

Abstract This paper intends to describe the merits and demerits of least squares method in detail， and to put forward a robust signal parameter estimation method， which hopefully helps students with a

more thorough understanding on least squares method and broa-dening their view on signal parameter estimation study.

Key words signal detection and estimation； least squares； robustness

1 前言

信號(hào)的檢測(cè)與估計(jì)[1-3]是信號(hào)處理的兩個(gè)最基本的任務(wù)。以通信信號(hào)處理為例，在接收端對(duì)收到的受干擾的信號(hào)利用信號(hào)概率和噪聲功率等信息按照一定的準(zhǔn)則判定信號(hào)的存在，稱為信號(hào)檢測(cè)；在接收端利用收到的受干擾的發(fā)送信號(hào)序列盡可能精確地估計(jì)該發(fā)送信號(hào)的某些參數(shù)值（如振幅、頻率、相位、時(shí)延和波形等），稱為信號(hào)估計(jì)或參數(shù)估計(jì)。

繼本科階段的隨機(jī)信號(hào)分析后，研究生階段開設(shè)的另一門隨機(jī)信號(hào)統(tǒng)計(jì)處理的基礎(chǔ)課程為信號(hào)檢測(cè)與估計(jì)，該課程更加系統(tǒng)地介紹了噪聲背景中信號(hào)檢測(cè)與參數(shù)估計(jì)的理論和方法。該課程有關(guān)信號(hào)參數(shù)估計(jì)的內(nèi)容，主要介紹了Bayes[4]、最大似然、線性最小均方誤差、最小二乘等方法。在這些方法中，最簡(jiǎn)單且最普遍采用的方法是最小二乘估計(jì)方法，它在經(jīng)濟(jì)、統(tǒng)計(jì)、工程等領(lǐng)域有著廣泛應(yīng)用。然而，最小二乘估計(jì)方法有時(shí)并非是一種最優(yōu)的估計(jì)方法。另外，最小二乘也是一種非魯棒性估計(jì)方法。最小二乘法的這些特點(diǎn)在信號(hào)檢測(cè)與估計(jì)課程并未提及，使得學(xué)生并未全面和深入掌握最小二乘估計(jì)的理論和方法。從幾屆畢業(yè)論文中也可以發(fā)現(xiàn)，許多學(xué)生對(duì)最小二乘法存在認(rèn)識(shí)上的偏差。本文旨在探討這方面的問題，并提出一種魯棒最小二乘估計(jì)方法。

2 最小二乘法

基于最小二乘的信號(hào)估計(jì)方法，是通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配，利用它可以簡(jiǎn)便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。以一個(gè)線性回歸模型為例，說明最小二乘的信號(hào)估計(jì)的基本理論和方法。假設(shè)該線性回歸模型具有如下形式：

其中，ui=[ui，1，ui，2，...，ui，M]T是模型或系統(tǒng)的輸入矢量，yi是系統(tǒng)輸出，vi是信號(hào)的噪聲或測(cè)量誤差，w0=[w0，1，w0，2，...，w0，M]T是信號(hào)的待估計(jì)參數(shù)。最小二乘方法利用一段時(shí)間獲得的數(shù)據(jù){yi，ui，i=1，2，...，n}構(gòu)造下列代價(jià)函數(shù)：

并通過來獲得w0的估計(jì)。

3 最小二乘方法與最大似然法的關(guān)系

針對(duì)最小二乘法，學(xué)生自然會(huì)產(chǎn)生一個(gè)疑問：為什么最小二乘法對(duì)誤差的估計(jì)要用平方，而不是絕對(duì)值或是四次方？要回答學(xué)生這個(gè)問題，需要讓學(xué)生明白最小二乘法與最大似然法的關(guān)系。簡(jiǎn)而言之，這個(gè)關(guān)系是：在高斯測(cè)量噪聲的前提下，取二次方的時(shí)候，對(duì)參數(shù)的估計(jì)是當(dāng)前樣本下的最大似然估計(jì)，因此，估計(jì)是最優(yōu)的，且估計(jì)值是無偏的。可以給出以下證明：

假設(shè)測(cè)量噪聲是高斯的，均值為0，方差為σ2，即vi～N

（0，σ2）。這時(shí)，輸出yi是也滿足高斯分布，且均值為，

方差為σ2，即yi～N（，σ2），那么可以建立對(duì)數(shù)似然函數(shù)：

最大似然函數(shù)的方法通過解決對(duì)數(shù)似然函數(shù)L（w）的最大化問題獲得w0的估計(jì)，即。根據(jù)似然函數(shù)L（w）的定義，可以獲得：

由此可以看出，最小二乘法與最大似然法是等價(jià)的。

但是需要讓學(xué)生明白的是，并非最小二乘估計(jì)與最大似然估計(jì)始終是等價(jià)的，如果是這樣，那就沒有必要給這兩種等價(jià)的方法賦予不同的名稱了。實(shí)際上，最小二乘法與最大似然法等價(jià)是有前提條件的，這個(gè)前提就是測(cè)量噪聲應(yīng)為高斯分布；否則，最小二乘法與最大似然法不等價(jià)，即等式（4）不成立，此時(shí)的最小二乘估計(jì)也不是最優(yōu)的。

4 最小二乘方法的非魯棒性

最小二乘法代價(jià)函數(shù)采用的是誤差的平方，這使得它對(duì)某些異常值非常敏感，是一種非魯棒性的估計(jì)方法。具體來說，對(duì)于脈沖噪聲環(huán)境下，在獲得的測(cè)量數(shù)據(jù){yi，ui，i=1，

2，...，n}中，某些值yj可能會(huì)大大偏離正常值，這將導(dǎo)致最小二乘估計(jì)出現(xiàn)極大的偏差和不準(zhǔn)確。那么，有沒有辦法解決最小二乘法的非魯棒性問題呢？答案是肯定的，下面給出一種基于稀疏概念的魯棒最小二乘估計(jì)方法。

在實(shí)際情況下，對(duì)于一個(gè)時(shí)間段的測(cè)量，偏離正常值數(shù)據(jù)的出現(xiàn)具有偶然性，根據(jù)此特點(diǎn)，可以建立以下的信號(hào)模型：

y=Uw0+v+s （5）

其中，y=[y1，y2，...，yn]T是由1～n時(shí)刻的輸出測(cè)量構(gòu)成的n×1維矢量，U=[u1，u2，...，un]T是由1～n時(shí)刻的輸入矢量構(gòu)成的矩陣，v=[v1，v2，...，vn]T是由1～n時(shí)刻對(duì)應(yīng)的測(cè)量噪聲；而s表示的是異常值矢量，若在某時(shí)刻j （1≤j≤n）出現(xiàn)異常值，那么矢量s的第j個(gè)元素的絕對(duì)值非常大，否則為零。由于異常值數(shù)據(jù)的出現(xiàn)是偶然性的，因此，矢量s的元素只有少部分非零，其余大部分為零，這也就是說s是一個(gè)稀疏矢量。根據(jù)信號(hào)模型（5），可以考慮下列最小二乘問題：

其中γ為大于零的參數(shù)，可以根據(jù)一些先驗(yàn)信息來確定它的值。上面的最小化問題實(shí)際上是一種關(guān)于正則化稀疏模型的優(yōu)化問題[5]，它一般可以通過循環(huán)迭代的方法來獲得解決。具體地，依次解決下列兩個(gè)最小化子問題：

其中第一個(gè)最小化子問題（7-1）等價(jià)于：

并且

而第二個(gè)子問題（7-2）即為普通的最小二乘問題，可采用類似（4）的方法（如梯度下降）來獲得估計(jì)值。

下面通過仿真實(shí)驗(yàn)對(duì)比普通最小二乘法和魯棒最小二乘法。假設(shè)待估計(jì)的參數(shù)矢量為w0=[0.6，0.8，-0.52]T，測(cè)量噪聲為vi～N（0，0.3），輸入矢量ui也為高斯分布的隨機(jī)矢量，協(xié)方差矩陣為單位陣。獲得100對(duì)測(cè)量數(shù)據(jù)（n=100），并假設(shè)在第10、30、60、90個(gè)測(cè)量時(shí)刻，數(shù)據(jù)出現(xiàn)異常值（令其等于80），等價(jià)于s是一個(gè)100×1的矢量，并且其中第10、30、60、90個(gè)元素等于80，而其余元素為零，另外系數(shù)γ選擇1.2。采用梯度下降的方法來解決最小二乘估計(jì)問題，并且步長設(shè)置為0.0001。

圖1中，左邊子圖比較了在出現(xiàn)異常測(cè)量值和未出現(xiàn)異常測(cè)量值兩種情況下，利用最小二乘估計(jì)方法得到的估計(jì)誤差對(duì)比；右邊子圖是在出現(xiàn)異常測(cè)量值的情況下，分布利用最小二乘估計(jì)方法與魯棒最小二乘估計(jì)方法得到的估計(jì)誤差的對(duì)比。從這一實(shí)驗(yàn)結(jié)果可以看出，當(dāng)測(cè)量數(shù)據(jù)未出現(xiàn)異常測(cè)量值時(shí)，最小二乘法是可以獲得較好的估計(jì)結(jié)果的，估計(jì)值有較低的估計(jì)誤差；但是，當(dāng)測(cè)量數(shù)據(jù)出現(xiàn)異常測(cè)量值時(shí)，最小二乘法的估計(jì)性能非常不理想，相比之下，當(dāng)測(cè)量數(shù)據(jù)出現(xiàn)異常測(cè)量值時(shí)，魯棒最小二乘卻能夠獲得很好的估計(jì)性能。

5 小結(jié)

最小二乘估計(jì)方法是一種最簡(jiǎn)單的參數(shù)估計(jì)方法，有著廣泛的應(yīng)用，但其許多本質(zhì)問題在研究生或本科生的信號(hào)檢測(cè)與估計(jì)課程中并未提及，使得許多學(xué)生不能全面了解該方法。本文對(duì)該課程中的最小二乘法的內(nèi)容進(jìn)行補(bǔ)充和拓展，有利于學(xué)生更加全面和深入地理解最小二乘法，同時(shí)也能激發(fā)他們學(xué)習(xí)信號(hào)估計(jì)理論和方法的興趣。

參考文獻(xiàn)

[1]向敬成，王意青，毛自燦，等.信號(hào)檢測(cè)與估計(jì)[M].北京：電子工業(yè)出版社，1994.

[2]趙樹杰，趙建勛.信號(hào)檢測(cè)與估計(jì)理論[M].北京：清華大學(xué)出版社，2006.

[3]景小榮，李強(qiáng)，陳前斌，等.基于Matlab的《信號(hào)檢測(cè)與估計(jì)》課程教學(xué)改革[J].實(shí)驗(yàn)科學(xué)與技術(shù)，2012，10（2）：

55-57.

[4]王雪飛，王昌盛，尚朝軒，等.Bayes檢測(cè)與估計(jì)的教學(xué)探索[J].電氣電子教學(xué)學(xué)報(bào)，2016，38（2）：109-111.

[5]劉建偉，崔立鵬，劉澤宇，等.正則化稀疏模型[J].計(jì)算機(jī)學(xué)報(bào)，2015（7）：1307-1325.