基于穩(wěn)健估計不同權(quán)函數(shù)的氧化鋁光譜值對比

戴佳樂，汪金花

(華北理工大學(xué) 礦業(yè)工程學(xué)院，河北 唐山 063210)

引言

高光譜檢測具有無損、快速、環(huán)保的特點(diǎn)，是物質(zhì)定性檢測的一種重要手段。高光譜檢測時，目標(biāo)光譜反射曲線是屬性識別的特性參量之一。

光譜數(shù)據(jù)的線性回歸分析可以反映光譜反射率與化合物質(zhì)量之間的線性關(guān)系，擬合方程的準(zhǔn)確性會直接影響化合物定性與定量的數(shù)據(jù)分析效果。在光譜數(shù)據(jù)采集的過程中，由于測量角度、光源、距離等干擾因素，導(dǎo)致測得的光譜反射率會存在粗差，影響擬合方程。一般在數(shù)據(jù)不存在粗差的情況下使用多最小二乘進(jìn)行數(shù)據(jù)處理。由于測量中多數(shù)存在粗差的影響，因此引入了穩(wěn)健估計對粗差進(jìn)行降權(quán)處理，最后得到擬合方程。穩(wěn)健估計中利用多種權(quán)函數(shù)進(jìn)行降權(quán)處理，以此改善數(shù)據(jù)處理結(jié)果。

近幾年，穩(wěn)健估計多應(yīng)用于沉降監(jiān)測、變形監(jiān)測以及高程擬合中，多位學(xué)者發(fā)現(xiàn)在處理變形監(jiān)測數(shù)據(jù)時，穩(wěn)健估計的抗差能力優(yōu)于最小二乘[1]；程開端利用穩(wěn)健估計結(jié)合總體最小二乘的方法，對地鐵沉降監(jiān)測進(jìn)行多項式曲線擬合，并對實測數(shù)據(jù)進(jìn)行預(yù)測，結(jié)果顯示，穩(wěn)健估計結(jié)合總體最小二乘擬合法能較好地擬合監(jiān)測數(shù)據(jù)，其預(yù)測結(jié)果比最小二乘擬合法絕對誤差和相對誤差小[2]。程帥[3]等人采用穩(wěn)健估計理論分析風(fēng)電塔筒垂直度，結(jié)合最小二乘法擬合塔筒截面測量值的圓心及半徑，通過Huber迭代權(quán)函數(shù)，逐步消除測量值序列存在的粗差、偶然誤差等異常測點(diǎn)的影響，結(jié)果表明，穩(wěn)健最小二乘法擬合風(fēng)電塔筒垂直度具有較強(qiáng)的抗差能力，可有效避免粗差、偶然誤差等異常測量值的影響。但是，在光譜數(shù)據(jù)處理中引入穩(wěn)健估計的研究較少，董元[4]等采用穩(wěn)健估計和最小二乘回歸分析的方法，分別對水泥的膠砂試塊光譜值進(jìn)行抗差能力分析，結(jié)果表明，在含有噪聲時，穩(wěn)健估計的抗差效果較好；劉暑明[5]等對硫酸鈣數(shù)據(jù)進(jìn)行處理，選取5個吸收峰的光譜值與質(zhì)量進(jìn)行回歸分析，在含有粗差的情況下穩(wěn)健估計因為抗差能力較強(qiáng)建立的預(yù)測方程更為可靠。從上述研究發(fā)現(xiàn)，穩(wěn)健估計的抗差能力優(yōu)于最小二乘，但是不同權(quán)函數(shù)的選擇尤為重要，因此本研究對比不同權(quán)函數(shù)的抗差效果。

該研究對氧化鋁質(zhì)量和光譜反射率建立擬合方程，選取10種質(zhì)量的氧化鋁，篩選相關(guān)性大的波長，采用多元線性回歸和不同權(quán)函數(shù)下的穩(wěn)健估計構(gòu)建回歸模型并對比抗差能力。

1實驗方案

1.1 材料準(zhǔn)備

實驗原料是氧化鋁粉末，氧化鋁作為重要的催化劑物質(zhì)，在大量的礦物實驗中需要使用其作為催化劑，因此氧化鋁的特性研究顯得尤為重要。

氧化鋁光譜數(shù)據(jù)采用美國ASD公司生產(chǎn)的ASD Field Spec4光譜儀進(jìn)行測量，該光譜儀光譜波段測量范圍為350～2 500 nm，光譜采樣間隔在350～1 000 nm波段范圍時為1.4 nm，1 000～2 500 nm波段范圍時為2 nm。

表1 氧化鋁的性質(zhì)

1.2 數(shù)據(jù)采集

首先將氧化鋁粉末稱重，選取不同質(zhì)量的氧化鋁測量其光譜曲線，分別選取3 g、6 g、9 g、12 g、15 g、18 g、21 g、24 g、27 g、30 g共10份不同質(zhì)量的10組數(shù)據(jù)進(jìn)行采集。將氧化鋁粉末樣品放置于光譜反射率極低的黑色實驗盒中，為減少樣本表面凹凸不平產(chǎn)生的散射光對測量精度的影響，將粉末壓平。首先，需要將ASD光譜儀提前開啟進(jìn)行預(yù)熱準(zhǔn)備，時間為30 min左右，在測量之前進(jìn)行白板校正。實驗時，需要在黑暗的環(huán)境下進(jìn)行，并且使用探照燈模擬日照環(huán)境。礦物測量探頭應(yīng)與被測物體所在水平面的法線的夾角保持在±10°左右，準(zhǔn)備工作結(jié)束后，依次測量每個氧化鋁粉末樣本的光譜，各獲取5條樣本光譜曲線，以消除測量過程中的不穩(wěn)定性。利用View Spec Pro光譜處理軟件查看各樣本光譜并剔除異常光譜曲線，并對各樣本計算得到光譜反射率平均值，同時將其作為原始光譜反射率值。然后對其進(jìn)行斷點(diǎn)修復(fù)、平滑、求均值等預(yù)處理工作。最后進(jìn)行光譜分析，在ENVI軟件中進(jìn)行去包絡(luò)線得到實驗數(shù)據(jù)。

1.3 數(shù)據(jù)預(yù)處理

將使用光譜儀采集的數(shù)據(jù)進(jìn)行光譜曲線數(shù)據(jù)預(yù)處理，再進(jìn)行去包絡(luò)線處理，得到如圖1所示去包絡(luò)線的光譜曲線。從下圖中看的，不同質(zhì)量的氧化鋁光譜曲線吸收位置基本一致，隨著質(zhì)量的增加反射率值也呈現(xiàn)規(guī)律的變化趨勢。

圖1 氧化鋁粉末去包絡(luò)線處理

2原理分析

1.1 相關(guān)性分析

(1)

其中，COV(X,Y)為X與Y的協(xié)方差，Var[X]為X的方差，Var[Y]為Y的方差。X為自變量本文是不同波段的反射率值，Y為因變量是質(zhì)量

相關(guān)性分析法是研究2個或2個以上處于同等地位的隨機(jī)變量間的相關(guān)關(guān)系的統(tǒng)計分析方法。相關(guān)關(guān)系是一種非確定性的關(guān)系，相關(guān)系數(shù)是研究變量之間線性相關(guān)程度的量。經(jīng)過相關(guān)性分析，選擇敏感波段進(jìn)行處理。

2.2 最小二乘原理

(2)

式中:V是觀測值的改正數(shù)，X是未知參數(shù)的近似值，B為觀測值構(gòu)成的系數(shù)矩陣，L是近似值和觀測值之差。解得參數(shù)X如下：

X=(BTPB)-1BTPL

(3)

2.3 穩(wěn)健估計的原理

穩(wěn)健估計有多種，分為M估計、R估計和L估計，該研究采用了穩(wěn)健估計法中的M估計的選權(quán)迭代法。

(4)

解得參數(shù)X如下：

(5)

2.4 穩(wěn)健估計權(quán)函數(shù)公式

實驗中采用了Huber、Fair、Cauchy和Welsch等常用的穩(wěn)健估計方法的權(quán)函數(shù)進(jìn)行對比分析，在上述公式中，w(u)代表權(quán)函數(shù)，c為權(quán)函數(shù)權(quán)重閾值。穩(wěn)健估計達(dá)到目的的方法是剔除粗差或者達(dá)到減弱粗差的效果，想要達(dá)到這個效果與權(quán)重函數(shù)的選取及閾值的改變有著密切的聯(lián)系，權(quán)函數(shù)不同閾值的改變都會出現(xiàn)不同的穩(wěn)健估計效果。

(1) Huber函數(shù)

(6)

(2) Fair函數(shù)

(7)

(3) Andrews

(8)

(4)Welsch

(9)

(5)Cauchy

(10)

圖1為計算過程流程圖，最小二乘與穩(wěn)健估計的區(qū)別主要在于權(quán)函數(shù)上，穩(wěn)健估計多了使用權(quán)函數(shù)降權(quán)處理，因此有效減少粗差帶來的影響，從而有效建立回歸方程。穩(wěn)健估計中用多種權(quán)函數(shù)進(jìn)行降權(quán)處理，降權(quán)的效果不同，抗差能力也有所不同。

圖2 流程圖

3實驗結(jié)果

3.1 相關(guān)性分析

圖3為經(jīng)過相關(guān)性分析從700多個波段中選擇5個敏感波段作為自變量，與氧化鋁粉末的質(zhì)量進(jìn)行方程擬合。

圖3 敏感波段選取

用ASD4測出光譜曲線，并進(jìn)行基本的預(yù)處理，去包絡(luò)線。由光譜曲線可以看出幾個較為明顯的吸收峰位置，這幾個波段是直接影響光譜曲線走勢的特定位置。首先對這幾個吸收峰位置進(jìn)行分析，計算其特征參量，包含對稱性參數(shù)D、SAI值、寬度以及深度，分析4個吸收峰的特征參量。

表2 光譜曲線特性

經(jīng)過對幾個吸收峰位置進(jìn)行相關(guān)性分析，從700個波段中篩選出較為敏感的5個波段，分別是531、1 802、1 395、1 940和2 221波段作為自變量，將質(zhì)量作為因變量進(jìn)行多元線性回歸分析以及穩(wěn)健估計，建立回歸方程。表3所示為篩選數(shù)據(jù)。

表3 篩選數(shù)據(jù)

對表3中數(shù)據(jù)進(jìn)行相關(guān)性分析，得出表4中每個變量對與質(zhì)量之間的相關(guān)性。由計算的相關(guān)系數(shù)可以知道，X1呈負(fù)相關(guān)，其它都是正相關(guān)，其中X3,、X4的相關(guān)性最大，但是與其它的相比相差不大，因此都用于建立回歸方程進(jìn)行計算。

表4 因變量相關(guān)性

3.2 殘差剔除

圖4 數(shù)據(jù)殘差圖

進(jìn)行多元回歸分析，首先在Matlab中繪制殘差圖，由圖4可知，數(shù)據(jù)中出現(xiàn)了2組粗差，因此將2組粗差進(jìn)行剔除。用于多元線性回歸以及穩(wěn)健估計數(shù)據(jù)計算。

3.3 數(shù)據(jù)結(jié)果對比分析

表5所示為不同權(quán)函數(shù)預(yù)測值及真值對比。

表5 不同權(quán)函數(shù)預(yù)測值及真值對比

用3組數(shù)據(jù)作為驗證數(shù)據(jù)，由表5可以看出，F(xiàn)air函數(shù)和Logistic函數(shù)的預(yù)測值較高，fair、logistic函數(shù)與真值相差在0.5之內(nèi)，最小二乘的預(yù)測值與真值也較為接近相差在1之內(nèi)；其中其它的預(yù)測數(shù)據(jù)值跟真值之間的差距較大，其中Talwar、Welsch、Bisquare函數(shù)與真值相差在1.5左右。結(jié)合預(yù)測值對比分析可知穩(wěn)健估計的預(yù)測準(zhǔn)確效果高于最小二乘。

表6 不同權(quán)函數(shù)中誤差對比

從表6可以看出不同權(quán)函數(shù)的中誤差是有區(qū)別的，但是中誤差的差別不是很明顯。其中最小二乘的中誤差是0.78，穩(wěn)健估計的Fair、Logistics函數(shù)是0.721和0.711，效果是優(yōu)與最小二乘的結(jié)果，與預(yù)測結(jié)果一致，穩(wěn)健估計的這兩種權(quán)函數(shù)在數(shù)據(jù)抗差能力明顯強(qiáng)于最小二乘。

3.4 方程擬合效果分析

將原始數(shù)據(jù)以及穩(wěn)健估計和最小二乘建立擬合方程圖，選擇效果較好的Fair函數(shù)和Logistics函數(shù)，可以看出穩(wěn)健估計的折線與最小二乘的幾乎重合，這是由于存在的粗差過小無法體現(xiàn)出穩(wěn)健估計的優(yōu)勢，但是與原始數(shù)據(jù)相比存在一些波動。圖5所示為方程擬合圖，由圖5可知，不同權(quán)函數(shù)在方程擬合圖上，與最小二乘的效果接近，在圖像的表示上很難區(qū)分，只存在細(xì)微的差距，從計算的中誤差和真值可以判斷，穩(wěn)健估計部分權(quán)函數(shù)的擬合效果優(yōu)于最小二乘。

圖5 方程擬合圖

4結(jié)論

(1)本文通過實驗及對比分析發(fā)現(xiàn)，當(dāng)光譜數(shù)據(jù)存在一定粗差的情況中穩(wěn)健估計的中誤差小于最小二乘，并且預(yù)測值更接近真值，其中穩(wěn)健估計的Fair、Logistics兩種權(quán)函數(shù)的數(shù)據(jù)處理能力更優(yōu)。

(2)穩(wěn)健估計能減弱粗差對高光譜數(shù)據(jù)的影響，同時可以反演出氧化鋁粉末的質(zhì)量。