遙感模型評估中顧及樣本數(shù)量的統(tǒng)計指標：基于水色遙感的比較研究*

孫 璐， 朱渭寧， 蔣錦剛

(浙江大學海洋學院，浙江 杭州 310058)

遙感模型評估中顧及樣本數(shù)量的統(tǒng)計指標：基于水色遙感的比較研究*

孫 璐， 朱渭寧**， 蔣錦剛

(浙江大學海洋學院，浙江 杭州 310058)

為了推薦在遙感模型評估中引入不確定性的評價指標，即測量學界近年來提出的不確定度A類評定(UA)。本文通過評估一系列水色遙感反演模型在各類數(shù)據(jù)集的表現(xiàn)，用計算機模擬了誤差的各種近似分布，研究了樣本個數(shù)n和統(tǒng)計指標RMSE、MAE與UA之間的關系。算法測試和計算機模擬的結果都表明，在樣本個數(shù)少的情況下，遙感模型的不確定性(可信賴度)評價用UA比RMSE、MAE更適合，因為樣本個數(shù)越多，建立的模型就越可靠(不確定度越小)。此外，本文至少使用50個樣本驗證遙感模型，可使精度評價更加準確。

不確定度；遙感驗證；統(tǒng)計學；水色

定量遙感中各種分類、校正、反演模型和算法通常都需要實測的真實值加以驗證，從而評估這些算法模型誤差、準確度、精度、有效性、健壯性等特征，而這些特征往往用一些統(tǒng)計參量加以表征：如平均絕對誤差(MAE)、標準偏差(SD)、均方根誤差(RMSE)，偏差(bias)等[1-2]。在遙感學界，這些統(tǒng)計參量往往被直接拿來使用而缺乏更深入的思考，這其中有兩個原因：一是遙感研究者們從學校課本學習到的統(tǒng)計知識中，這些統(tǒng)計參數(shù)就被用于進行誤差評估；二是他們往往引用參照前人文獻里的模型評價指標，從而造成這些指標被繼承使用。

但是，如果檢索測量科學乃至地球科學、環(huán)境科學的最新相關文章，就會發(fā)現(xiàn)至今對這些模型評價指標，甚至整個誤差評價模型仍然存在爭論，例如最常用的兩個指標：RMSE和MAE，究竟哪個是最合適的指標到目前為止還沒有定論。美國特拉維爾大學的Willmott教授等人從1980年代初就關注地學、地理信息科學和環(huán)境科學中模型的評估問題[3-5]，其研究[4]認為， RMSE的大小由三個因素所控制：(1)MAE，(2)誤差的分布，(3)樣本的數(shù)量n。并舉例說明一些模型評估結果的MAE相同，但是由于誤差分布不同，造成其對應的RMSE不同，從而認為MAE比RMSE更明確地指示了模型的誤差狀況。如果Willmott等人的研究結果屬實，那么這意味著遙感領域中大量的使用RMSE的模型評估結果可能并不準確。

針對Willmott的觀點，Chai和Draxler[6]進行了反駁，討論了在誤差是正態(tài)分布的情況下，當樣本數(shù)量達到一定大小時，使用RMSE更能指示模型誤差的正確大小。他們認為各種模型評估的統(tǒng)計參數(shù)都有一定的局限性，建議在評估報告中應列出各類參數(shù)，從而提供對模型結果的全面評估。本文基本贊同Chai和Draxle的觀點。值得注意的是，一些遙感建模及評估的文獻中也同時報告了MAE和RMSE。

除了RMSE、MAE等統(tǒng)計參數(shù)，樣本數(shù)量n也是一個在測量、誤差統(tǒng)計及模型評估上十分重要的參數(shù)，但是其在模型評估中的作用與影響常被忽視。以水色遙感為例，很多反演建模過程往往只是報告一下現(xiàn)場采了多少樣，有多少樣用于建模，多少樣用于驗證，最后仍然用MAE或RMSE對模型加以評估和比較，而其中樣本的數(shù)量可能從十幾樣到幾十萬個樣不等。由此產生一個問題：如何評估、比較由不同樣本數(shù)量建立的遙感模型？如果一個由30個樣本建模，15個的樣本驗證的葉綠素反演算法A1的誤差評估為RMSE=0.12，另一個在同樣地點用2 000個樣本建模，1 000個的樣本驗證的算法A2的誤差評估為RMSE=0.24，哪一個算法更優(yōu)？從RMSE看，當然是越小越好，因此A1優(yōu)于A2，但是從樣本數(shù)量上看，也許A2更優(yōu)，因為我們往往更信賴大樣本建立的模型。當然，一個可行的方法是用同樣的數(shù)據(jù)集去比較不同的算法，但是有時受數(shù)據(jù)集和模型特征的限制，這樣的比較并不能實現(xiàn)，例如有些水色算法用的藍綠波段比，而有些則用了紅、紅外波段或者更多的高光譜數(shù)據(jù)。

研究發(fā)現(xiàn)，不確定度評定在遙感領域模型評估有其重要性。1993年國際不確定度工作組制定了《測量不確定度表示指南》[7],(Guide to the Expression of Uncertainty in Measurement,簡稱GUM)，由BIPM, OIML, ISO, IEC及國際理論化學與應用化學聯(lián)合會(IUPAC)、國際理論物理與應用物理聯(lián)合會(IUPAP)、國際臨床化學聯(lián)合會(IFCC)7個國際組織聯(lián)合發(fā)布，隨后由國際實驗室認可合作組織(ILAC)批準，在全世界范圍施行。測量不確定度評定理論己經(jīng)是其他學科公認的測量可靠性評價規(guī)范, 而遙感領域仍然一直沿用傳統(tǒng)的精確度評價理論，很少量的研究用到了不確定度A類評定(UA)這一指標，如Zhu等[8]在水色遙感中用UA評價了不確定性。但是除此之外，前人在遙感驗證分析中幾乎沒有用到這一評價方法[9-10]。

本文將以水色遙感實測數(shù)據(jù)和一些常規(guī)算法為例，分析這些算法的評估參數(shù)(MAE、RMSE、UA)隨樣本數(shù)量變化的情況和特點，從而表明在指示算法的不確定性方面，UA是一個更加顧及樣本數(shù)量的指標。除了實測數(shù)據(jù)之外，本文還用計算機模擬的誤差數(shù)據(jù)集同步分析并驗證了本文的結論。

1 實驗

1.1 數(shù)據(jù)集

本文實驗使用了3個數(shù)據(jù)集：(1)NASA生物光學海洋算法數(shù)據(jù)集(NOMAD)[4]是一個公開的、全球性的、高質量的原位實測生物光學數(shù)據(jù)集(共4 459個樣本)；(2)國際海洋水色協(xié)調小組(IOCCG)的合成數(shù)據(jù)集[11](共500個樣本)；(3)H30k，Hydrolight的模擬數(shù)據(jù)集(共35 934個樣本)。以上3個數(shù)據(jù)集的每個樣本包含了遙感反演所需的固有光學屬性(IOP)和表觀光學屬性(AOP)，如葉綠素濃度、有色溶解有機物(CDOM)吸光度，懸浮顆粒物濃度，在可見光波長范圍內的遙感反射率(Rrs)等。IOCCG數(shù)據(jù)集和H30k數(shù)據(jù)集都是模擬數(shù)據(jù)，但H30k數(shù)據(jù)集的所含濃度范圍(葉綠素0～500 mg/m3, CDOM 0～50 m-1)遠遠大于IOCCG數(shù)據(jù)集所含的濃度范圍(葉綠素: 0.03～30 mg/m3, CDOM: 0.00 025～2.37 m-1)。

對于每一個數(shù)據(jù)集，分別從中隨機選出多個子集，每個子集的樣本個數(shù)從n=10到n=300，樣本個數(shù)的間隔為1，即每次從數(shù)據(jù)集中隨機選取樣本個數(shù)為10、11、12、……、299、300的子集。這一過程重復進行50次以減小隨機采樣帶來的誤差，即共有50個樣本個數(shù)為10的子集，50個樣本個數(shù)為11的子集，以此類推，因此對于一個數(shù)據(jù)集而言，共產生14 550個樣本子集。

另外，針對可能的模型評估的誤差分布，本文用MATLAB軟件生成4種不同分布(正態(tài)分布、指數(shù)分布、對數(shù)正態(tài)分布、均勻分布)類型的誤差數(shù)據(jù)集Err1到Err4，每個數(shù)據(jù)集分別含有1 000個誤差數(shù)據(jù)，針對每個數(shù)據(jù)集的隨機選樣方式與上面水色算法數(shù)據(jù)集的選樣方式相同。

1.2 算法

研究共選取了9個具有代表性的遙感水色反演算法(見表1)，其中5個是葉綠素算法，3個是CDOM算法，1個是懸浮物算法。使用上述9個算法，以及通過隨機選取產生的子集，分別計算水色成分的反演值，然后與數(shù)據(jù)集提供的真實值比較從而獲知每個樣本的反演(模型)誤差。部分算法以算法開發(fā)作者為算法名稱，不同版本的算法，如Carder-1和Carder-2[10-12]是獨立的算法，且分開進行計算、比較。每個算法的詳細情況可參見其各自對應的原始文獻。

表1 研究中評估的檢索算法Table 1 Retrieval algorithms evaluated in this study

1.3 驗證及評價統(tǒng)計

各算法的評估基于以下3種統(tǒng)計指標：均方根誤差(RMSE)，平均絕對誤差(MAE)和UA。公式(1)～(3)分別給出了它們的定義，其中：xmod是算法的反演值，xobs是真實值(觀測值)，n是樣本數(shù)量。

(1)

(2)

(3)

2 結果與討論

2.1 算法結果分析

總體上看，RMSE、MAE和UA與n之間的關系表現(xiàn)為不同的趨勢(見圖1)。樣本個數(shù)n從10增加至300，UA總是呈下降的趨勢，且在n小于50時，UA下降幅度較大。對于9種不同的算法，UA下降的趨勢幾乎是一樣的。RMSE隨n的變化趨勢總體上呈先上升，當n大于50后趨于平緩，但仍有小幅度波動。MAE對于不同的數(shù)據(jù)集和算法，表現(xiàn)出不一致的趨勢。此外，相比于RMSE和MAE，UA的變化趨勢更加平滑，即UA隨樣本個數(shù)n的變化更穩(wěn)定。上述結果表明，只有UA這一統(tǒng)計參數(shù)與本文的統(tǒng)計經(jīng)驗相符，即樣本個數(shù)越多，模型的不確定性越小。相反，在上述案例中RMSE和MAE呈現(xiàn)上升的趨勢表明，在遙感算法驗證中，使用越少的樣本個數(shù)，呈現(xiàn)的結果會更好或更準確。

(實線表示由初始結果(點)移動平均后得到的結果。The solid lines are the moving averages of the original results (dots).)圖1 由9種算法計算得到的RMSE，MAE，UAFig.1 RMSE, MAE, and UA calculated from 9 algorithms

2.2 模擬結果分析

計算機模擬的各類誤差的分布(正態(tài)、指數(shù)、對數(shù)正態(tài)、均勻)如圖2所示，根據(jù)這些分布和同樣的方法(本文2.1、2.3節(jié))得出的評估參數(shù)隨樣本個數(shù)的變化見圖3。

從圖3看出，所有的這4種誤差分布所得到的RMSE/MAE/UA隨樣本個數(shù)n的變化趨勢與圖1水色遙感數(shù)據(jù)得到的結果相似。當誤差樣本個數(shù)較少時，RMSE和MAE隨樣本個數(shù)n的增加呈上升趨勢，UA隨樣本個數(shù)n的增加呈下降趨勢；當誤差樣本個數(shù)達到一定數(shù)量后，RMSE和MAE逐漸平穩(wěn)，接近于其“真值”或“正解”。結果顯示，RMSE隨n增大而增大特征比較明顯，特別是當誤差是指數(shù)和對數(shù)分布的情況(見圖3(b)和3(d))，相比較而言，MAE的類似特征就不是很明顯，當n較小時(<10)，MAE的值略小，隨后就在一定的數(shù)據(jù)上隨機變動。

圖2 4種隨機產生的誤差值分布Fig.2 Four different distribution of randomly generated values

圖3 四種隨機產生的誤差分布下RMSE, MAE, UA的隨樣本個數(shù)n的變化情況Fig.3 RMSE, MAE, UA vary with sampling sizes n for four different distribution of randomly generated values

由此可以看出，無論是RMSE和MAE，當樣本個數(shù)增加時，它們都沒有變小的趨勢，因此用這些常規(guī)的誤差統(tǒng)計評估指標來評估模型的不確定性是不恰當?shù)?，無法體現(xiàn)模型被驗證的樣本越多，其可信賴度就越高(不確定度越小)的特征。Chai和Draxler[6]也曾給出過類似的證明，當誤差樣本個數(shù)很有限時，RMSE和MAE即使作為模型誤差的評價指標，也是不穩(wěn)定的。

3個評估參數(shù)(UA、RMSE和MAE)隨n的增加有不同的變化趨勢(增加或減小)，但是當n增加到一定程度后，3個參數(shù)的變化都趨于平穩(wěn)(基本保持不變)。因此需要確定如何判定評估參數(shù)隨n的變化趨于平穩(wěn)。本文建議(1)設定一個小閾值k，例如k=0.02；(2)對于每兩個相鄰的n，計算其對應參數(shù)的比值t，例如t=RMSEn1/RMSEn+1;(3)如果從某個n1開始，連續(xù)m個t-1的絕對值都小于k，則認為從n1開始參數(shù)的變化趨于平穩(wěn)，n1就是相對于該參數(shù)的所需樣本數(shù)的最小值。當k和m的取值不同時，n1也會相應變化。

3 結語

對于遙感模型來說，其評估結果的不確定度可理解為：模型結果的誤差的不確定的程度，它不僅僅評估了模型的誤差，而且評估了這個誤差的不確定性。而以往的RMSE和MAE僅僅評價了模型的誤差，卻無法衡量其不確定性。可以假想一個特例：某個水色遙感反演模型輸出了一個葉綠素濃度值，其驗證結果和真實值非常接近(MAE或RMSE很小)，從誤差評估的角度來說，這個模型是很準確的，但是顯然其由于其驗證的樣本個數(shù)太少，僅憑一個數(shù)據(jù)是無法斷言模型的可靠性的。只有當用于驗證的樣本數(shù)量越來越多時，模型的不確定性才會越來越小。從前面的結果看，當樣本達到一定數(shù)量時，MAE和RMSE基本都沒有大的變化，這表明此時MAE和RMSE已經(jīng)能基本反映出模型真實的誤差狀況，但是UA仍然會緩慢的減小，這說明即使兩個模型的誤差相同(MAE或RMSE相同)，但是使用驗證樣本個數(shù)多的模型的不確定度要比樣本個數(shù)少的模型的不確定度低。

需要指出的是，UA是評估模型不確定性的指標，我們不能單獨使用UA去評價模型的誤差，因為可能會出現(xiàn)MAE和RMSE較大，但是用于樣本數(shù)量特別多，使得UA很小的狀況。作者建議是，當給出遙感模型評估時，同時報告其誤差(MAE和RMSE)和不確定度(UA)的大小用于比較各個模型的性能，僅僅用誤差的統(tǒng)計指標來評估模型是不夠全面的，會使得驗證樣本個數(shù)少的模型顯得性能較好，誤差較小，而從不確定度的角度來看，小樣本模型的可信賴程度是較低的。在條件允許的情況下，遙感建模和驗證的樣本數(shù)量應該是越多越好。

[1] 黃昌春, 李云梅, 徐良將, 等. 內陸水體葉綠素反演模型普適性及其影響因素研究[J]. 環(huán)境科學, 2013, 34(2): 525-531. Huang C C, Li Y M, Xu L J, et al. A study on the universality and influencing factors of chlorophyll inversion model of inland water[J]. Environmental Science, 2013, 34(2): 525-531.

[2] 王林, 趙冬至, 楊建洪, 等. 大洋河河口海域有色溶解性有機物的光學特性及遙感反演模型[J]. 海洋學報, 2011, 33(1): 45-51. Wang L, Zhao D Z, Yang J H, et, al. Optical properties and remote sensing retrieval model of colored dissolved organic matter in the estuary of the ocean [J]. Acta Oceanologica Sinica, 2011, 33(1): 45-51.

[3] Fox D G. Judging air quality model performance[J]. Bulletin of the American Meteorological Society, 1981, 62(5): 599-609.

[4] Willmott C J, Matsuura K. Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance[J]. Climate Research, 2005, 30(1): 79-82.

[5] Willmott C J, Robeson M S M. Ambiguities inherent in sums-of-squares-based error statistics[J]. Atmospheric Environment, 2009, 43(3): 749-752.

[6] Chai T, Draxler R R. Root mean square error (RMSE) or mean absolute error (MAE)?[J]. Geoscientific Model Development Discussions, 2014, 7(1): 1525-1534.

[7] BIPM I E C，IFCC I，ISO I，et al.Evaluation of Measurement Data—Guide to the Expression of Unicertainty in Measurement[M].[s. 1. ]： GUM, 2008, 100.

[8] Zhu W, Yu Q, Tian Y Q. Uncertainty analysis of remote sensing of colored dissolved organic matter: Evaluations and comparisons for three rivers in North America[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2013, 84(8): 12-22.

[9] Carder K L, Chen F R, Lee Z P, et al. Semianalytic moderate-resolution imaging spectrometer algorithms for chlorophyll a and absorption with bio-optical domains based on nitrate-depletion temperatures[J]. Journal of Geophysical Research, 1999, 104(104): 5403-5421.

[10] Carder K L, Chen F R, Lee Z, et al. MODIS ocean science team algorithm theoretical basis document[J]. ATBD, 2003, 19(7): 7-18.

[11] IOCCG. Remote Sensing of Inherent Optical Properties: Fundamentals, Tests of Algorithms, and Applications[M]. [s.1.]：Reports of the International Ocean Colour Coodirating Group,2006.

[12] Gitelson A A, Schalles J F, Hladik C M. Remote chlorophyll- a retrieval in turbid, productive estuaries: Chesapeake Bay case study[J]. Remote Sensing of Environment, 2007, 109(4): 464-472.

[13] Moses W J, Gitelson A A, Berdnikov S, et al. Satellite estimation of Chlorophyll- Concentration using the red and NIR bands of MERIS—The Azov Sea case study[J]. IEEE Geoscience & Remote Sensing Letters, 2009, 6(4): 845-849.

[14] Moses W J, Gitelson A A, Berdnikov S, et al. Operational MERIS-based NIR-red algorithms for estimating chlorophyll- a concentrations in coastal waters — The Azov Sea case study[J]. Remote Sensing of Environment, 2012, 121(138): 118-124.

[15] O′Reilly J E,Maritorena S, Siegel D A, et al. Ocean ChlorophyllaAlgorithms for Sea WiFS, OC2, and OC4: Version 4[M]. A Companion to the Literature and Culture of the American West, USA: John Wiley & Sons Ltd, 2000: 462-482.

[16] O’Reilly J E, Maritorena S, O’brien M C, et al. SeaWiFS poslaunch calibration and validation analyses, part 3[J]. NASA tech memo, 2000, 206892(11): 3-8.

[17] Mannino A, Russ M E, Hooker S B. Algorithm development and validation for satellite‐derived distributions of DOC and CDOM in the U. S. Middle Atlantic Bight[J]. Journal of Geophysical Research Oceans, 2008, 113(C7): 827-830.

[18] Zhu W, Yu Q. Inversion of chromophoric dissolved organic matter from EO-1 hyperion imagery for turbid estuarine and coastal waters[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 51(6): 3286-3298.

[19] Doxaran D, Froidefond J M, Lavender S, et al. Spectral signature of highly turbid waters : Application with SPOT data to quantify suspended particulate matter concentrations[J]. Remote Sensing of Environment, 2002, 81(1): 149-161.

Abstract: In order to introduce the uncertainty evaluation index in the remote sensing model evaluation, which is the uncertainty A (UA) proposed by the surveying community in recent years. This letter focuses on the impact of sampling size on those statistical variables, by testing a number of ocean color algorithms with different datasets and four kinds of approximate distributions of errors simulated by computer. The results indicate that RMSE, MAE and UAall vary with the number of observationsnbut present opposite trends. Whennis less than 50, RMSE typically presents a upward trend from a smallnto a largen. MAE in most of the results are similar to the RMSE,while UAalways keeps a smooth downward trend with increasingn, Based on the results, we conclude that UAis better than RMSE and MAE to be employed for evaluating and presenting the uncertainty in remote sensing validation, because the more samples we take, the less uncertainty we get.In addition, using at least 50 samples to validate the remote sensing model, will make the evaluation more accurate.

Key words: uncertainty; remote sensing validation; statistics; ocean color

責任編輯 龐 旻

Statistical Parameters Concerned with Sample Size for Evaluating Model Performance：A Comparison Case Study in Ocean Color Remote Sensing

SUN Lu, ZHU Wei-Ning， JIANG Jin-Gang

(College of Ocean, Zhejiang University, Hangzhou 310058,China)

P237

A

1672-5174(2017)11-009-06

10.16441/j.cnki.hdxb.20160431

孫璐，朱渭寧，蔣錦剛.遙感模型評估中顧及樣本數(shù)量的統(tǒng)計指標：基于水色遙感的比較研究[J].中國海洋大學學報(自然科學版), 2017, 47(11): 9-14.

SUN Lu, ZHU Wei-Ning，JIANG Jin-Gang.Statistical parameters concerned with sample size for evaluating model performance：A comparison case study in ocean color remote sensing[J].Periodical of Ocean University of China, 2017, 47(11): 9-14.

國家自然科學基金面上項目(41471346)；國家自然科學青年基金項目(41401404)資助 Supported by National Nature Science Foundation of China (41471346); National Natural Science Foundation of China (41401404)

2016-12-28；

2017-02-21

孫 璐(1991-)，女，碩士生。E-mail：sunlun@zju.edu.cn

** 通訊作者： E-mail: zhuwn@zju.edu.cn