高維數(shù)據(jù)可視化在統(tǒng)計(jì)分析中的作用

王德青

■ 運(yùn)用可視化方法的必要性

在對(duì)社會(huì)、經(jīng)濟(jì)、技術(shù)系統(tǒng)的認(rèn)識(shí)過(guò)程中，都需要收集和分析大量表現(xiàn)系統(tǒng)特征和運(yùn)行狀態(tài)的指標(biāo)數(shù)據(jù)信息。例如，要衡量一個(gè)地區(qū)的經(jīng)濟(jì)發(fā)展，需要觀測(cè)的指標(biāo)有：地區(qū)生產(chǎn)總值、勞動(dòng)生產(chǎn)率、稅收、人均GDP等；要衡量一個(gè)城市的綜合發(fā)展水平也需要觀測(cè)很多指標(biāo)，如：工業(yè)總產(chǎn)值、非農(nóng)業(yè)人口數(shù)、人均住房面積、工資總額、城鄉(xiāng)居民儲(chǔ)蓄率等等，在科研、生產(chǎn)、日常生活中，受多種指標(biāo)共同影響和作用的現(xiàn)象是大量存在的，舉不勝舉。

這類原始數(shù)據(jù)集合往往由于樣本數(shù)量巨大，刻畫系統(tǒng)特征的指標(biāo)變量眾多，并且?guī)в袆?dòng)態(tài)特性，形成規(guī)模宏大、復(fù)雜難辨的數(shù)據(jù)海洋。如何分析和認(rèn)識(shí)高維數(shù)據(jù)集合中的內(nèi)在規(guī)律性，簡(jiǎn)明扼要地把握系統(tǒng)的本質(zhì)特征；如何對(duì)高維數(shù)據(jù)集合進(jìn)行最佳綜合，迅速將隱沒(méi)在其中的重要信息集中提取出來(lái)；如何充分發(fā)掘數(shù)據(jù)中的豐富內(nèi)涵，清晰地展示系統(tǒng)結(jié)構(gòu)，準(zhǔn)確地認(rèn)識(shí)系統(tǒng)元素的內(nèi)在聯(lián)系，以及直觀地描繪系統(tǒng)的運(yùn)行歷程，這些是科學(xué)決策和決策支持系統(tǒng)建立的基礎(chǔ)，是決策者做出科學(xué)決策的根據(jù)。

在數(shù)據(jù)信息的分析過(guò)程中，對(duì)直觀圖像的觀察是一種重要的分析手段，它可以更好地協(xié)助系統(tǒng)分析人員思維與判斷，及時(shí)發(fā)現(xiàn)大規(guī)模復(fù)雜數(shù)據(jù)群中的普遍規(guī)律與特殊現(xiàn)象，大大提高數(shù)據(jù)信息的分析效率。在當(dāng)今的決策支持系統(tǒng)理論與方法的研究中，將抽象空間或高維不可見(jiàn)空間中的信息以及一些更復(fù)雜的現(xiàn)象轉(zhuǎn)換成直觀的平面圖示，這種面思維的工作方式，能夠極大地提高決策人員的洞察能力和增加決策者的知識(shí)，是實(shí)現(xiàn)決策支持系統(tǒng)高效率的最佳途徑之一。

■ 可視化方法改進(jìn)后的優(yōu)長(zhǎng)

在統(tǒng)計(jì)分析過(guò)程中，由于分析人員盡可能周到地選取有關(guān)指標(biāo)，建立的指標(biāo)體系中往往會(huì)出現(xiàn)信息重疊的現(xiàn)象。信息重疊的危害表現(xiàn)在：一方面會(huì)使傳統(tǒng)的最小二乘回歸分析失效，另一方面在分類或聚類過(guò)程中會(huì)過(guò)分地夸大某個(gè)指標(biāo)在系統(tǒng)分析中的作用，出現(xiàn)“大數(shù)吃小數(shù)”現(xiàn)象，以致影響分析的客觀性，妨礙決策者的正確判斷。

為了解決上述問(wèn)題，往往對(duì)指標(biāo)系統(tǒng)進(jìn)行簡(jiǎn)化處理，有一個(gè)特殊情況尤其引起人們的關(guān)注：如果能將一個(gè)p維指標(biāo)系統(tǒng)有效地降至二維就可以在平面上描繪每一個(gè)樣本點(diǎn)，以直接觀察樣本點(diǎn)或指標(biāo)之間的相互關(guān)系及樣本點(diǎn)間的分布特點(diǎn)和結(jié)構(gòu)。所以主成分分析使高維數(shù)據(jù)點(diǎn)的可見(jiàn)性成為可能。概括地講，主成分分析是一種對(duì)多指標(biāo)系統(tǒng)進(jìn)行簡(jiǎn)化的方法，它能夠在保證數(shù)據(jù)信息損失最小的前提下，對(duì)高維數(shù)據(jù)集合進(jìn)行降維處理，揭示系統(tǒng)的主要因素。特別是當(dāng)高維數(shù)據(jù)降為二維時(shí)，可以在平面圖上描繪系統(tǒng)指標(biāo)的相互關(guān)系，使高維復(fù)雜系統(tǒng)具有可見(jiàn)性，大大提高決策者的洞察能力和分析效率。提取的主成分指標(biāo)盡管多于三個(gè)，但是主成分指標(biāo)之間幾乎不相關(guān)，因此可以用雷達(dá)圖來(lái)彌補(bǔ)主成分可視化的不足，主成分分析及雷達(dá)圖內(nèi)容多數(shù)教材都有詳細(xì)介紹，在此不予贅述。以提取的主成分指標(biāo)代替原始指標(biāo)繪制雷達(dá)圖，便可將高維數(shù)據(jù)降維可視化。

下面的內(nèi)容便是筆者科研項(xiàng)目的結(jié)果，從最終的結(jié)果來(lái)看，這種改進(jìn)的可視化方法效果明顯改善。采用綜合評(píng)價(jià)指標(biāo)對(duì)全國(guó)35個(gè)中心城市的綜合發(fā)展水平進(jìn)行評(píng)價(jià)，選取了包括兩個(gè)方面的15個(gè)具體指標(biāo)，分別是非農(nóng)業(yè)人口、 工業(yè)總產(chǎn)值、貨運(yùn)總量、批發(fā)零售貿(mào)易餐飲業(yè)網(wǎng)點(diǎn)數(shù)、批發(fā)零售貿(mào)易餐飲業(yè)人數(shù)、 財(cái)政收入、城鄉(xiāng)居民年底儲(chǔ)蓄余額、職工人數(shù)、工資總額、人均居住面積、城市煤氣普及率、人均公共綠地面積、人均擁有鋪裝道路面積、人均公共綠地面積和每萬(wàn)人擁有公共廁所數(shù)，分別記為X1，X2，?，X15。其中前9個(gè)指標(biāo)為社會(huì)經(jīng)濟(jì)指標(biāo)，后6個(gè)指標(biāo)為城市公共設(shè)施水平指標(biāo)。調(diào)用SPSS中因子分析程序，對(duì)15個(gè)指標(biāo)的原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、同趨化處理，最終得到四個(gè)主成分指標(biāo)：F1 ——城市規(guī)模及經(jīng)濟(jì)發(fā)展水平指標(biāo)， F2——城市基礎(chǔ)設(shè)施水平指標(biāo)，F(xiàn)3——煤氣公因子，F(xiàn)4——城市公共衛(wèi)生指標(biāo)（見(jiàn)下表）。

從下圖看出，城市A幾乎在各個(gè)公因子上的得分都是最大值，A城市對(duì)應(yīng)的雷達(dá)圖面積在全國(guó)城市中也位居前列，因此說(shuō)明A城市的綜合發(fā)展水平在全國(guó)處于領(lǐng)先地位。B城市雖然在F1、F2、F3上的得分很高，其對(duì)應(yīng)的雷達(dá)圖面積也較大，但B城市在城市基礎(chǔ)建設(shè)上的得分較低，因此B城市在城市建設(shè)時(shí)需要在基礎(chǔ)建設(shè)方面加強(qiáng)力度。C城市在各公因子上的取值、對(duì)應(yīng)的雷達(dá)圖面積都處于中等地位，因此兩城市在全國(guó)屬于中等發(fā)達(dá)城市。為跨入全國(guó)發(fā)達(dá)城市行列，兩城市各方面都需加快發(fā)展。D城市的四個(gè)公因子取值都是35個(gè)城市中最小或者接近最小的，其對(duì)應(yīng)的雷達(dá)圖面積也是最小的，因此可以認(rèn)為D城市是不發(fā)達(dá)城市。D城市需在各方面加快發(fā)展才能趕上其它城市的發(fā)展速度，由于F1（城市規(guī)模及經(jīng)濟(jì)發(fā)展水平公因子）的方差貢獻(xiàn)最大，F(xiàn)1是城市發(fā)展水平的主要代表方面，因此在經(jīng)濟(jì)能力受限條件下，D城市應(yīng)該集中主要精力加快城市規(guī)模及經(jīng)濟(jì)方面的發(fā)展，從而帶動(dòng)其他方面的發(fā)展，這也是抓住了工作的重心。

■ 需要注意把握的問(wèn)題

1.由于提取的主成分對(duì)原始數(shù)據(jù)信息的貢獻(xiàn)不同，因此可以根據(jù)方差貢獻(xiàn)率將雷達(dá)圖對(duì)應(yīng)的圓按比例劃分。一般情況下不需要使用所有的主成分繪制雷達(dá)圖，只需選取前幾個(gè)方差貢獻(xiàn)較大的主成分即可，并結(jié)合因子分析對(duì)主成分重新命名。

2.數(shù)學(xué)上可以證明主成分指標(biāo)之間是不相關(guān)的，因此可以在兩主成分軸之間加入一條間隔軸，這樣就可以使指標(biāo)之間的取值對(duì)圖形面積的影響相互獨(dú)立，便于后續(xù)工作中結(jié)合雷達(dá)圖面積，構(gòu)造評(píng)價(jià)函數(shù)對(duì)樣本的綜合評(píng)價(jià)。

3.主成分分析計(jì)算的結(jié)果并不能完全消除信息重疊的現(xiàn)象，因此在建立指標(biāo)體系時(shí)，不能盲目地采取“多多益善”的方式選取過(guò)多的指標(biāo)。在進(jìn)行研究之前，必須結(jié)合系統(tǒng)的有關(guān)專業(yè)背景，慎之又慎地確定變量系統(tǒng)。