關(guān)于數(shù)據(jù)挖掘技術(shù)在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中的應(yīng)用分析

胡杰飛

（美國(guó)羅格斯大學(xué)，新澤西州 08854）

0.引言

在國(guó)家經(jīng)濟(jì)迅猛發(fā)展的大背景下，經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查面臨的數(shù)據(jù)量在不斷增加，數(shù)據(jù)源也變得越來越復(fù)雜。因此必須要采用數(shù)據(jù)挖掘技術(shù)，才能更好地滿足經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查的需求。通過加強(qiáng)數(shù)據(jù)挖掘技術(shù)在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中的應(yīng)用分析，能夠促使數(shù)據(jù)挖掘技術(shù)發(fā)揮應(yīng)有價(jià)值，提高數(shù)據(jù)經(jīng)濟(jì)統(tǒng)計(jì)分析質(zhì)量水平。

1.數(shù)據(jù)挖掘技術(shù)在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中的應(yīng)用優(yōu)勢(shì)

（1）數(shù)據(jù)挖掘技術(shù)能夠處理海量的數(shù)據(jù)信息，有利于減輕統(tǒng)計(jì)調(diào)查人員的工作量，便于統(tǒng)計(jì)調(diào)查人員從海量的經(jīng)濟(jì)數(shù)據(jù)中挖掘出更有價(jià)值的信息，在提高經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查效果的同時(shí)，還能夠有效提升經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查效率。（2）數(shù)據(jù)挖掘技術(shù)具有搜索與數(shù)據(jù)信息預(yù)測(cè)功能，從而能夠?qū)κ袌?chǎng)決策起到一定的輔助作用。在實(shí)際進(jìn)行數(shù)據(jù)調(diào)查統(tǒng)計(jì)分析的過程中，一方面，可利用數(shù)據(jù)挖掘技術(shù)搜索功能所自帶的“關(guān)鍵詞聯(lián)想搜索機(jī)制”，幫助統(tǒng)計(jì)調(diào)查人員在短時(shí)間內(nèi)就能夠搜索到想要的數(shù)據(jù)信息[1]。另一方面，借助數(shù)據(jù)挖掘技術(shù)的預(yù)測(cè)功能，能夠在不同統(tǒng)計(jì)調(diào)查數(shù)據(jù)信息之間，找出隱藏的規(guī)律，建立相應(yīng)聯(lián)系，從而合理預(yù)測(cè)后續(xù)的經(jīng)濟(jì)趨勢(shì)走向，充分發(fā)揮經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查的作用價(jià)值。（3）數(shù)據(jù)挖掘技術(shù)本身具有較強(qiáng)的綜合性功能價(jià)值，便于統(tǒng)計(jì)調(diào)查人員在進(jìn)行經(jīng)濟(jì)數(shù)據(jù)統(tǒng)計(jì)分析時(shí)，實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的分類、整理、開發(fā)與利用，且這些數(shù)據(jù)信息可長(zhǎng)期存儲(chǔ)，從而滿足不同部門的應(yīng)用需求。

2.經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中數(shù)據(jù)挖掘技術(shù)的應(yīng)用

2.1 集成化處理技術(shù)

所謂數(shù)據(jù)的集成化處理，簡(jiǎn)單來說就是通過加強(qiáng)各種數(shù)據(jù)信息的整合，讓雜亂無章的數(shù)據(jù)信息按照某種規(guī)律排列，變得井井有條。但在國(guó)家經(jīng)濟(jì)迅猛發(fā)展的大背景下，經(jīng)濟(jì)數(shù)據(jù)信息變得更加復(fù)雜，數(shù)據(jù)信息來源也更加多變，這些都增加了數(shù)據(jù)信息的集成難度。究其原因在于，很多經(jīng)濟(jì)數(shù)據(jù)在來源方面，并不僅源自于官方的數(shù)據(jù)統(tǒng)計(jì)局，實(shí)際來源較為復(fù)雜，因此在應(yīng)用數(shù)據(jù)挖掘技術(shù)的集成功能性，必須要加強(qiáng)對(duì)經(jīng)濟(jì)數(shù)據(jù)信息的識(shí)別。例如，在實(shí)際應(yīng)用數(shù)據(jù)挖掘的技術(shù)中，在相應(yīng)數(shù)據(jù)庫中，需要明確“sfd-id”和其他數(shù)據(jù)庫中“std-no”象征的數(shù)據(jù)實(shí)體是否一致。在集成分析的過程中，通過對(duì)數(shù)據(jù)庫之間的數(shù)據(jù)信息元數(shù)據(jù)進(jìn)行比較分析，能夠更好地保障數(shù)據(jù)識(shí)別的質(zhì)量。并針對(duì)在原始數(shù)據(jù)中，具有正相關(guān)關(guān)系的數(shù)據(jù)，實(shí)現(xiàn)高效的處理，更加便于經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查人員進(jìn)行數(shù)據(jù)信息的應(yīng)用與分析。

2.2 決策樹方法

對(duì)于決策樹方法而言，本身是一種非常直觀的數(shù)據(jù)分離方法，在實(shí)際應(yīng)用該方法的過程中，完成決策樹的建立非常關(guān)鍵。在實(shí)際建立決策樹的過程中，應(yīng)著重把握以下兩點(diǎn)：

（1）在訓(xùn)練集的幫助下，完成一顆決策樹的建立，并對(duì)其進(jìn)行精簡(jiǎn)，建立數(shù)據(jù)輸出探究模型[2]。（2）在已經(jīng)建立好的決策樹幫助下，針對(duì)輸入數(shù)據(jù)信息，按照決策規(guī)律進(jìn)行分類。上述分類過程，屬于一個(gè)循序漸進(jìn)的過程。一般是從決策樹的根部開始，逐漸分類遞進(jìn)至決策樹的枝丫，直到分類的數(shù)據(jù)滿足某種條件為止。達(dá)到終止分割條件有兩條：1）在同一個(gè)節(jié)點(diǎn)之上，所有的數(shù)據(jù)都屬于同一種類別；2）針對(duì)輸入數(shù)據(jù)，已經(jīng)無法再次進(jìn)行屬性分割。一般在完成決策樹的構(gòu)建后，還需要對(duì)決策樹的“枝丫”進(jìn)行修剪。通過進(jìn)行“剪枝”處理，能夠有效降低對(duì)輸入數(shù)據(jù)帶來的起伏影響。

2.3 線性回歸分析策略

在數(shù)據(jù)經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中，針對(duì)數(shù)據(jù)挖掘技術(shù)的應(yīng)用，線性回歸分析策略也是一種比較常用的策略。而進(jìn)行回歸分析的主要目的，便是為了進(jìn)一步明確兩種及以上的變量之間，相互影響的一種變量關(guān)系。在線性回歸策略的幫助下，能夠建立變量之間的線性回歸方程。通過進(jìn)行相應(yīng)的因素探究，便于統(tǒng)計(jì)調(diào)查人員合理判斷數(shù)據(jù)變量之間的主要關(guān)系與次要關(guān)系，用于經(jīng)濟(jì)數(shù)據(jù)調(diào)查輔助決策。不僅如此，通過進(jìn)行相應(yīng)的檢驗(yàn)，降低誤差，才能夠?qū)⒕€性回歸方程作為預(yù)測(cè)模型，完成對(duì)數(shù)據(jù)信息的預(yù)測(cè)分析。一般情況下，在實(shí)際進(jìn)行數(shù)據(jù)挖掘時(shí)，回歸分析策略常用于解釋市場(chǎng)占有率、銷售數(shù)額等經(jīng)濟(jì)數(shù)據(jù)信息，借助線性回歸函數(shù)，準(zhǔn)確表達(dá)出上述變量之間的關(guān)系，便于進(jìn)行統(tǒng)計(jì)調(diào)查分析。例如，針對(duì)一些簡(jiǎn)單的線性回歸分析，比如某個(gè)自變量x與因變量y，兩者之間具有正相關(guān)關(guān)系，利用這一關(guān)系，我們能夠獲得直線方程，讓所有的數(shù)據(jù)點(diǎn)趨近于這條之間，具體了采用y=a+bx表示，其中a表示截距，b是相應(yīng)的關(guān)系系數(shù)。另一方面，還可以進(jìn)行Logistic回歸分析，運(yùn)用這種回歸分析方法，應(yīng)滿足以下兩種條件：（1）目標(biāo)對(duì)象之間相互獨(dú)立；（2）自變量與LogitP之間具有線性關(guān)系。此外，還應(yīng)注意，若研究設(shè)計(jì)為隊(duì)列研究，針對(duì)橫斷面，需要進(jìn)行對(duì)照分析，在采用Logistic回歸分析方法時(shí)，應(yīng)保證觀察時(shí)間一致。當(dāng)前隨著統(tǒng)計(jì)學(xué)技術(shù)的不斷發(fā)展進(jìn)步，大數(shù)據(jù)應(yīng)用越來越成熟，即使在樣本量不多的情況下，也能夠應(yīng)用Logistic回歸分析方法，且能夠獲得良好的分析效果。但在實(shí)際應(yīng)用時(shí)還應(yīng)注意，針對(duì)相應(yīng)的分析變量，應(yīng)控制在一定范圍內(nèi)，并且變量的分類也不宜過多，如此才能達(dá)到更好地應(yīng)用分析效果。

3.推動(dòng)數(shù)據(jù)挖掘技術(shù)在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中深度應(yīng)用的建議

3.1 加強(qiáng)數(shù)據(jù)資源梳理，摸清數(shù)據(jù)家底

在實(shí)際進(jìn)行經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中，針對(duì)數(shù)據(jù)挖掘技術(shù)的應(yīng)用，無論是政府統(tǒng)計(jì)，還是部門統(tǒng)計(jì)，當(dāng)前應(yīng)用體系均越來越成熟，并且收集了海量的數(shù)據(jù)資源。為進(jìn)一步推動(dòng)數(shù)據(jù)挖掘技術(shù)的深度應(yīng)用，還需要統(tǒng)計(jì)部門加強(qiáng)對(duì)這些數(shù)據(jù)資源的梳理，結(jié)合實(shí)際，明確對(duì)大數(shù)據(jù)實(shí)際需求與應(yīng)用方式。在此基礎(chǔ)上，統(tǒng)計(jì)部門還應(yīng)深入研究、整理各政府部門的行政記錄數(shù)據(jù)資源，并以業(yè)務(wù)部門經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查實(shí)際需求為依據(jù)，篩選出關(guān)鍵數(shù)據(jù)資源。后續(xù)還應(yīng)擴(kuò)大數(shù)據(jù)的收集梳理范圍，比如醫(yī)療、衛(wèi)生等公共服務(wù)部門的數(shù)據(jù)資源。最后，針對(duì)私人部門大數(shù)據(jù)資源，統(tǒng)計(jì)部門也要加強(qiáng)相應(yīng)的梳理工作，從而充分把握全社會(huì)經(jīng)濟(jì)數(shù)據(jù)資源的渠道分布、規(guī)模、結(jié)構(gòu)等情況，為數(shù)據(jù)挖掘技術(shù)的深度應(yīng)用奠定堅(jiān)實(shí)的基礎(chǔ)，有效提高經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查水平。

3.2 制定規(guī)范的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，完成對(duì)經(jīng)濟(jì)數(shù)據(jù)質(zhì)量的評(píng)估

雖然如今在互聯(lián)網(wǎng)迅猛發(fā)展的大背景下，大數(shù)據(jù)環(huán)境發(fā)展日益成熟，但在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查分析的過程中，還應(yīng)確保相應(yīng)的數(shù)據(jù)滿足基本質(zhì)量要求。在這一過程中，國(guó)家統(tǒng)計(jì)局可以與國(guó)家大數(shù)據(jù)中心進(jìn)行協(xié)同合作，結(jié)合經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查實(shí)際需要，制定大數(shù)據(jù)應(yīng)用官方統(tǒng)計(jì)的相應(yīng)質(zhì)量標(biāo)準(zhǔn)。與此同時(shí)，在相應(yīng)標(biāo)準(zhǔn)中還應(yīng)包括對(duì)錯(cuò)誤數(shù)據(jù)、極端數(shù)據(jù)、缺失數(shù)據(jù)的處理方法，從而有效防止采用不科學(xué)方法，在后續(xù)經(jīng)濟(jì)數(shù)據(jù)分析中形成路徑依賴。在數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的指引之下，分地區(qū)、分部門對(duì)相關(guān)數(shù)據(jù)資源的質(zhì)量進(jìn)行科學(xué)評(píng)估，這對(duì)數(shù)據(jù)挖掘技術(shù)在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中高質(zhì)量數(shù)據(jù)應(yīng)用有著較為積極的影響，更有利于數(shù)據(jù)挖掘技術(shù)作用價(jià)值的發(fā)揮。

3.3 探索數(shù)據(jù)獲取新模式，獲得更多大數(shù)據(jù)資源

經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查是一項(xiàng)需要長(zhǎng)期堅(jiān)持的工作，在這一過程中，實(shí)際應(yīng)用大數(shù)據(jù)資源也在隨著經(jīng)濟(jì)形勢(shì)的發(fā)展變化而不斷發(fā)生變化。這意味著在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中應(yīng)用數(shù)據(jù)挖掘技術(shù)，需要政府提供源源不斷的數(shù)據(jù)資源支持。而在當(dāng)下，降低大數(shù)據(jù)資源的獲取成本，已經(jīng)是政府部門亟待解決的一項(xiàng)問題。尤其是對(duì)政府統(tǒng)計(jì)部門而言，雖然可采用低成本的行政手段獲取相應(yīng)的公共服務(wù)部門數(shù)據(jù)[3]。但針對(duì)私人部門數(shù)據(jù)，還應(yīng)在提供合理回報(bào)的條件下，低價(jià)或免費(fèi)獲取，為達(dá)到這一目的，建議成立一個(gè)能夠?qū)?shù)據(jù)價(jià)值變現(xiàn)的機(jī)構(gòu)，用于專門收集私人部門數(shù)據(jù)，獲取更多大數(shù)據(jù)資源，助力數(shù)據(jù)挖掘技術(shù)在經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查中的深度應(yīng)用。

4.結(jié)語

經(jīng)濟(jì)統(tǒng)計(jì)調(diào)查是一項(xiàng)較為復(fù)雜系統(tǒng)的工作，在實(shí)際開展該項(xiàng)工作的過程中，應(yīng)加強(qiáng)對(duì)數(shù)據(jù)挖掘技術(shù)的應(yīng)用，從而能減輕統(tǒng)計(jì)調(diào)查負(fù)擔(dān)，提高工作效率。在實(shí)際應(yīng)用時(shí)，還應(yīng)掌握相應(yīng)的技術(shù)方法，并采用一些有效建議，促使數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)深入應(yīng)用，進(jìn)一步提高經(jīng)濟(jì)調(diào)查統(tǒng)計(jì)的質(zhì)量水平。