數(shù)據(jù)分析系統(tǒng)在技術(shù)方面的改進措施

王永恒

(北安市機構(gòu)編制數(shù)據(jù)中心，黑龍江 北安 164000)

1 數(shù)據(jù)分析的常用方法

在數(shù)據(jù)分析工作中，如果能夠選擇恰當?shù)姆椒?、工具，往往能夠在提升?shù)據(jù)分析效率與提高數(shù)據(jù)利用價值方面取得更好的成效。現(xiàn)階段常用的數(shù)據(jù)分析方法主要包括：(1)描述性統(tǒng)計。通過描述數(shù)據(jù)的分布特點，以點帶面推算出數(shù)據(jù)背后的事物信息。具體來說又包含集中趨勢分析、離散程度分析等幾種分析方法。(2)方差分析。理論上來說，任何樣本的分布規(guī)律都符合正態(tài)分布。方差分析就是通過選擇樣本中的中位數(shù)，以此為參照計算樣本中其他數(shù)據(jù)與中位數(shù)的方差。具體包括多因素方差和單因素方差兩種類型。(3)回歸分析。將所有獲得的數(shù)據(jù)作為一個總體樣本，建立變量間的數(shù)值模型，并觀察樣本變化規(guī)律。一元線性回歸和多元線性回歸是常用的方法。

2 數(shù)據(jù)分析系統(tǒng)的基本組成和運作流程

2.1 系統(tǒng)組成框架

(1)采集模塊。獲取樣本數(shù)據(jù)是該系統(tǒng)運作的首要環(huán)節(jié)，采集模塊可以通過人為設(shè)定關(guān)鍵詞或數(shù)據(jù)抓取標準的方式，對數(shù)據(jù)存儲空間內(nèi)的海量數(shù)據(jù)進行篩選、檢索，將那些符合條件的數(shù)據(jù)采集起來，并單獨存放在一個獨立的存儲空間內(nèi)，方便下一步進行深入的分析處理。(2)處理模塊。按照特定的應用軟件或構(gòu)建數(shù)學模型等方式，對符合標準的數(shù)據(jù)進行多樣化的處理。處理模塊主要是進行數(shù)據(jù)轉(zhuǎn)化，將一堆雜亂的數(shù)據(jù)轉(zhuǎn)化為清晰、直觀的圖表、數(shù)字，揭示數(shù)據(jù)演化的規(guī)律。(3)應用模塊。將處理完畢的數(shù)據(jù)轉(zhuǎn)化為結(jié)果導出，為決策提供參考。(4)存儲模塊。采用數(shù)據(jù)庫或云服務器的形式，存儲海量的數(shù)據(jù)。

2.2 數(shù)據(jù)分析流程

完整的運作流程既能夠提高數(shù)據(jù)分析系統(tǒng)的工作效率，也能夠確保分析結(jié)果的精度。結(jié)合數(shù)據(jù)分析系統(tǒng)的基本結(jié)構(gòu)組成，數(shù)據(jù)分析流程主要包括：第一，建立分析模型，用于數(shù)據(jù)的獲取、篩選和分析。數(shù)據(jù)分析模型的核心技術(shù)是大數(shù)據(jù)技術(shù)，可以實現(xiàn)海量數(shù)據(jù)的快速處理，提高整個數(shù)據(jù)分析系統(tǒng)的運行效率。第二，進行數(shù)據(jù)采集。工作人員設(shè)定數(shù)據(jù)抓取的關(guān)鍵詞或相關(guān)標準，系統(tǒng)自動對樣本進行快速檢索，并識別數(shù)據(jù)中是否包含設(shè)定的關(guān)鍵詞，如果識別成功則將該數(shù)據(jù)篩選出來單獨保存。當樣本數(shù)據(jù)檢索結(jié)束后，就能夠獲得所有符合標準的數(shù)據(jù)。第三，進行數(shù)據(jù)轉(zhuǎn)化。初步抓取的數(shù)據(jù)比較繁雜、無序，不能直接利用和分析，還需要使用數(shù)據(jù)轉(zhuǎn)化模塊，將這些復雜的數(shù)據(jù)整理成數(shù)字、文字、圖表等形式，這樣就可以更方便地展現(xiàn)出數(shù)據(jù)的內(nèi)部規(guī)律。利用這些規(guī)律建立特定的數(shù)學模型，從而量化、直觀地表達數(shù)據(jù)所傳達出的信息，提高了數(shù)據(jù)的利用和參考價值。

3 數(shù)據(jù)分析系統(tǒng)在應用中存在的問題

3.1 數(shù)據(jù)指標選取不夠科學

在大數(shù)據(jù)技術(shù)不斷成熟的背景下，數(shù)據(jù)分析系統(tǒng)在各個領(lǐng)域都得到了廣泛應用。但是在具體進行數(shù)據(jù)歸類整理和價值分析時，仍然存在一些問題，其中比較突出的問題是數(shù)據(jù)選取指標不夠細化、不夠明確，導致數(shù)據(jù)分析系統(tǒng)無法將樣本中所有符合要求的數(shù)據(jù)全部識別、篩選出來。由于樣本數(shù)據(jù)不全，最終的分析結(jié)果與事實情況存在差異，數(shù)據(jù)分析工作的價值也就大打折扣，失去了參考價值。由于篩選標準不夠細致，一些不符合需求的數(shù)據(jù)也會被誤認為可用數(shù)據(jù)，這樣就占用了更多的存儲空間，后期在進行數(shù)據(jù)分析時也會浪費更多的時間和資源。

3.2 數(shù)據(jù)分析系統(tǒng)的兼容性不強

數(shù)據(jù)分析系統(tǒng)獲取的數(shù)據(jù)對象是來自不同部門、不同系統(tǒng)的，相互之間遵循的格式、標準并不統(tǒng)一。數(shù)據(jù)采集模塊抓取到的數(shù)據(jù)中，可能有電子表格，有文本文檔，甚至可能還有其他的特殊格式。如果數(shù)據(jù)分析系統(tǒng)的兼容性不強，就有可能導致這些不同格式的數(shù)據(jù)無法得到整合利用，數(shù)據(jù)分析結(jié)果的全面性和可信度都會受到影響。兼容性不強還會導致系統(tǒng)運算中出現(xiàn)無法識別的情況，由于輸入系統(tǒng)的數(shù)據(jù)繁多，有較大概率導致整個數(shù)據(jù)分析系統(tǒng)宕機。

4 數(shù)據(jù)分析系統(tǒng)技術(shù)改進措施

4.1 細化數(shù)據(jù)指標的選取標準

數(shù)據(jù)指標的設(shè)置是否科學、精確，直接決定了數(shù)據(jù)的可用性，并對數(shù)據(jù)分析系統(tǒng)的后期運行效率與輸出結(jié)果產(chǎn)生影響。因此，在進行數(shù)據(jù)分析系統(tǒng)優(yōu)化時，應當將改進數(shù)據(jù)分析指標作為一項重要任務?？梢园凑找韵聵藴蔬M行數(shù)據(jù)選?。旱谝皇峭暾浴?shù)據(jù)在收集與采集時，應當保證內(nèi)容完整，避免出現(xiàn)數(shù)據(jù)割裂的情況，從而提高分析結(jié)果的客觀性。第二是易讀性。所得數(shù)據(jù)經(jīng)過轉(zhuǎn)化、處理后，應當方便人們直觀地了解規(guī)律或特點，降低數(shù)據(jù)分析與利用的難。第三是比較性。數(shù)據(jù)與數(shù)據(jù)之間要體現(xiàn)出差異，方便進行對比，通過比較差異判斷分析對象的走向、趨勢。

在遵循上述數(shù)據(jù)選取標準的前提下，改進數(shù)據(jù)分析系統(tǒng)時還應當注意過濾虛假性數(shù)據(jù)。虛假性數(shù)據(jù)雖然表面上看來符合抓取標準，但是往往不具備實質(zhì)性的分析與參考價值，反而會增加了系統(tǒng)的運行負擔。在改進系統(tǒng)時，可以選擇定性與定量分析相結(jié)合的方式，對這些虛假性數(shù)據(jù)進行過濾。定性分析可以根據(jù)數(shù)據(jù)使用需求，按照數(shù)據(jù)來源、存儲載體等標準進行分類，將一部分虛假性數(shù)據(jù)篩除；定量分析對剩余的數(shù)據(jù)進行更深層次的判斷，通過兩者的有機結(jié)合，達到了選取標準數(shù)據(jù)的目的。

4.2 增強數(shù)據(jù)分析系統(tǒng)的兼容性

提高數(shù)據(jù)分析系統(tǒng)的兼容性，無論是從系統(tǒng)運行效率方面，還是從分析結(jié)果方面，都有顯著的作用。當前各類數(shù)據(jù)越來越復雜，來源越來越多樣，客觀現(xiàn)狀也決定了必須要對現(xiàn)行的系統(tǒng)進行兼容性優(yōu)化。除了對常見的標準格式進行兼容外，還應當對一些非標準格式的數(shù)據(jù)也進行良好的兼容。在數(shù)據(jù)分析系統(tǒng)中要增加多個自定義擴展接口，管理員可以根據(jù)本部門的工作需求，添加一些常用的數(shù)據(jù)格式，在今后的系統(tǒng)運行時，就可以增強數(shù)據(jù)的識別能力和處理效率。計算機的軟硬件系統(tǒng)也要不斷地進行更新、升級，這也是提高數(shù)據(jù)兼容性的一種有效方法。

4.3 建立標準的數(shù)據(jù)集市

數(shù)據(jù)集市是將具有一定共同屬性的數(shù)據(jù)選擇一個獨立的數(shù)據(jù)庫存儲起來。當數(shù)據(jù)分析系統(tǒng)需要調(diào)用某一類數(shù)據(jù)時，可以直接選擇符合該類別的數(shù)據(jù)集市，從中選取目標數(shù)據(jù)。這樣一來，就不需要數(shù)據(jù)分析系統(tǒng)重新檢索海量數(shù)據(jù)了，能夠在更短的時間內(nèi)獲得所需的數(shù)據(jù)。目前的數(shù)據(jù)集市存在分類不標準、不細化的問題，下一步要規(guī)范數(shù)據(jù)集市的建設(shè)標準，在數(shù)據(jù)集市內(nèi)部劃分出多個單元格，以提高響應速度，實現(xiàn)數(shù)據(jù)的高效、準確提取。

5 結(jié)語

在大數(shù)據(jù)時代，數(shù)據(jù)資源的價值愈發(fā)重要。通過改進數(shù)據(jù)分析系統(tǒng)，應用大數(shù)據(jù)技術(shù)，建立標準數(shù)據(jù)集市，提高系統(tǒng)兼容性，可以為人們更好地探究數(shù)據(jù)演變規(guī)律、做出科學決策提供幫助。