大數(shù)據(jù)視角下影響統(tǒng)計數(shù)據(jù)質(zhì)量的因素分析

陳 媛/文

21世紀被稱為信息的世紀、數(shù)據(jù)的世紀?，F(xiàn)如今幾乎每個行業(yè)都在廣泛使用大數(shù)據(jù)，大數(shù)據(jù)所展現(xiàn)的滲透性作用和功效十分突出，能夠有效提升統(tǒng)計數(shù)據(jù)價值和效果。政府以及企業(yè)在大量的數(shù)據(jù)中，淘到自己需要的高質(zhì)量信息，能夠保障統(tǒng)計數(shù)據(jù)足夠及時、足夠準(zhǔn)確、足夠可靠，為制定合理決策提供建議與支持。也正是因為有了這樣的背景，大數(shù)據(jù)優(yōu)勢和機遇才會展現(xiàn)得淋漓盡致。不過大數(shù)據(jù)本身的電子化易處理、多元、實時、非結(jié)構(gòu)化、海量的特點會放大原本數(shù)據(jù)質(zhì)量上本來并不突出的問題，有些時候會帶給數(shù)據(jù)質(zhì)量十分重大的災(zāi)難影響。現(xiàn)如今統(tǒng)計部門已經(jīng)將目光和視角放在了解決數(shù)據(jù)質(zhì)量問題，其意義十分重大。

從全面數(shù)據(jù)質(zhì)量管理理論的角度來看，對于統(tǒng)計數(shù)據(jù)質(zhì)量有影響的關(guān)鍵點在于數(shù)據(jù)流程、數(shù)據(jù)技術(shù)和數(shù)據(jù)管理三個部分。

一、流程角度

從流程的角度切入來看，大數(shù)據(jù)系統(tǒng)非常復(fù)雜，能夠為不同階段、不同生命周期的數(shù)據(jù)提供相應(yīng)處理能力。接下來將會從數(shù)據(jù)的收集、數(shù)據(jù)的存儲、數(shù)據(jù)的使用展開影響要素分析，并判斷這些因素如何影響到數(shù)據(jù)質(zhì)量。

1.數(shù)據(jù)搜集環(huán)節(jié)。一直以來，統(tǒng)計工作在不斷調(diào)整和優(yōu)化自己的數(shù)據(jù)整理、搜集方法，通過完善統(tǒng)計標(biāo)準(zhǔn)，確保統(tǒng)計數(shù)據(jù)的質(zhì)量足以應(yīng)對使用要求。這里包括統(tǒng)計報表的統(tǒng)一、各種調(diào)查模式的結(jié)合、統(tǒng)計方法的拓展等等。大數(shù)據(jù)環(huán)境下，社交協(xié)作、傳感器、智能設(shè)備等技術(shù)的增加，使得數(shù)據(jù)來源變得非常復(fù)雜。各種非結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)的主要來源就是各種傳感器、媒體論壇、社交系統(tǒng)。面對如此龐大且種類差異巨大的數(shù)據(jù)，必然會出現(xiàn)數(shù)據(jù)矛盾性和差異性問題。此情此景使得數(shù)據(jù)源中往往很難做到從容應(yīng)對數(shù)據(jù)定位、數(shù)據(jù)檢測。大量數(shù)據(jù)的出現(xiàn)會讓統(tǒng)計數(shù)據(jù)的廣度呈現(xiàn)無限接近數(shù)據(jù)總體。拓展的統(tǒng)計數(shù)據(jù)范圍，從理論角度來看能夠提高數(shù)據(jù)統(tǒng)計準(zhǔn)確度。不過從實踐結(jié)果可以看到的是，在數(shù)據(jù)接觸面越來越大的同時，需要處理的問題也會不斷增加。問題挖掘難度更大，統(tǒng)計數(shù)據(jù)質(zhì)量不易提高。此外大數(shù)據(jù)的另外一個特點是實時。實時性數(shù)據(jù)搜集說的就是在數(shù)據(jù)生成以后，直到數(shù)據(jù)使用期間，這是一個非常短的流程。實時獲得的數(shù)據(jù)才能夠體現(xiàn)數(shù)據(jù)使用有效性，發(fā)揮數(shù)據(jù)本身價值和作用。

2.數(shù)據(jù)存儲環(huán)節(jié)。在大數(shù)據(jù)背景下，數(shù)據(jù)存儲的價值十分關(guān)鍵，能夠為數(shù)據(jù)分析提供高效支持。提前將數(shù)據(jù)按照特定的格式分成不同的組別和類型。大數(shù)據(jù)最大的特點就是訪問接口多、高性能、高可用性、高拓展性。過去單一的數(shù)據(jù)資源、數(shù)據(jù)結(jié)構(gòu)并不足以支撐大數(shù)據(jù)使用要求。為保障數(shù)據(jù)存儲有效性，就需要用到專用的存儲數(shù)據(jù)裝置和數(shù)據(jù)庫技術(shù)。當(dāng)前最常用的主要是SAN、NAS、DAS這三種架構(gòu)，以上三種架構(gòu)在使用中效果很不錯。在面對非結(jié)構(gòu)化與半結(jié)構(gòu)數(shù)據(jù)的時候，傳統(tǒng)存儲有著十分冗長的轉(zhuǎn)換過程。先將數(shù)據(jù)變?yōu)榻Y(jié)構(gòu)化數(shù)據(jù)，隨后對這些數(shù)據(jù)做處理和存儲。轉(zhuǎn)化數(shù)據(jù)的過程中，有可能會出現(xiàn)轉(zhuǎn)化失效問題，直接影響到最后的數(shù)據(jù)完整性和準(zhǔn)確性。數(shù)據(jù)形式最后會出現(xiàn)翻天覆地的變化。不少圖片、視頻一類的非結(jié)構(gòu)數(shù)據(jù)最后都會成為影響傳統(tǒng)數(shù)據(jù)的重要障礙、重大問題。為了最大化數(shù)據(jù)效益，就需要有機結(jié)合傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，打造和大數(shù)據(jù)時代相契合的數(shù)據(jù)庫，保障數(shù)據(jù)高品質(zhì)發(fā)展。此外維護數(shù)據(jù)庫同樣對于保障數(shù)據(jù)質(zhì)量意義重大。對此數(shù)據(jù)庫管理者需要按照大數(shù)據(jù)本身特征做數(shù)據(jù)存儲方式的合理化設(shè)計，發(fā)揮數(shù)據(jù)庫價值，展現(xiàn)數(shù)據(jù)庫作用。設(shè)計數(shù)據(jù)庫和存儲數(shù)據(jù)的關(guān)聯(lián)十分密切。存儲方式的不合理會使得過多存儲空間被浪費和占用，影響后期數(shù)據(jù)使用。甚至不少情況是失真數(shù)據(jù)和錯誤數(shù)據(jù)，都會影響到數(shù)據(jù)整體質(zhì)量。管理數(shù)據(jù)庫的工作人員一定要充分考慮這些因素。大數(shù)據(jù)相較于傳統(tǒng)數(shù)據(jù)的轉(zhuǎn)換更加復(fù)雜，會出現(xiàn)很多問題，也需要充分考慮。

3.數(shù)據(jù)使用環(huán)節(jié)。開發(fā)與使用數(shù)據(jù)才能夠展現(xiàn)大數(shù)據(jù)本身作用與價值。應(yīng)用數(shù)據(jù)的人非常多，不少人需要對數(shù)據(jù)更新和提取，只要有其中任何一個人的工作出現(xiàn)問題，都會直接影響到其他人的數(shù)據(jù)使用質(zhì)量，導(dǎo)致最后的結(jié)果和預(yù)期設(shè)定出現(xiàn)重大偏差。大數(shù)據(jù)瞬息萬變、規(guī)模十分龐大，要準(zhǔn)確把握、合理分析，才能夠最大化數(shù)據(jù)價值。絕不能允許數(shù)據(jù)出現(xiàn)過期現(xiàn)象。大數(shù)據(jù)時代下，一定要處理好統(tǒng)計數(shù)據(jù)銜接性要求。信息共享、信息平臺、信息技術(shù)的協(xié)同發(fā)展和分析才能夠改善信息孤島問題，充分開發(fā)數(shù)據(jù)價值。除此之外處理統(tǒng)計數(shù)據(jù)和技術(shù)手段的過程中，銜接性有效與否也會成為大數(shù)據(jù)整合與集成處理的關(guān)鍵點。在復(fù)雜且紛繁的數(shù)據(jù)面前，要呈獻給用戶簡單易懂的統(tǒng)計結(jié)果。大數(shù)據(jù)憑借可視化技術(shù)，能夠展現(xiàn)更精準(zhǔn)、高品質(zhì)的統(tǒng)計數(shù)據(jù)。統(tǒng)計大數(shù)據(jù)契合了實用性追求，因為數(shù)據(jù)存在非結(jié)構(gòu)化、半結(jié)構(gòu)化、異構(gòu)和數(shù)量激增的情況，所以需要充分考慮用戶需要?；跀?shù)據(jù)本身的挖掘技術(shù)和強大集成能力，定向挖掘海量數(shù)據(jù)，做好分析，為決策提供支持。

二、技術(shù)角度

基于技術(shù)角度看，對于數(shù)據(jù)質(zhì)量有影響的主要包括三個條件，也就是數(shù)據(jù)分析、數(shù)據(jù)檢測識別、數(shù)據(jù)庫。借助于大數(shù)據(jù)技術(shù)和大數(shù)據(jù)分析技術(shù)，能夠為企業(yè)提供準(zhǔn)確預(yù)測能力，為企業(yè)制定準(zhǔn)確決策提供幫助和支持，展現(xiàn)大數(shù)據(jù)真正價值。

1.數(shù)據(jù)分析。在大數(shù)據(jù)時代背景下，大數(shù)據(jù)分析這項技術(shù)可以從容應(yīng)對統(tǒng)計數(shù)據(jù)的實時性、多樣性、海量困境和難題。大數(shù)據(jù)分析這項技術(shù)在統(tǒng)計體系中展現(xiàn)出來巨大的優(yōu)勢、巨大的價值。挖掘算法能夠有效改善不同格式和類型數(shù)據(jù)的問題，對統(tǒng)計方法進行補充和推進。依靠預(yù)測分析技術(shù)提升統(tǒng)計準(zhǔn)確性和時效性。

2.數(shù)據(jù)檢測。因為統(tǒng)計數(shù)據(jù)當(dāng)中的適用性、及時性和準(zhǔn)確性做不到量化。往往需要人們用直觀判斷方式解決。所以依靠公眾的條件做數(shù)據(jù)質(zhì)量提升十分困難?；谏芷诮嵌忍剿鲾?shù)據(jù)檢測能夠更好地監(jiān)督和反饋每一個環(huán)節(jié)所出現(xiàn)的統(tǒng)計數(shù)據(jù)，解決和彌補數(shù)據(jù)漏洞。在查缺補漏中對癥下藥，解決問題。完善和開發(fā)數(shù)據(jù)算法，打造合適的數(shù)據(jù)統(tǒng)計技術(shù)、檢測技術(shù)。比如質(zhì)量反饋和綜合評價體系。

3.數(shù)據(jù)庫技術(shù)。面對大數(shù)據(jù)時代背景，如今企業(yè)所呈現(xiàn)的數(shù)據(jù)是指數(shù)性增長的。數(shù)據(jù)資源的增加所展現(xiàn)的不僅是量的發(fā)展，同時結(jié)構(gòu)也發(fā)生了翻天覆地的變化。大數(shù)據(jù)最大的特點就是十分復(fù)雜。應(yīng)用傳統(tǒng)檢測方式識別和處理數(shù)據(jù)，會消耗非常多的時間和成本。從這一角度可以看到的是傳統(tǒng)數(shù)據(jù)在現(xiàn)如今的大數(shù)據(jù)時代下已經(jīng)不再適用。過去的存儲設(shè)備也很難應(yīng)對新時期的挑戰(zhàn)。企業(yè)有必要結(jié)合自身條件，配置性能更好的設(shè)備，要引進現(xiàn)代化技術(shù)，做好數(shù)據(jù)識別和檢測，發(fā)揮數(shù)據(jù)應(yīng)有作用。

目前大數(shù)據(jù)仍舊處于探索和起步階段。國內(nèi)的大數(shù)據(jù)存儲技術(shù)、分析技術(shù)需要更多的資源學(xué)習(xí)。不少企業(yè)當(dāng)前還在用傳統(tǒng)方法解決大數(shù)據(jù)問題，容易出現(xiàn)不少的偏差，難以發(fā)揮大數(shù)據(jù)最大的優(yōu)勢和價值。此外國內(nèi)當(dāng)前十分關(guān)注的數(shù)據(jù)分布存儲、并行計算技術(shù)有著很多優(yōu)勢。不過卻并沒有發(fā)揮智能化工具和大數(shù)據(jù)特點優(yōu)勢。管理者有必要按照實際條件做數(shù)據(jù)庫設(shè)計，配備智能檢測技術(shù)，保障數(shù)據(jù)質(zhì)量和數(shù)據(jù)效果。

三、管理維度

基于管理維度角度來看，對于管理來說，影響數(shù)據(jù)分析質(zhì)量的包括管理者認知度、數(shù)據(jù)庫人員配備、統(tǒng)計制度、統(tǒng)計標(biāo)準(zhǔn)。

1.管理認知度。管理人員一定要明確大數(shù)據(jù)價值和重要性，予以大數(shù)據(jù)建設(shè)更多重視。只有這樣才能夠讓大數(shù)據(jù)在未來獲得更好的發(fā)展環(huán)境，推進大數(shù)據(jù)建設(shè)。企業(yè)管理者如果不關(guān)心大數(shù)據(jù)價值，就會影響到大數(shù)據(jù)使用。

2.人員配備。從大數(shù)據(jù)特點看來，其本質(zhì)特征就是復(fù)雜，所以無法有效管理。面對此情此景，就需要擁有同時掌握企業(yè)業(yè)務(wù)和能夠解決技術(shù)難題的優(yōu)秀復(fù)合人才。只有這樣才可以保障數(shù)據(jù)質(zhì)量，發(fā)揮大數(shù)據(jù)本身應(yīng)有價值和作用。大數(shù)據(jù)視角下，需要這樣的人才，進一步挖掘大數(shù)據(jù)價值。

3.統(tǒng)計標(biāo)準(zhǔn)和體制。大數(shù)據(jù)時代下，統(tǒng)計制度改革成為很重要的工作。提升數(shù)據(jù)質(zhì)量時需要政府的支持。如果政府部門不具備獨立性，那么最后的統(tǒng)計質(zhì)量就會受到影響。這里的統(tǒng)計數(shù)據(jù)和管理考核、企業(yè)績效、政府政績關(guān)聯(lián)密切。以上因素很容易影響到統(tǒng)計數(shù)據(jù)。政府在統(tǒng)計環(huán)節(jié)負責(zé)對數(shù)據(jù)進行收集和整理，最后發(fā)布結(jié)果。假設(shè)該過程并不透明，沒有深度分析和挖掘數(shù)據(jù)，就無法展現(xiàn)數(shù)據(jù)的利用價值。統(tǒng)計部門和民間組織、企業(yè)需要充分交流，做好數(shù)據(jù)共享。目前國內(nèi)統(tǒng)計標(biāo)準(zhǔn)和國際標(biāo)準(zhǔn)存在差距，沒有及時更新是需要注意的問題。

四、結(jié)語

大數(shù)據(jù)背景下，必須做好統(tǒng)計制度體系的完善，充分銜接政府、企業(yè)以及民間機構(gòu)，做好數(shù)據(jù)資源的協(xié)同分析和共享工作，確保各部門能夠共享資源、共享信息，發(fā)揮信息最大化價值，提升統(tǒng)計數(shù)據(jù)的作用和質(zhì)量。要堅持政府統(tǒng)計獨立性，改變過去的統(tǒng)計隸屬關(guān)系問題。要建立垂直管理系統(tǒng)，做好地方政績和干部考核完善，落實實事求是追求，確保統(tǒng)計數(shù)據(jù)足夠客觀、足夠合理。