淺談大數(shù)據(jù)應(yīng)用的質(zhì)量控制

朱啟亮

（中國建設(shè)銀行遵義市分行，貴州 遵義 563000）

目前國內(nèi)各領(lǐng)域行業(yè)已經(jīng)開始重視對大數(shù)據(jù)的應(yīng)用，人們生活、工作方式得益于大數(shù)據(jù)應(yīng)用而發(fā)生轉(zhuǎn)變，隨著我國對大數(shù)據(jù)價值挖掘及其應(yīng)用的研究逐漸深入，目前已經(jīng)取得初步成效。但是大數(shù)據(jù)應(yīng)用并非百利而無一害，因大數(shù)據(jù)自身冗余性、復(fù)雜性、涌現(xiàn)性等特點的存在，使得大數(shù)據(jù)應(yīng)用期間稍有不慎就會出現(xiàn)質(zhì)量問題。正因此，探究大數(shù)據(jù)應(yīng)用的質(zhì)量控制，對于促進大數(shù)據(jù)應(yīng)用價值的體現(xiàn)有著重要影響。

一、大數(shù)據(jù)質(zhì)量概述

現(xiàn)階段大數(shù)據(jù)采集、處理及其應(yīng)用過程中，其數(shù)據(jù)質(zhì)量始終是人們的關(guān)注重點。而目前學(xué)術(shù)界對大數(shù)據(jù)質(zhì)量的定義尚未明確統(tǒng)一。國內(nèi)外分別從數(shù)據(jù)可得性、分析框架、數(shù)據(jù)分析與判斷、數(shù)據(jù)代表性等方面進行探究，并得出不同結(jié)論。立足于數(shù)據(jù)特征、用戶需求角度進行分析，本文認為大數(shù)據(jù)質(zhì)量涉及到經(jīng)濟性、及時性、適用性、準(zhǔn)確性以及完整性等方面。同時考慮到大數(shù)據(jù)存在的復(fù)雜性、不確定性特點，數(shù)據(jù)質(zhì)量還需囊括可分析性、可得性等要素。由此表明，大數(shù)據(jù)質(zhì)量是指在滿足用戶需求的基礎(chǔ)上，進行準(zhǔn)確性、及時性、可得性等上述要素的衡量，且各要素需體現(xiàn)在大數(shù)據(jù)形成、挖掘及其分析使用等全過程中。

二、大數(shù)據(jù)應(yīng)用質(zhì)量問題的分析

（一）與數(shù)據(jù)使用目的存在較低的契合度

用戶數(shù)據(jù)使用出現(xiàn)質(zhì)量問題的最根本因素在于契合度的缺失，通常情況下，除天文觀測、基因檢測之外，大數(shù)據(jù)的生成并非以特定目的或需求為根源，只是在現(xiàn)代信息技術(shù)廣泛普及下衍生出的數(shù)據(jù)資源。從某種角度而言，大數(shù)據(jù)的形成屬于自然過程，而傳統(tǒng)數(shù)據(jù)的生成會以相關(guān)統(tǒng)計目的或需求為前提。所以數(shù)據(jù)使用期間，要想保證其數(shù)據(jù)使用契合用戶需求，需以數(shù)據(jù)篩選、挖掘為必要手段。有人將大數(shù)據(jù)挖掘過程比作“大海撈針”的過程，由此體現(xiàn)出海量數(shù)據(jù)信息的低密度價值，所以用戶數(shù)據(jù)使用過程中極易出現(xiàn)不契合使用目的的問題。

（二）數(shù)據(jù)系統(tǒng)性誤差可能性的產(chǎn)生

無論是傳統(tǒng)數(shù)據(jù)還是大數(shù)據(jù)，誤差的產(chǎn)生不可避免。諸多客觀、主觀因素的影響下使得大數(shù)據(jù)應(yīng)用出現(xiàn)誤差問題，而其中誤差又分為系統(tǒng)性誤差與偶然性誤差。相較于偶然誤差而言，系統(tǒng)性誤差的產(chǎn)生更難以被有效測度、鑒別，尤其是在試用期間因操作不當(dāng)形成的系統(tǒng)性誤差。分析系統(tǒng)性誤差的出現(xiàn)情況，具體體現(xiàn)為：1.數(shù)據(jù)未做到全面覆蓋，繼而在應(yīng)用期間出現(xiàn)偏差，即未覆蓋數(shù)據(jù)特征與大戶數(shù)特征存在明顯差異；2.在人群相互影響下前提下，所形成的具有方向性特點的數(shù)據(jù)品茶，以微信群為例，相互影響下群友所探討的內(nèi)容可能出現(xiàn)共性偏差；3.因個體小數(shù)據(jù)存不確定因素，使得大數(shù)據(jù)應(yīng)用出現(xiàn)傾向性偏差，如社交平臺中人們通常會選擇對自身性別、年齡、外表等進行美化、夸大等，導(dǎo)致大數(shù)據(jù)應(yīng)用出現(xiàn)較大誤差。

（三）數(shù)據(jù)可比性問題突出

可比性是大數(shù)據(jù)發(fā)揮出應(yīng)有價值的關(guān)鍵所在，針對傳統(tǒng)數(shù)據(jù)而言，因其在測度標(biāo)準(zhǔn)、獲取方式、指標(biāo)定義、銜接調(diào)整、獲取范圍等方面有著嚴(yán)格要求，所以傳統(tǒng)數(shù)據(jù)在時間、空間等方面有較強的可比性。但是大數(shù)據(jù)受到表現(xiàn)多樣性、測度非標(biāo)準(zhǔn)、非統(tǒng)一來源區(qū)域、形態(tài)復(fù)雜性、語境差異性等方面的影響，使得數(shù)據(jù)不存在時間連續(xù)可比性，在空間方面同樣缺失橫向比對性。即便能夠做到大量生產(chǎn)數(shù)據(jù)資源的谷歌、百度等企業(yè)，受到標(biāo)準(zhǔn)要求、范疇變化等方面的影響，也難以以一致性的標(biāo)準(zhǔn)進行前后數(shù)據(jù)的控制，在實際統(tǒng)計分析過程中無法體現(xiàn)出大數(shù)據(jù)的可比性。

三、大數(shù)據(jù)應(yīng)用的質(zhì)量控制對策

盡管大數(shù)據(jù)應(yīng)用期間些許質(zhì)量問題的存在影響到其作用與價值的體現(xiàn)，但是現(xiàn)階段大數(shù)據(jù)應(yīng)用已然成為我國社會發(fā)展建設(shè)的主要趨勢，所以亟需借助相關(guān)對策措施來加強對大數(shù)據(jù)應(yīng)用質(zhì)量的控制。

（一）重視對理論準(zhǔn)備的完善

要想進一步提升大數(shù)據(jù)的應(yīng)用質(zhì)量，需要以完善理論支撐入手，站在理論層面進行大數(shù)據(jù)表現(xiàn)與特征的探討分析，避免大數(shù)據(jù)應(yīng)用受到盲目探索的影響。在實際應(yīng)用期間，需在全面掌握大數(shù)據(jù)內(nèi)涵的基礎(chǔ)上，結(jié)合以下幾點完善大數(shù)據(jù)的理論準(zhǔn)備：1.大數(shù)據(jù)來源認知的轉(zhuǎn)變。基于現(xiàn)代信息、互聯(lián)網(wǎng)等技術(shù)的普及應(yīng)用，目前數(shù)據(jù)的定義不再是只能用于數(shù)字表現(xiàn)、加減乘除應(yīng)用的數(shù)據(jù)，所有可記錄的事實均能以數(shù)據(jù)的形式體現(xiàn)。所以大數(shù)據(jù)的構(gòu)成包括非結(jié)構(gòu)化數(shù)據(jù)如聲音、文字、表情、文本、視頻等，以及相關(guān)數(shù)字化信息等。做到在統(tǒng)計學(xué)范圍內(nèi)納入上述數(shù)據(jù)信息，并嘗試在當(dāng)前統(tǒng)計學(xué)教材中進行大數(shù)據(jù)理論知識的增設(shè)，以幫助人們加深對大數(shù)據(jù)的掌握，拓展對于數(shù)據(jù)應(yīng)用的視野。2.總體、個體、變量等認知的轉(zhuǎn)變。數(shù)據(jù)的應(yīng)用需要以用戶明確數(shù)據(jù)類型為基礎(chǔ)，即掌握所使用的數(shù)據(jù)對應(yīng)的個體、總體以及變量表達。不同于傳統(tǒng)數(shù)據(jù)而言，大數(shù)據(jù)的使用無法明確數(shù)據(jù)的個體、總體，所以其傳統(tǒng)變量、個體、總體的定義不適用于大數(shù)據(jù)中。為此可結(jié)合以下方面進行大數(shù)據(jù)處理的優(yōu)化。一方面是大數(shù)據(jù)應(yīng)用目的是相關(guān)規(guī)律的探索，那么其總體可以確定為特定時段內(nèi)的所有數(shù)據(jù)，而個體則是截取數(shù)據(jù)內(nèi)的每一個具體數(shù)據(jù)，同時依據(jù)大數(shù)據(jù)分析目的、方向來確定變量。另一方面則是從具體數(shù)據(jù)的分析入手，進行來源背后事物、人物等方面的調(diào)查，經(jīng)過核對檢驗后進行個體、總體的科學(xué)定義。

（二）重視對質(zhì)量控制方案的構(gòu)建

完整且科學(xué)的質(zhì)控方案是發(fā)揮出大數(shù)據(jù)價值與作用的關(guān)鍵所在，而針對質(zhì)控方案的制定，需依據(jù)對用戶需求的分析，從事前、事中、事后三方面進行方案的優(yōu)化。針對事前控制而言，首先結(jié)合實際情況進行數(shù)據(jù)源、使用目的的分析研究，明確大數(shù)據(jù)應(yīng)用的具體需求與目的。其次是判斷能否獲取相應(yīng)的數(shù)據(jù)，并精準(zhǔn)界定數(shù)據(jù)選擇的范圍，以相關(guān)法律制度為參照，確定數(shù)據(jù)生產(chǎn)者與使用者的權(quán)利、職責(zé)。針對事中控制而言，需做到在應(yīng)用期間重視對數(shù)據(jù)對接的強化開展，以明確數(shù)據(jù)特點、使用目的、數(shù)據(jù)分類、數(shù)據(jù)測度為前提，以標(biāo)準(zhǔn)化的形式處理大數(shù)據(jù)與相關(guān)數(shù)據(jù)的銜接。例如政府CPI 需要以相應(yīng)的原則與方法來應(yīng)用、處理京東、阿里巴巴平臺纏產(chǎn)生的數(shù)據(jù)，依照相關(guān)標(biāo)準(zhǔn)進行數(shù)據(jù)的分類，結(jié)合對價格、銷售數(shù)量等方面的分析，進行CPI 層次權(quán)數(shù)的科學(xué)調(diào)整。再次，按照規(guī)定要求進行數(shù)據(jù)修補與審核，為避免些許完整性、準(zhǔn)確性問題的存在而影響到大數(shù)據(jù)的利用，需在事中控制階段進行數(shù)據(jù)修補、清晰等。最后，加強數(shù)據(jù)驗證與比對，若大數(shù)據(jù)的獲取存在來源差異的情況，需要進行同步比較，通過對內(nèi)涵質(zhì)量差異的控制來提升數(shù)據(jù)可比性。針對事后控制而言，則強調(diào)對大數(shù)據(jù)使用過程進行總體性評估、分析以及總結(jié)，具體涉及到有效性評估、邏輯性檢查等。并在使用后階段比對數(shù)據(jù)使用前后的差異，若存在差異則需深入挖掘其成因。

（三）重視對小數(shù)據(jù)的研究

小數(shù)據(jù)是形成大大數(shù)據(jù)資源的關(guān)鍵所在，是指個體、單個事物特征反映的數(shù)據(jù)，例如姓名、籍貫、性別、民族、體重等，主要體現(xiàn)為個人基本特征小數(shù)據(jù)，個人身體健康體現(xiàn)的小數(shù)據(jù)集則包括內(nèi)外科、血常規(guī)、眼鼻喉等體檢數(shù)據(jù)等[6]。針對大數(shù)據(jù)的應(yīng)用，在某種程度而言可以體現(xiàn)為對小數(shù)據(jù)的利用，所以大數(shù)據(jù)契合性低、系統(tǒng)性誤差等問題的產(chǎn)生，均受到小數(shù)據(jù)生成的直接影響。所以，需要加大對小數(shù)據(jù)的研究與控制力度，依據(jù)實際需求加大對小數(shù)據(jù)影響因素、變化情況、來源等方面的研究與評估，做到按照規(guī)定標(biāo)準(zhǔn)進行小數(shù)據(jù)系統(tǒng)性的審核，結(jié)合對小數(shù)據(jù)集生成過程、動態(tài)變化過程的梳理，實現(xiàn)通過小數(shù)據(jù)集質(zhì)量控制來促進大數(shù)據(jù)價值體現(xiàn)。

四、結(jié)語

綜上所述，大數(shù)據(jù)時代背景下如何最大化體現(xiàn)出大數(shù)據(jù)的價值及作用，需要以數(shù)據(jù)應(yīng)用質(zhì)量的控制為支撐。對此，需深度剖析大數(shù)據(jù)應(yīng)用存在的質(zhì)量問題，在此基礎(chǔ)上結(jié)合科學(xué)措施來提升大數(shù)據(jù)質(zhì)量控制水平。