利用大數(shù)據(jù)對數(shù)據(jù)質(zhì)量進行驗證研究

王櫻潼

中圖分類號：F253.3 文獻標識：A 文章編號：1674-1145（2019）6-147-02

摘 要 大數(shù)據(jù)在當今時代背景下占據(jù)著主導(dǎo)性的地位，若大數(shù)據(jù)由于數(shù)據(jù)質(zhì)量不夠精準而導(dǎo)致最終決策錯誤將帶來毀滅性的后果，本文將分析大數(shù)據(jù)以及數(shù)據(jù)質(zhì)量的基本特征，基本特點以及在容易出現(xiàn)問題的方面以大數(shù)據(jù)為根本對數(shù)據(jù)質(zhì)量進行驗證研究。并對大數(shù)據(jù)以及數(shù)據(jù)質(zhì)量會出現(xiàn)問題的方面一一列舉出來并提出解決方案。

關(guān)鍵詞 大數(shù)據(jù) 數(shù)據(jù)質(zhì)量 特點 性質(zhì) 問題 原因

一、大數(shù)據(jù)與數(shù)據(jù)質(zhì)量

“大數(shù)據(jù)”是必要新處置模式才氣具備更強的決議計劃力、洞察發(fā)明力和流程優(yōu)化本領(lǐng)來順應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。——研究機構(gòu)Gartner

一種規(guī)模大在獲得、存儲、辦理、闡發(fā)方面大大超越了傳統(tǒng)數(shù)據(jù)庫軟件東西本領(lǐng)規(guī)模的數(shù)據(jù)調(diào)集。——麥肯錫全球研究所

而且，它從發(fā)生便具備海量的數(shù)據(jù)范圍、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和代價密度低四大特色和5V特色（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低代價密度）、Veracity（真實性）?！按髷?shù)據(jù)”中的“大”并不僅僅代表著數(shù)據(jù)量之大，也代表了其潛在的數(shù)據(jù)價值之大。根據(jù)研究顯示，更多增強企業(yè)生產(chǎn)能力和競爭能力的機會以及巨大的潛在商業(yè)價值均來自于有效地管理、使用大數(shù)據(jù)。例如在制造領(lǐng)域，大數(shù)據(jù)被嵌入在產(chǎn)品中的傳感器所傳輸，可以為企業(yè)開發(fā)新型的售后服務(wù)項目，以及為開發(fā)下一代新產(chǎn)品提供了數(shù)據(jù)基礎(chǔ)。又如在醫(yī)療領(lǐng)域，患者的臨床和行為數(shù)據(jù)往往是最能體現(xiàn)患者需求的數(shù)據(jù)，對此數(shù)據(jù)進行有效的分析，可以更深入地了解患者的病癥并對其病癥做出更準確的判斷，給予更舒適的護理計劃。

而大數(shù)據(jù)的潛在價值又是怎樣做才能被挖掘出來呢？隨著云時代的到來，大數(shù)據(jù)與云計算逐漸形成一種密不可分的關(guān)系，大數(shù)據(jù)作為企業(yè)決策的基礎(chǔ)不能只有單純的數(shù)據(jù)量，更有配合適當?shù)姆治瞿Ｐ鸵约跋鄳?yīng)的技術(shù)手段，對大量數(shù)據(jù)進行有效的深加工深處理，才可挖掘出大數(shù)據(jù)的潛在價值。往往潛在價值中的信息更容易幫助企業(yè)作出相關(guān)決策發(fā)揮大數(shù)據(jù)的真正效用。

作為大數(shù)據(jù)必然用有著龐大的數(shù)據(jù)量，而如此龐大的數(shù)據(jù)量自然無法用單臺的計算機進行處理，只能采用分布式架構(gòu)，對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘，這是它所擁有的獨一無二的特色。但若是沒有云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)，它也無法發(fā)揮它原本的作用更無法為企業(yè)帶來優(yōu)勢。

以云時代為背景，大數(shù)據(jù)的快速發(fā)展很有可能成為新一輪的技術(shù)革命。隨著互聯(lián)網(wǎng)的快速普及，信息技術(shù)逐漸和人類生活相互融合，導(dǎo)致全球的數(shù)據(jù)呈現(xiàn)爆發(fā)增長，海量聚焦的一面。而數(shù)據(jù)作為本世紀最珍貴的財產(chǎn)，并不比石油遜色半分。在信息化發(fā)展到目前這一階段，大數(shù)據(jù)對經(jīng)濟發(fā)展、社會秩序、國家治理、人民生活都有著不同程度的影響。在當前這個局勢下，數(shù)據(jù)就等于主動權(quán)，世界各國都把推進經(jīng)濟數(shù)字化作為實現(xiàn)創(chuàng)新發(fā)展的重要動能，在技術(shù)研發(fā)、數(shù)據(jù)共享、安全保護等方面進行前瞻性布局。

“數(shù)據(jù)質(zhì)量：數(shù)據(jù)對其在操作、決策支持和規(guī)劃中扮演角色的適應(yīng)程度?！薄S基百科

數(shù)據(jù)質(zhì)量作為信息系統(tǒng)的主要組成部分，它的質(zhì)量問題是影響信息系統(tǒng)運行的關(guān)鍵因素，信息系統(tǒng)扶植的成敗也取決于數(shù)據(jù)質(zhì)量的黑白。根據(jù)“垃圾進，垃圾出（garbage in，garbage out）”這一原理，若是想讓信息系統(tǒng)的建設(shè)取得預(yù)期效果，達到理想的目標，就應(yīng)保證有良好的數(shù)據(jù)質(zhì)量，能夠準確反映客觀事實，對信息系統(tǒng)所提供的數(shù)據(jù)具有可信度，可靠度和真實度。如果是據(jù)質(zhì)量達不到標準值，不管數(shù)據(jù)分析的工具如何先進，模型如何合理，算法如何優(yōu)良，都達不到預(yù)期目標。在充滿著“垃圾”的環(huán)境里得到的也都是沒有意義的垃圾信息，對后續(xù)將要做出的政策的制定和實行都有著毀滅性影響。而高質(zhì)量的數(shù)據(jù)來源于數(shù)據(jù)收集，因此，信息系統(tǒng)數(shù)據(jù)質(zhì)量的管理便顯得尤為重要。成立一個有用的數(shù)據(jù)質(zhì)量管理體系是進步數(shù)據(jù)質(zhì)量的一個體例，可以使數(shù)據(jù)質(zhì)量獲得有用的進步，使“垃圾”數(shù)據(jù)盡量多的削減，使挖掘出的數(shù)據(jù)信息盡量多的到達精準，進而使政策的擬定和實施更可以或許到達目標。使“垃圾”數(shù)據(jù)盡可能多的減少，使挖掘出的數(shù)據(jù)信息盡可能多的達到精準，進而使政策的制定和實行更能夠達到目的。

按照數(shù)據(jù)質(zhì)量問題估算查詢拜訪表現(xiàn)：數(shù)據(jù)毛病每一年對美國工業(yè)界造成的經(jīng)濟損失信占GDP的6%。在醫(yī)療事故中因數(shù)據(jù)統(tǒng)計而出現(xiàn)的決策性失誤導(dǎo)致了近98000名患者喪失生命，在金融企業(yè)中因數(shù)據(jù)質(zhì)量問題導(dǎo)致的信用卡欺詐失察在2008年即造成48億美元的損失。由此可見，數(shù)據(jù)質(zhì)量對大數(shù)據(jù)產(chǎn)生毀滅性的影響進而影響進一步所做出的判斷與決策，更使決策在實施時出現(xiàn)偏差導(dǎo)致無法挽回的后果。

二、出現(xiàn)問題的原因以及發(fā)展趨勢下的解決方案

（一）出現(xiàn)問題的原因

1.由于大數(shù)據(jù)的規(guī)模較大且環(huán)節(jié)較多，在獲取、存儲、傳輸和計算的過程中容易出現(xiàn)很多錯誤，而又因為數(shù)據(jù)量的龐大是我們無法采用人工錯誤檢測與修復(fù)或簡單的程序匹配處理，所以，大數(shù)據(jù)容易出現(xiàn)不精準這一問題。

2.由于大數(shù)據(jù)的高速性，整個過程更容易產(chǎn)生不一致數(shù)據(jù)，并且由于目前經(jīng)濟以及國內(nèi)形勢發(fā)展迅速，市場龐大，廠商眾多，直接產(chǎn)生的數(shù)據(jù)便有很多遺漏、出錯以及有偏差等數(shù)據(jù)的產(chǎn)生也為整個人工錯誤檢測與修復(fù)帶來了巨大的困難。

3.在數(shù)據(jù)搜集時，大數(shù)據(jù)的多樣性來歷也致使了數(shù)據(jù)質(zhì)量的誤差。來源于眾多地區(qū)、結(jié)構(gòu)均不相同、數(shù)據(jù)量大且都不統(tǒng)一的數(shù)據(jù)源之間存在著沖突、不一致和相互矛盾的現(xiàn)象。隨著時代的進步，生活節(jié)奏的加快，生產(chǎn)源頭也不斷增加，產(chǎn)生數(shù)據(jù)的來源便多不勝數(shù)，系統(tǒng)的更新升級以及應(yīng)用技術(shù)的更新加快也間接的導(dǎo)致了相同的或是不同的數(shù)據(jù)源之間都有可能存在著沖突以及不一致的現(xiàn)象，而數(shù)據(jù)的整理以及集成都由很多組的人員來操作，這也加大了數(shù)據(jù)質(zhì)量的誤差以及出錯率。

（二）發(fā)展趨勢下的解決方案

在當前數(shù)據(jù)資源化的背景下企業(yè)必須要依靠大數(shù)據(jù)提前制定大數(shù)據(jù)營銷戰(zhàn)略方案，對市場有足夠的敏銳度，與云計算的深度結(jié)合、科學(xué)理論的變革以及數(shù)據(jù)科學(xué)的建立都將被大數(shù)據(jù)進一步影響，也是大數(shù)據(jù)走到今天所帶來的影響與達到的效果。而近幾年，數(shù)據(jù)大量泄露，安全措施已出現(xiàn)問題，客戶以及企業(yè)本身的信息得不到保障導(dǎo)致很多企業(yè)由于數(shù)據(jù)的泄露而被迫倒閉。可近幾年，數(shù)據(jù)管理成為核心競爭力，直接對財務(wù)表現(xiàn)產(chǎn)生巨大影響。數(shù)據(jù)管理在近幾年逐步成為企業(yè)焦點競爭力，企業(yè)數(shù)據(jù)的辦理焦點逐步由戰(zhàn)略性計劃、應(yīng)用數(shù)據(jù)資產(chǎn)和持續(xù)發(fā)展的空間所構(gòu)成，而數(shù)據(jù)質(zhì)量則是讓企業(yè)持續(xù)發(fā)展的主要指標，數(shù)據(jù)質(zhì)量不達標將致使企業(yè)焦點競爭力弱化，管理焦點逐步散漫，終究使企業(yè)破產(chǎn)。企業(yè)數(shù)據(jù)的管理核心逐漸由戰(zhàn)略性規(guī)劃、運用數(shù)據(jù)資產(chǎn)以及持續(xù)發(fā)展的空間所組成，而數(shù)據(jù)質(zhì)量則是讓企業(yè)持續(xù)發(fā)展的重要指標，數(shù)據(jù)質(zhì)量不達標將導(dǎo)致企業(yè)核心競爭力弱化，管理核心逐漸渙散，最終使企業(yè)破產(chǎn)。在當下這個環(huán)境背景下，可以從完整性，一致性，準確性和及時性四個方面來評估數(shù)據(jù)質(zhì)量，通過量化指標我們可以了解到當前的數(shù)據(jù)質(zhì)量，以及采取修正措施后的修正程度。而對于海量的數(shù)據(jù)，質(zhì)量指標無法通過人工來獲取，我們需要有一個對應(yīng)的流程以及精確的步驟，并將每一步會出現(xiàn)的差錯幾率降到最小，在保證數(shù)據(jù)完整，一致的前提下確定精準及時的數(shù)據(jù)來分析并構(gòu)成大數(shù)據(jù)，得出大數(shù)據(jù)中隱含的信息，為企業(yè)助力。

三、利用大數(shù)據(jù)驗證數(shù)據(jù)質(zhì)量

大數(shù)據(jù)經(jīng)過一系列的程序會看出隱藏在數(shù)據(jù)中的信息，若是數(shù)據(jù)質(zhì)量不夠高或是過程不夠精準都會對最終結(jié)果產(chǎn)生不可估量的影響。而用大數(shù)據(jù)最后得出的結(jié)論或是決策來驗證數(shù)據(jù)質(zhì)量是再適合不過的了。

首先，若數(shù)據(jù)質(zhì)量出現(xiàn)問題，那么最后的決策便會出現(xiàn)偏差，在實施的時候更是會導(dǎo)致無法挽回的后果。而在實施之前先用結(jié)果對數(shù)據(jù)質(zhì)量進行驗證便會減少出問題的幾率，也會減少出現(xiàn)無法挽回的后果的幾率，在當今時代，大數(shù)據(jù)作為企業(yè)的核心，更是不能出半點差錯，而數(shù)據(jù)質(zhì)量則對大數(shù)據(jù)有著至關(guān)重要的作用。

其次，每個企業(yè)都有著自己固定的數(shù)據(jù)源但是從不同的數(shù)據(jù)源中傳出的數(shù)據(jù)有可能會產(chǎn)生不一致以及對沖。所以有可能本公司的大數(shù)據(jù)結(jié)論與國家政府的大數(shù)據(jù)結(jié)論出現(xiàn)不一致的現(xiàn)象。所以應(yīng)先根據(jù)得出的決策進行驗證研究，在確保數(shù)據(jù)質(zhì)量的前提下，將垃圾數(shù)據(jù)篩除，重新建立大數(shù)據(jù)，重新得出結(jié)論以及決策。

最后，由大數(shù)據(jù)來反驗證數(shù)據(jù)質(zhì)量可以說是驗證數(shù)據(jù)質(zhì)量最精準的方式了，在大數(shù)據(jù)的慧眼下，數(shù)據(jù)質(zhì)量的一切小毛病都將無處遁形，為了更精準的數(shù)據(jù)質(zhì)量，為了更準確的做出決策，為了使決策更完好的實施，用大數(shù)據(jù)對數(shù)據(jù)質(zhì)量進行驗證研究是必不可少的，在當今環(huán)境下，大數(shù)據(jù)的比拼逐漸激烈化，只有掌握最精準的數(shù)據(jù)，才能做出最精確的決策，才能在當今時代立穩(wěn)腳跟，否則，被淘汰、被落下甚至于倒閉推出都不是沒可能的。

四、結(jié)語

根據(jù)上文所述，數(shù)據(jù)質(zhì)量對大數(shù)據(jù)來說至關(guān)重要，良好的數(shù)據(jù)質(zhì)量可以使企業(yè)更上一層樓，而“垃圾”數(shù)據(jù)則將會影響大數(shù)據(jù)的隱含信息并對最終得出的結(jié)論產(chǎn)生不可估量的影響，帶來無法挽回的后果。所以，我們應(yīng)盡快解決數(shù)據(jù)質(zhì)量的問題，使數(shù)據(jù)質(zhì)量有一定的保障，利用大數(shù)據(jù)對數(shù)據(jù)質(zhì)量進行驗證是最能體現(xiàn)數(shù)據(jù)質(zhì)量的方法，決策經(jīng)過驗證后便會更加完善得體，實施時也會減少出現(xiàn)意外的概率。

參考文獻：

[1]張翠紅，劉毅.財務(wù)管理[M].西南財經(jīng)大學(xué)出版社，2017（7）.

[2]李建中，王宏志.數(shù)據(jù)質(zhì)量：大數(shù)據(jù)的新側(cè)面[N].科技日報.