大數(shù)據(jù)環(huán)境下圖書館數(shù)據(jù)資源質(zhì)量評估與整體優(yōu)化研究

馬曉亭　李強

[摘要]圖書館已進入大數(shù)據(jù)時代，大數(shù)據(jù)的規(guī)模性、高速性和數(shù)據(jù)來源的多樣性，使數(shù)據(jù)產(chǎn)生不一致和沖突，嚴(yán)重影響了圖書館大數(shù)據(jù)決策的科學(xué)性。本文提出了一種圖書館大數(shù)據(jù)資源質(zhì)量評估與整體優(yōu)化的方法，可為用戶提供準(zhǔn)確高效的大數(shù)據(jù)質(zhì)量評價結(jié)果，并能夠大幅度提升圖書館大數(shù)據(jù)決策的科學(xué)性。

[關(guān)鍵詞]大數(shù)據(jù)；圖書館；數(shù)據(jù)資源；評估；優(yōu)化

Jim Gray的新摩爾定理認(rèn)為，大數(shù)據(jù)時代每隔18個月全球新增信息量是計算機有史以來全部信息量的總和。據(jù)國際數(shù)據(jù)資訊（IDC）公司監(jiān)測，全球數(shù)據(jù)量大約每兩年翻一番，預(yù)計到2020年，全球?qū)碛?5ZB的數(shù)據(jù)量，并且85%以上的數(shù)據(jù)以非結(jié)構(gòu)化或半結(jié)構(gòu)化的形式存在。伴隨云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的快速發(fā)展及其在圖書館服務(wù)中的廣泛應(yīng)用，圖書館的服務(wù)模式呈現(xiàn)出復(fù)雜、多樣化的發(fā)展趨勢，導(dǎo)致圖書館的數(shù)據(jù)總量與數(shù)據(jù)環(huán)境復(fù)雜度快速增長，并呈現(xiàn)出“4V+1C”的大數(shù)據(jù)特征（分別是數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)類型繁多（Variety）、價值密度低（Value）、處理速度快（Velocity）和具有較強的復(fù)雜性（Complexity），圖書館已進入大數(shù)據(jù)時代。

當(dāng)前，圖書館數(shù)據(jù)除具備大數(shù)據(jù)的“4V+1C”特征外，還具有數(shù)據(jù)來源多樣、多維度、突發(fā)性、異構(gòu)性、分布式、動態(tài)、實時和不完全等特點，復(fù)雜的數(shù)據(jù)環(huán)境在增加大數(shù)據(jù)處理、分析和科學(xué)決策的難度與復(fù)雜度同時，也降低了圖書館從數(shù)據(jù)中發(fā)現(xiàn)知識和大數(shù)據(jù)決策的有效性。例如谷歌公司利用Google搜索日志大數(shù)據(jù)進行流感監(jiān)測的方法（Google FlueTrend，GFT，谷歌流感趨勢），在2007-2008年的預(yù)測結(jié)果雖然與官方最終統(tǒng)計數(shù)據(jù)的相關(guān)性高達(dá)97%，但在2011-2012的流感季節(jié)，隨著日志數(shù)據(jù)復(fù)雜度的增長和可用性的下降，它的預(yù)測結(jié)果競比實際值高估了50%；而在2012-2013流感季節(jié)中，它預(yù)測的結(jié)果竟然是美國疾控中心（CDC）最終記錄結(jié)果的兩倍。此外，據(jù)估算，數(shù)據(jù)錯誤每年造成美國工業(yè)界經(jīng)濟損失約占GDP的6%，導(dǎo)致98000名患者喪生，大約50%的數(shù)據(jù)倉庫因數(shù)據(jù)質(zhì)量的問題而取消或延遲使用嘲。因此，隨著圖書館大數(shù)據(jù)總量、復(fù)雜度和價值量的快速增長，如何將數(shù)據(jù)質(zhì)量管理貫穿于圖書館大數(shù)據(jù)采集、傳輸、存儲、共享、維護、應(yīng)用和消亡的生命周期全程，并通過大數(shù)據(jù)價值的發(fā)現(xiàn)、判定、監(jiān)控、預(yù)警和優(yōu)化流程，不斷提升大數(shù)據(jù)的準(zhǔn)確性、完整性、實時性、價值密度、可控性和可用性，是圖書館全面挖掘大數(shù)據(jù)價值和提升大數(shù)據(jù)決策科學(xué)性，實現(xiàn)圖書館管理與服務(wù)，從館員“經(jīng)驗決策”向大數(shù)據(jù)“科學(xué)決策”轉(zhuǎn)變的重要保證。

1關(guān)系大數(shù)據(jù)決策科學(xué)性的數(shù)據(jù)質(zhì)量問題與數(shù)據(jù)價值保證

1.1數(shù)據(jù)噪聲影響了數(shù)據(jù)決策的正確性

預(yù)測專家納特·西爾弗在其著作《信號與噪聲》中分析到：“如果信息的數(shù)量以每天250兆億字節(jié)的速度增長，則其中有用的信息肯定接近于零。大部分信息都只是噪聲而已，而且噪聲的增長速度要比信號快得多?！庇纱丝磥恚髷?shù)據(jù)中的噪聲信號隨著大數(shù)據(jù)總量的增長而快速增長，且噪聲信號增長的速度要遠(yuǎn)大于價值數(shù)據(jù)增長的速度，并最終會將高價值數(shù)據(jù)淹沒于噪聲信號中，導(dǎo)致大數(shù)據(jù)的價值密度和數(shù)據(jù)決策可用性快速下降，嚴(yán)重干擾和影響大數(shù)據(jù)決策的科學(xué)性與準(zhǔn)確性。此外，大數(shù)據(jù)的結(jié)構(gòu)復(fù)雜度和數(shù)據(jù)價值發(fā)現(xiàn)的難度也隨著噪聲信號的增長而增長，將導(dǎo)致圖書館數(shù)據(jù)分析與決策過程中的系統(tǒng)資源損耗、算法復(fù)雜度和分析成本快速增長，最終會降低圖書館的大數(shù)據(jù)決策的可用性和收益率。第三，噪聲數(shù)據(jù)總量的快速增長會大幅提升圖書館對大數(shù)據(jù)庫存儲、數(shù)據(jù)處理和網(wǎng)絡(luò)傳輸能力的需求，增加了圖書館數(shù)據(jù)中心IT基礎(chǔ)設(shè)施系統(tǒng)的運營負(fù)荷。

1.2大數(shù)據(jù)的真實性與準(zhǔn)確性保證

為了保證大數(shù)據(jù)決策的科學(xué)性與可用性，圖書館通常利用用戶閱讀終端、傳感器、視頻監(jiān)控設(shè)備、監(jiān)控服務(wù)器和第三方共享數(shù)據(jù)，完成對圖書館IT系統(tǒng)設(shè)備運營、讀者個性化服務(wù)活動、讀者閱讀行為和圖書館管理等過程的全數(shù)據(jù)采集。由于圖書館源數(shù)據(jù)采集設(shè)備、采集方法和數(shù)據(jù)傳輸網(wǎng)絡(luò)性能的巨大差異性，導(dǎo)致所采集的大數(shù)據(jù)中存在著巨大數(shù)量的干擾數(shù)據(jù)、錯誤數(shù)據(jù)和低價值數(shù)據(jù)，因此，如何在大數(shù)據(jù)的采集、傳輸、處理和存儲過程中執(zhí)行科學(xué)的數(shù)據(jù)質(zhì)量管理策略，是圖書館提高大數(shù)據(jù)準(zhǔn)確性和決策科學(xué)性應(yīng)重點關(guān)注的問題。此外，圖書館大數(shù)據(jù)具有多源性和結(jié)構(gòu)多樣性的特點，會導(dǎo)致大數(shù)據(jù)的格式和質(zhì)量標(biāo)準(zhǔn)不統(tǒng)一，嚴(yán)重影響了大數(shù)據(jù)在處理、分析和決策過程中的可用性，因此，如何通過對大數(shù)據(jù)的清洗、濾噪和標(biāo)準(zhǔn)化處理等預(yù)處理方法檢查數(shù)據(jù)的準(zhǔn)確性與一致性，糾正大數(shù)據(jù)中的無效值和缺失值，也是圖書館增強大數(shù)據(jù)真實性、準(zhǔn)確性的重要步驟。

1.3大數(shù)據(jù)的價值因決策對象和方式的不同而動態(tài)變化

隨著“互聯(lián)網(wǎng)+”時代的到來，圖書館利用互聯(lián)網(wǎng)絡(luò)和計算機技術(shù)完成了讀者——服務(wù)器——物體三者的融化，實現(xiàn)了圖書館服務(wù)資源的優(yōu)化和大數(shù)據(jù)融合，提升了圖書館的服務(wù)創(chuàng)新力和讀者個性化服務(wù)定制水平。但是，“互聯(lián)網(wǎng)+”時代在提升圖書館大數(shù)據(jù)價值總量和可用性的同時，也使大數(shù)據(jù)的多源特性、開放性和數(shù)據(jù)關(guān)系復(fù)雜度進一步增強，大數(shù)據(jù)的價值也會隨著圖書館管理和服務(wù)決策的對象、方式不同而動態(tài)變化。其次，伴隨圖書館大數(shù)據(jù)總量和數(shù)據(jù)結(jié)構(gòu)復(fù)雜度的增長，大數(shù)據(jù)中的錯誤、缺失、冗余和不相關(guān)數(shù)據(jù)會嚴(yán)重影響大數(shù)據(jù)決策的效率與準(zhǔn)確性，因此，如何依據(jù)圖書館大數(shù)據(jù)決策的對象、方式和目標(biāo)來采集、處理、分析和應(yīng)用數(shù)據(jù)，是關(guān)系圖書館大數(shù)據(jù)決策收益率的重要因素。第三，大數(shù)據(jù)處理的“1秒定律”表明，大數(shù)據(jù)決策必須在秒級的時間范圍內(nèi)分析出結(jié)果并傳輸出去，如果超過了這個時間大數(shù)據(jù)就失去了價值。因此，圖書館如何有效結(jié)合大數(shù)據(jù)生命周期發(fā)展規(guī)律和數(shù)據(jù)價值在時間軸上的變化趨勢，實時、快速和動態(tài)地進行大數(shù)據(jù)決策，是提升圖書館大數(shù)據(jù)決策相關(guān)性和時效性的關(guān)鍵。

1.4數(shù)據(jù)的完整性與唯一性保證需求endprint

為了保證大數(shù)據(jù)的高價值性和可用性，圖書館在大數(shù)據(jù)采集中通常會采用對數(shù)據(jù)源進行全數(shù)據(jù)采集的方法。雖然采集的大數(shù)據(jù)具有較高的價值總量和決策可用性，但也存在著數(shù)據(jù)低價值密度和信息維度缺失的問題，會導(dǎo)致大數(shù)據(jù)結(jié)構(gòu)不完整和數(shù)據(jù)中的知識難以被挖掘。其次，多來源和多途徑采集大數(shù)據(jù)的方式，會導(dǎo)致圖書館大數(shù)據(jù)的結(jié)構(gòu)類型和數(shù)據(jù)集合的多樣性，數(shù)據(jù)管理員難以對大數(shù)據(jù)進行統(tǒng)一的描述、格式規(guī)范和標(biāo)準(zhǔn)化編碼。第三，由于大數(shù)據(jù)采集源的多樣性和采集過程的不間斷性，圖書館采集的大數(shù)據(jù)中會存在巨量的冗余和重復(fù)數(shù)據(jù)，這不但造成圖書館大數(shù)據(jù)庫的存儲成本上升和網(wǎng)絡(luò)傳輸效率下降，而且還導(dǎo)致大數(shù)據(jù)的結(jié)構(gòu)復(fù)雜、難以識別、以及低時效性和不準(zhǔn)確。因此，如何通過科學(xué)、高效的大數(shù)據(jù)重復(fù)檢測方法查找重復(fù)數(shù)據(jù)，有效地清除大數(shù)據(jù)存儲系統(tǒng)中重復(fù)的冗余文件和數(shù)據(jù)塊，對圖書館大數(shù)據(jù)的完整性與唯一性保證也有著重要的現(xiàn)實意義。

2大數(shù)據(jù)質(zhì)量維度的劃分與評估標(biāo)準(zhǔn)的構(gòu)建

圖書館大數(shù)據(jù)具有數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)類型繁多（Variety）、價值密度低（Value）、處理速度快（Velocity）的“4V”特征，并且大數(shù)據(jù)的“4V”特征隨著數(shù)據(jù)總量的指數(shù)增長而快速增強，致使大數(shù)據(jù)的質(zhì)量管理復(fù)雜性與難度不斷增長，嚴(yán)重影響了圖書館大數(shù)據(jù)決策的科學(xué)性和可用性㈣。大數(shù)據(jù)質(zhì)量的管理是一個貫穿于數(shù)據(jù)規(guī)范與標(biāo)準(zhǔn)制定、數(shù)據(jù)采集與處理、分析與決策、管理與使用、質(zhì)量評估與反饋優(yōu)化等大數(shù)據(jù)生命周期全程的活動，結(jié)合大數(shù)據(jù)生命周期全程中對數(shù)據(jù)的質(zhì)量和大數(shù)據(jù)決策科學(xué)性影響的最主要因素，本文設(shè)計的圖書館大數(shù)據(jù)質(zhì)量維度劃分與數(shù)據(jù)質(zhì)量評估流程如圖1所示：

大數(shù)據(jù)質(zhì)量主要由大數(shù)據(jù)的規(guī)范與標(biāo)準(zhǔn)化、大數(shù)據(jù)的表示與可讀性、大數(shù)據(jù)相關(guān)技術(shù)的科學(xué)性、大數(shù)據(jù)質(zhì)量的管理因素等4部分組成。大數(shù)據(jù)的規(guī)范與標(biāo)準(zhǔn)化評估指標(biāo)由數(shù)據(jù)的規(guī)范性與完整性、真實性與準(zhǔn)確性、唯一性、時效性、價值總量與密度、可用性與可控性等組成，是圖書館科學(xué)、批量、快速和高效處理與決策大數(shù)據(jù)的關(guān)鍵指標(biāo)。大數(shù)據(jù)的表示與可讀性評估指標(biāo)，與大數(shù)據(jù)存儲的模式和位置、元數(shù)據(jù)描述的準(zhǔn)確性、數(shù)據(jù)度量的標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)化的定義、數(shù)據(jù)知識表述的可理解性等組成，與所采集的大數(shù)據(jù)能否易于被解讀、知識發(fā)現(xiàn)和決策應(yīng)用有較強的相關(guān)性。大數(shù)據(jù)應(yīng)用相關(guān)技術(shù)的科學(xué)性主要涉及數(shù)據(jù)采集的誤差、網(wǎng)絡(luò)傳輸干擾、數(shù)據(jù)存儲效率、數(shù)據(jù)融合有效性、分析與決策科學(xué)性、噪聲過濾有效性等幾部分組成，這些技術(shù)與大數(shù)據(jù)的采集、去噪、價值挖掘、分析與決策過程有強相關(guān)性，這些指標(biāo)的參數(shù)將最終影響大數(shù)據(jù)價值發(fā)現(xiàn)過程的效率、成本、收益率和決策可用性。大數(shù)據(jù)質(zhì)量管理的評估指標(biāo)由數(shù)據(jù)生命周期管理科學(xué)性、管理人員的大數(shù)據(jù)素養(yǎng)、管理制度的科學(xué)性、制度執(zhí)行的有效性、數(shù)據(jù)的評估與優(yōu)化等部分組成，涉及圖書館大數(shù)據(jù)采集、管理和決策人員素質(zhì)，以及與大數(shù)據(jù)質(zhì)量管理機制相關(guān)的制度、流程和措施的評估等內(nèi)容，是大數(shù)據(jù)生命周期管理流程科學(xué)性、管理措施缺陷發(fā)現(xiàn)和效率評估質(zhì)量保證的關(guān)鍵環(huán)節(jié)。大數(shù)據(jù)質(zhì)量維度劃分與數(shù)據(jù)質(zhì)量評估標(biāo)準(zhǔn)的制定，應(yīng)隨著大數(shù)據(jù)4“v”特征和數(shù)據(jù)決策需求的變化而動態(tài)調(diào)整變化，并依據(jù)大數(shù)據(jù)決策科學(xué)性和可用性評估結(jié)果而反饋優(yōu)化，才能確保評估過程科學(xué)、高效、動態(tài)和可用。

3圖書館大數(shù)據(jù)質(zhì)量管理與優(yōu)化的流程

圖書館大數(shù)據(jù)質(zhì)量管理涉及大數(shù)據(jù)的產(chǎn)生、采集、傳輸、處理、存儲、分析、決策和銷毀生命周期全程的多個環(huán)節(jié)，主要包括數(shù)據(jù)需求質(zhì)量控制、數(shù)據(jù)的定義與規(guī)范、集成節(jié)點檢查數(shù)據(jù)質(zhì)量、大數(shù)據(jù)的清洗、數(shù)據(jù)質(zhì)量的評估、數(shù)據(jù)質(zhì)量管理流程的反饋優(yōu)化控制、大數(shù)據(jù)決策和數(shù)據(jù)過期銷毀等流程，不僅涉及對圖書館大數(shù)據(jù)質(zhì)量的管理和改善環(huán)節(jié)，而且還包括與大數(shù)據(jù)質(zhì)量保證相關(guān)性較大的系統(tǒng)組織、管理流程、質(zhì)量評估、質(zhì)量監(jiān)督等過程的優(yōu)化。本文設(shè)計的基于數(shù)據(jù)生命周期理論的圖書館大數(shù)據(jù)質(zhì)量管理與優(yōu)化流程如圖2所示。

數(shù)據(jù)需求管理是圖書館大數(shù)據(jù)生命周期的起始階段，數(shù)據(jù)管理員通過對大數(shù)據(jù)的需求進行預(yù)測、描述和分析，明確圖書館大數(shù)據(jù)定義與規(guī)范的標(biāo)準(zhǔn)、方法與步驟。大數(shù)據(jù)的定義與規(guī)范是圖書館依據(jù)大數(shù)據(jù)決策對數(shù)據(jù)質(zhì)量的要求，通過數(shù)據(jù)模型構(gòu)建、數(shù)據(jù)標(biāo)準(zhǔn)的定義與更新、數(shù)據(jù)語義的識別等操作，使圖書館對內(nèi)外部采集、傳輸、交換和使用的大數(shù)據(jù)能夠統(tǒng)一標(biāo)準(zhǔn)，確保所有大數(shù)據(jù)在數(shù)據(jù)業(yè)務(wù)屬性、技術(shù)屬性和質(zhì)量管理屬性上具有較高的一致性。集成節(jié)點檢查大數(shù)據(jù)質(zhì)量是指基于對大數(shù)據(jù)的準(zhǔn)確定義與規(guī)范，圖書館通過在數(shù)據(jù)采集節(jié)點、數(shù)據(jù)傳輸節(jié)點、數(shù)據(jù)存儲節(jié)點、大數(shù)據(jù)存儲庫等，這些與大數(shù)據(jù)采集、傳輸和交換緊密相關(guān)的數(shù)據(jù)集成點上進行基于抽樣方式的數(shù)據(jù)質(zhì)量檢查，來確定途經(jīng)這些關(guān)鍵節(jié)點的大數(shù)據(jù)是否滿足大數(shù)據(jù)決策對數(shù)據(jù)質(zhì)量的區(qū)間要求。大數(shù)據(jù)的清洗是圖書館在相關(guān)大數(shù)據(jù)傳輸、交換和存儲的數(shù)據(jù)節(jié)點上，依據(jù)數(shù)據(jù)節(jié)點上大數(shù)據(jù)質(zhì)量檢測的結(jié)果，通過數(shù)據(jù)清洗操作來提升大數(shù)據(jù)的一致性、唯一性、完整性和準(zhǔn)確性的過程。數(shù)據(jù)質(zhì)量的評估是圖書館對已清洗過的大數(shù)據(jù)進行質(zhì)量與可用性評估的過程，評估的標(biāo)準(zhǔn)包括大數(shù)據(jù)的正確性、實時性、規(guī)范性、業(yè)務(wù)邏輯性、完整性、相關(guān)性、重復(fù)性和可用性等8個方面的內(nèi)容，大數(shù)據(jù)質(zhì)量的評估應(yīng)堅持智能、實時、動態(tài)和自動化的原則，為大數(shù)據(jù)的質(zhì)量管理與控制提供科學(xué)的決策依據(jù)。大數(shù)據(jù)質(zhì)量評估后，評估結(jié)果如果滿足圖書館大數(shù)據(jù)決策對數(shù)據(jù)質(zhì)量的要求，則將合格大數(shù)據(jù)傳輸至大數(shù)據(jù)分析與決策系統(tǒng)，為圖書館的系統(tǒng)管理、用戶服務(wù)和宏觀發(fā)展提供科學(xué)的數(shù)據(jù)決策支持，并在數(shù)據(jù)決策后對過期數(shù)據(jù)進行銷毀。大數(shù)據(jù)質(zhì)量評估結(jié)果如果不滿足圖書館大數(shù)據(jù)決策對數(shù)據(jù)質(zhì)量的要求，則依據(jù)評估結(jié)果明確大數(shù)據(jù)在數(shù)據(jù)的正確性、實時性、規(guī)范性與可用性等數(shù)據(jù)質(zhì)量維度上存在的問題，并通過數(shù)據(jù)質(zhì)量評估結(jié)果對數(shù)據(jù)需求質(zhì)量控制、數(shù)據(jù)的定義與規(guī)范、集成節(jié)點上大數(shù)據(jù)質(zhì)量的檢查、大數(shù)據(jù)的清洗等，大數(shù)據(jù)生命周期相關(guān)重要環(huán)節(jié)的反饋控制、規(guī)范和優(yōu)化，最終提升大數(shù)據(jù)的價值量和可用性，為圖書館大數(shù)據(jù)決策提供科學(xué)、可靠的大數(shù)據(jù)質(zhì)量保證。

4結(jié)束語

大數(shù)據(jù)的質(zhì)量管理與數(shù)據(jù)價值保證，是一個關(guān)系圖書館大數(shù)據(jù)可用性和大數(shù)據(jù)決策科學(xué)性的重要問題，與圖書館IT服務(wù)系統(tǒng)構(gòu)建、用戶服務(wù)模式變革、讀者個性化服務(wù)定制與推送、個性化服務(wù)的質(zhì)量保證等息息相關(guān)。因此，在圖書館大數(shù)據(jù)質(zhì)量的管理中，我們應(yīng)將圖書館員、大數(shù)據(jù)決策需求、數(shù)據(jù)質(zhì)量管理的流程和大數(shù)據(jù)質(zhì)量保障的相關(guān)技術(shù)完美結(jié)合，依據(jù)圖書館大數(shù)據(jù)決策對數(shù)據(jù)質(zhì)量的要求，科學(xué)構(gòu)建大數(shù)據(jù)的質(zhì)量監(jiān)控、管理、評估和優(yōu)化體系，并將大數(shù)據(jù)的質(zhì)量管理融人大數(shù)據(jù)的需求分析、定義、采集、清洗、處理、決策和銷毀生命周期全程中去，才能確保圖書館大數(shù)據(jù)安全、高價值、實時和可用，才能為圖書館服務(wù)系統(tǒng)構(gòu)建和讀者個性化服務(wù)推送提供科學(xué)、可靠的大數(shù)據(jù)決策支持。endprint