大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)

張巖

摘要：本文首先介紹了什么是大數(shù)據(jù)，其次對(duì)大數(shù)據(jù)帶給圖書館的影響和挑戰(zhàn)進(jìn)行了分析。

關(guān)鍵詞：大數(shù)據(jù)；圖書館；影響；挑戰(zhàn)

前言：大數(shù)據(jù)的英文名稱為Big data，它和Web2.0、云計(jì)算一起被評(píng)為媒體最為關(guān)注的科技新詞，它一出現(xiàn)就引起了IT領(lǐng)域的巨大關(guān)注。早在2012年3月的時(shí)候，美國政府就斥資2億美元成立了研究大數(shù)據(jù)的科技發(fā)展計(jì)劃。其實(shí)在此之前，美國的科技巨頭（如甲骨文、微軟、IBM等）都已經(jīng)展開了對(duì)大數(shù)據(jù)的有關(guān)研究，企圖在未來的競(jìng)爭(zhēng)中處于領(lǐng)先地位。IT領(lǐng)域的這一系列變化引起了專家、學(xué)者的關(guān)注，有專家認(rèn)為大數(shù)據(jù)將成為下一個(gè)新型學(xué)科。中國科學(xué)院大學(xué)計(jì)算機(jī)與控制學(xué)院院長(zhǎng)李國杰院士就指出大數(shù)據(jù)將成為信息技術(shù)領(lǐng)域的下一個(gè)關(guān)注點(diǎn)，并促使新學(xué)科——網(wǎng)絡(luò)數(shù)據(jù)科學(xué)的誕生。圖書館作為知識(shí)信息服務(wù)中心，它越來越需要信息技術(shù)的支持。大數(shù)據(jù)技術(shù)在挖掘、分析讀者行為中隱藏的結(jié)構(gòu)化數(shù)據(jù)信息，發(fā)現(xiàn)讀者的隱性需求，改進(jìn)圖書館服務(wù)方面有著非常重要的作用。通過大數(shù)據(jù)技術(shù)可以不斷提高圖書館的服務(wù)水平，使圖書館的服務(wù)與讀者需求相適應(yīng)。

一、什么是大數(shù)據(jù)

（一）大數(shù)據(jù)的含義

大數(shù)據(jù)最早是由美國著名的咨詢公司麥肯錫在2011年5月發(fā)布的一份報(bào)告中提出的。該報(bào)告指出：“數(shù)據(jù)已經(jīng)逐漸滲透到各個(gè)行業(yè)及其業(yè)務(wù)職能領(lǐng)域，并成為一種非常重要的生產(chǎn)要素；而人們經(jīng)常使用大量的數(shù)據(jù)，將會(huì)促進(jìn)勞動(dòng)生產(chǎn)率的進(jìn)一步提高。”該報(bào)告出來以后變引起了美國媒體的關(guān)注?！度A爾街日?qǐng)?bào)》、《華盛頓郵報(bào)》、《紐約時(shí)報(bào)》等紛紛開設(shè)專欄對(duì)“Big data”進(jìn)行介紹。但是由于當(dāng)時(shí)大數(shù)據(jù)剛剛被提出來，人們對(duì)它的并不是很了解，所以不同的人對(duì)大數(shù)據(jù)有不同的定義，到現(xiàn)在業(yè)界對(duì)大數(shù)據(jù)都沒有統(tǒng)一的說法。雖然不同的人群對(duì)大數(shù)據(jù)有不同的定義，但是已經(jīng)形成一個(gè)共識(shí)，那就是大數(shù)據(jù)不是單純的定量描述數(shù)據(jù)量的大小。而是在數(shù)量巨大、種類復(fù)雜的數(shù)據(jù)中，快速提取所需要的信息。

隨著人們對(duì)大數(shù)據(jù)的研究水平和認(rèn)識(shí)水平不斷加深，大數(shù)據(jù)已經(jīng)從互聯(lián)網(wǎng)、云計(jì)算等方面對(duì)人們的生活產(chǎn)生了重要影響。圖書館是傳播和儲(chǔ)存知識(shí)的重要場(chǎng)所，它每天都要處理大量的數(shù)據(jù)，可以斷言，在未來大數(shù)據(jù)必將成為圖書館的核心技術(shù)，成為衡量圖書館好壞的重要指標(biāo)之一。所以深入研究大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)，有著非常重要的現(xiàn)實(shí)意義。

（二）大數(shù)據(jù)的內(nèi)涵

雖然大數(shù)據(jù)出現(xiàn)以后，人們對(duì)大數(shù)據(jù)進(jìn)行了大量的研究，但是在查閱有關(guān)資料時(shí)卻發(fā)現(xiàn)，一部分人對(duì)大數(shù)據(jù)內(nèi)涵的認(rèn)識(shí)存在偏差，所以筆者認(rèn)為有必要對(duì)大數(shù)據(jù)的內(nèi)涵進(jìn)行介紹。

1、大數(shù)據(jù)是各種數(shù)據(jù)的總和。包括非結(jié)構(gòu)化、結(jié)構(gòu)化和半結(jié)構(gòu)化（數(shù)據(jù)）。DCCI在2012年7月時(shí)給出一份數(shù)據(jù)，該數(shù)據(jù)顯示截至2010年，全世界數(shù)據(jù)總量高達(dá)1228.8EB（1EB≈10億GB）。預(yù)計(jì)2020年，這個(gè)數(shù)字將達(dá)到35ZB（1ZB=1024EB），是2010年的30多倍。在這么多的數(shù)據(jù)中，僅有10%的數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，存放在數(shù)據(jù)庫之中，剩下的數(shù)據(jù)全部都是在收發(fā)郵件、看視頻、刷微博、瀏覽網(wǎng)頁等過程中產(chǎn)生的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。就我們?nèi)粘Ｉ疃?，由學(xué)習(xí)、工作產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)小于社交網(wǎng)絡(luò)、手機(jī)產(chǎn)生的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。所以如何處理這些非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)成為了大數(shù)據(jù)的主要內(nèi)容。

2、“大”的多樣性。目前IT界認(rèn)為大數(shù)據(jù)具有“4V”特點(diǎn)，即數(shù)量大（Volume）、速度高（Velocity）、多樣化（Variety）、價(jià)值大（Value）。這一特點(diǎn)充分說明了“大”的多樣，大并不是單一的數(shù)量大或者價(jià)值量大。NetApp認(rèn)為“大”有A、B、C三點(diǎn)，即Analyti、Bandwidth、Content（分析、帶寬、內(nèi)容）。大分析就是通過對(duì)大量數(shù)據(jù)的分析，可以發(fā)現(xiàn)新的業(yè)務(wù)模式，使用戶獲得新洞見。高帶寬就是對(duì)關(guān)鍵數(shù)據(jù)可以進(jìn)行高速處理，從而快速有效的消化大型數(shù)據(jù)。大內(nèi)容有兩方面的含義，一方面是指數(shù)據(jù)內(nèi)容多既有有結(jié)構(gòu)化數(shù)據(jù)，又有非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。另一方面是指對(duì)存儲(chǔ)擴(kuò)展的要求比較高，可以輕松的進(jìn)行恢復(fù)、復(fù)制等操作。

3、“數(shù)據(jù)”不只是數(shù)據(jù)。大數(shù)據(jù)除了數(shù)據(jù)的存儲(chǔ)外，還包括數(shù)據(jù)的獲取和應(yīng)用。隨著社會(huì)經(jīng)濟(jì)的進(jìn)步，人們生產(chǎn)的數(shù)據(jù)也越來越多，自云計(jì)算誕生以后，信息數(shù)據(jù)的存儲(chǔ)、計(jì)算已經(jīng)不再是障礙，但是大數(shù)據(jù)不是指那些存儲(chǔ)在各種媒介中數(shù)據(jù)，它的數(shù)據(jù)是可以快速獲取并應(yīng)用的數(shù)據(jù)。比如分析客戶的行為習(xí)慣、預(yù)測(cè)市場(chǎng)發(fā)展方向等。

二、大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)

大數(shù)據(jù)的產(chǎn)生與發(fā)展不但對(duì)傳統(tǒng)的數(shù)據(jù)存儲(chǔ)機(jī)構(gòu)帶來了挑戰(zhàn)，也對(duì)社會(huì)的信息服務(wù)中心——圖書館帶來了不小的挑戰(zhàn)。因此正確理解大數(shù)據(jù)的深刻內(nèi)涵，將大數(shù)據(jù)技術(shù)圖書館的實(shí)際情況相結(jié)合，對(duì)不斷提高圖書館的服務(wù)水平和服務(wù)質(zhì)量具有重要意義。

（一）大數(shù)據(jù)會(huì)對(duì)圖書館造成影響的因素

1、大數(shù)據(jù)的復(fù)雜性會(huì)對(duì)圖書館帶來影響和挑戰(zhàn)。其復(fù)雜性主要表現(xiàn)在數(shù)據(jù)的類型、結(jié)構(gòu)和模式三個(gè)方面。從數(shù)據(jù)類型上來說，由于社交網(wǎng)絡(luò)的廣泛使用，導(dǎo)致與之相關(guān)的短文本數(shù)據(jù)信息的數(shù)量不斷增加，與傳統(tǒng)的長(zhǎng)文本數(shù)據(jù)信息相比，短文本所包含的信息量較小，但是數(shù)量卻很多，從而使文本的挖掘工作變得更加困難。從結(jié)構(gòu)上來說，在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)的生成方式非常復(fù)雜，比如社交網(wǎng)絡(luò)、智能設(shè)備等，而且它們生成的主要是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。與結(jié)構(gòu)化數(shù)據(jù)相比，它們的組織結(jié)構(gòu)非?；靵y，而且其中含有大量的無用信息，所以會(huì)給數(shù)據(jù)的儲(chǔ)存工作和分析工作帶來許多不便。從數(shù)據(jù)模式來說，數(shù)據(jù)類型的多樣化必然導(dǎo)致模式變得復(fù)雜多樣，而多模式對(duì)研究人員和工作人員的知識(shí)面提出了更高的要求[1]。

2、大數(shù)據(jù)具有不確定性會(huì)給圖書館帶來影響和挑戰(zhàn)。這種不確定性給建模和學(xué)習(xí)網(wǎng)絡(luò)數(shù)據(jù)帶來了許多困難，從而導(dǎo)致大數(shù)據(jù)的價(jià)值難以得到有效的開發(fā)和利用。大數(shù)據(jù)的不確定性主要表現(xiàn)在以下三個(gè)方面。

首先大數(shù)據(jù)本身具有不確定性。由于原始數(shù)據(jù)的準(zhǔn)確性不高、數(shù)據(jù)的采集手法和處理力度不當(dāng)、應(yīng)用需求、展示方式等原因，都會(huì)從不同角度、不同層面上增加數(shù)據(jù)的不確定性。其次模型存在不確定性。由于數(shù)據(jù)本身的不確定性決定了必須采取與傳統(tǒng)方式不同的處理方法，要建立新型的數(shù)據(jù)模型，而且這種模型必須可以準(zhǔn)確把握模型表達(dá)能力與復(fù)雜度之間的平衡，這種要求將直接導(dǎo)致模型的不確定性增大。最后學(xué)習(xí)的不確定性。學(xué)習(xí)數(shù)據(jù)參數(shù)是數(shù)據(jù)模型的必然要求。但是在一般情況下要想找到模型的最優(yōu)解是一件非常困難的事情，所以一般在學(xué)習(xí)時(shí)都會(huì)用一個(gè)類似的、不確定的方法來找一個(gè)比較合適的解。但是在大數(shù)據(jù)環(huán)境中，這種類似的、不確定的方法會(huì)使學(xué)習(xí)的不確定性變得更加突出。

3、大數(shù)據(jù)的涌現(xiàn)性。這個(gè)概念是從系統(tǒng)學(xué)中引進(jìn)的，是指當(dāng)多個(gè)要素形成新系統(tǒng)以后，出現(xiàn)了一些新的性質(zhì)，而這些性質(zhì)在系統(tǒng)形成前并不存在，這些性質(zhì)并不是單個(gè)要素所具有的性質(zhì)，而是系統(tǒng)在向高層次過渡的過程中逐漸表現(xiàn)出來的，所以被稱為“涌現(xiàn)”。系統(tǒng)之所以出現(xiàn)整體功能大于部分功能之和的現(xiàn)象就是因?yàn)橛楷F(xiàn)的作用，涌現(xiàn)使系統(tǒng)具有了許多以前不具備的性質(zhì)。但是網(wǎng)絡(luò)數(shù)據(jù)涌現(xiàn)性的判定、預(yù)測(cè)等都比較困難，所以導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)不容易被駕馭。

它的涌現(xiàn)性主要表現(xiàn)在模式、行為、智慧三個(gè)方面。模式涌現(xiàn)性就是在多種類型的網(wǎng)絡(luò)數(shù)據(jù)中，不同類型的數(shù)據(jù)，其屬性和功能既有所差異又相互之間存在一定的聯(lián)系。行為涌現(xiàn)性就是目前人們采集到的數(shù)據(jù)，大多具有時(shí)序性，在社會(huì)網(wǎng)絡(luò)中相似性越高的個(gè)體，越容易建立關(guān)系，當(dāng)這些不同個(gè)體在“生產(chǎn)”網(wǎng)絡(luò)數(shù)據(jù)時(shí)，其個(gè)體行為也會(huì)隨著出現(xiàn)，從而表現(xiàn)出區(qū)別于個(gè)體的復(fù)雜性。智慧涌現(xiàn)性是指在沒有對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行預(yù)先設(shè)定和全局控制的情況下，自動(dòng)將個(gè)體的語言進(jìn)行有選擇的融合，從而產(chǎn)生新語義的過程。由此可見它的涌現(xiàn)性會(huì)使大數(shù)據(jù)變得更加復(fù)雜，從而給大數(shù)據(jù)的處理、分析帶來更多的新問題。

（二）大數(shù)據(jù)給圖書館帶來的具體影響與挑戰(zhàn)

1、處理復(fù)雜數(shù)據(jù)將成為圖書館工作的重要內(nèi)容。隨著社會(huì)的發(fā)展，信息在人們生活中的作用越來越大。它與能源、材料共同構(gòu)成支撐現(xiàn)代社會(huì)發(fā)展的三大支柱。而不斷提高公民獲取信息的能力、優(yōu)化信息獲取途徑、提高信息化水平，已經(jīng)成為政府的主要工作內(nèi)容之一。近些年來我國十分重視信息化建設(shè)，頒布了一系列的法律、政策和技術(shù)標(biāo)準(zhǔn)來推動(dòng)我國的信息化建設(shè)。在政府的主導(dǎo)下，我國的各大圖書館紛紛建設(shè)特色數(shù)據(jù)庫、設(shè)立門戶網(wǎng)站以及數(shù)字圖書館。雖然我國圖書館信息化進(jìn)程取得了巨大成就，但是其數(shù)據(jù)建設(shè)主要集中在結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域。隨著大數(shù)據(jù)的推廣、應(yīng)用，人們?cè)谏钪袑⑾硎艿礁鼮槿诵曰蛡€(gè)性化服務(wù)。在這種情況下，勢(shì)必會(huì)對(duì)圖書館的服務(wù)提出更高的要求，所以處理復(fù)雜數(shù)據(jù)將成為圖書館工作的重要內(nèi)容[2]。

2、對(duì)圖書館的數(shù)據(jù)儲(chǔ)存能力提出新的要求。在信息時(shí)代，信息的生產(chǎn)成本不斷下降，產(chǎn)生方式也日益多樣化，導(dǎo)致社會(huì)上的數(shù)據(jù)總量迅速增長(zhǎng)。到了大數(shù)據(jù)時(shí)代，不但產(chǎn)生方式會(huì)發(fā)生變化，產(chǎn)生的途徑和范圍都會(huì)發(fā)生巨大變化，甚至人們的一言一行都會(huì)產(chǎn)生大量的數(shù)據(jù)（半結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)）。從而使得數(shù)據(jù)的組成方式、結(jié)構(gòu)類型、存在形態(tài)等變得更為復(fù)雜多樣。這會(huì)對(duì)圖書館的存儲(chǔ)能力帶來嚴(yán)峻的挑戰(zhàn)。除了技術(shù)層面的挑戰(zhàn)外，還有社會(huì)層面的挑戰(zhàn)。雖然在面對(duì)挑戰(zhàn)和解決問題的過程中會(huì)使圖書館的資源建設(shè)、服務(wù)方式、管理方法以及發(fā)展模式發(fā)生巨大變化，從而推進(jìn)圖書館又好又快發(fā)展，但是也存在著以下兩大難題：

首先安全問題。雖然云計(jì)算技術(shù)的產(chǎn)生與發(fā)展，順利解決了大量數(shù)據(jù)的存儲(chǔ)、運(yùn)算問題，但其依然存在安全隱患，難以讓用戶放心。所以如何解決數(shù)據(jù)安全，將會(huì)成為圖書館大數(shù)據(jù)應(yīng)用之路上的一個(gè)重大難題。其次大數(shù)據(jù)對(duì)圖書館數(shù)據(jù)的存儲(chǔ)范圍提出了更高的要求。2007年時(shí)沃爾瑪就展開了一次大數(shù)據(jù)嘗試，他們對(duì)消費(fèi)者的購物行為，這一非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了分析，從而成功創(chuàng)造了經(jīng)典的商業(yè)案例——“啤酒與尿布”。但是該案例成功的前提是對(duì)大量的、不同類型的數(shù)據(jù)進(jìn)行分析。所以在大數(shù)據(jù)時(shí)代，圖書館記錄的讀者、圖書館工作人員以及社會(huì)公眾的信息中，除了用戶身份、借閱記錄等通用的結(jié)構(gòu)化數(shù)據(jù)外，還要記錄大量的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。比如用戶的搜索方式、信息儲(chǔ)存行為、活動(dòng)痕跡等。

3、對(duì)傳統(tǒng)的信息服務(wù)提出新的挑戰(zhàn)。隨著圖書館信息化水平的不斷提高，提供信息化服務(wù)已經(jīng)成為當(dāng)前圖書館的主要服務(wù)內(nèi)容之一，而知識(shí)經(jīng)濟(jì)的發(fā)展進(jìn)步，也使得圖書館逐漸把在互聯(lián)網(wǎng)信息搜索基礎(chǔ)上發(fā)展得知識(shí)信息服務(wù)吸收進(jìn)來，使知識(shí)信息服務(wù)逐漸成為圖書館服務(wù)的重要組成部分。但是不論是單純的信息服務(wù)，還是融合信息檢索、信息分析等多種高級(jí)業(yè)務(wù)而進(jìn)行的知識(shí)服務(wù)，都是一種基于數(shù)據(jù)而完成的服務(wù)。雖然在Web2.0等互動(dòng)技術(shù)推出以后，圖書館的人性化服務(wù)和個(gè)性化服務(wù)水平有了很大的提高，但是交互性依然比較差。但是就個(gè)性化服務(wù)和人性化服務(wù)而言，也只是一些簡(jiǎn)單的在用戶結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)之上（比如服務(wù)要求、專業(yè)、愛好、特長(zhǎng)等），去實(shí)現(xiàn)有限程度的差異化服務(wù)。但是大數(shù)據(jù)卻對(duì)圖書館提出了更多、更好的服務(wù)要求。圖書館不但要對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，明確讀者當(dāng)下的服務(wù)需求，更要搜集更多的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行分析、挖掘，從而推測(cè)判斷用戶潛在的服務(wù)需求，從而找到更好的服務(wù)模式，創(chuàng)造圖書館行業(yè)的“啤酒與尿布”，應(yīng)對(duì)未來不可知的危機(jī)。

結(jié)論：

大數(shù)據(jù)是近些年來剛剛興起的一種數(shù)據(jù)類型，與傳統(tǒng)的數(shù)據(jù)相比，它具有數(shù)量多、價(jià)值大、速度快、多樣化的特點(diǎn)。目前世界各國都十分重視對(duì)大數(shù)據(jù)的研究和應(yīng)用工作，一些領(lǐng)域都已經(jīng)將大數(shù)據(jù)應(yīng)用到了工作之中，圖書館作為全社會(huì)的信息數(shù)據(jù)服務(wù)機(jī)構(gòu)，在大數(shù)據(jù)的浪潮中已經(jīng)落后一步，所以圖書館應(yīng)當(dāng)重視大數(shù)據(jù)問題，對(duì)將大數(shù)據(jù)應(yīng)用于圖書館的問題進(jìn)行認(rèn)真的分析和研究，在筆者看來大數(shù)據(jù)的復(fù)雜性、多樣性和涌現(xiàn)性會(huì)對(duì)圖書館的工作內(nèi)容產(chǎn)生影響，使處理復(fù)雜數(shù)據(jù)將成為圖書館工作的重要內(nèi)容。會(huì)對(duì)圖書館的數(shù)據(jù)儲(chǔ)存能力和信息服務(wù)方式等提出新的要求。這些問題都必須引起圖書館方面的高度重視，尋找方法應(yīng)對(duì)挑戰(zhàn)。雖然應(yīng)對(duì)挑戰(zhàn)的過程可能會(huì)很漫長(zhǎng)，會(huì)充滿艱難困苦，但是前途一片光明，當(dāng)圖書館成功應(yīng)用大數(shù)據(jù)以后，圖書館將會(huì)進(jìn)入嶄新的發(fā)展階段。

參考文獻(xiàn)：

[1]石岱.大數(shù)據(jù)帶給圖書館的影響和挑戰(zhàn)[J].黑龍江教育（理論與實(shí)踐），2013，05（04）：11-18

[2]劉瓊.大數(shù)據(jù)環(huán)境下圖書館面臨的影響與挑戰(zhàn)[J].理論觀察，2014，08（06）：20-27