大數(shù)據(jù)時(shí)代，數(shù)據(jù)采集與管理的幾點(diǎn)思考

江密

在2015年3月份的十二屆全國(guó)人大三次會(huì)議上，李克強(qiáng)總理在政府工作報(bào)告中提出制定“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃，專門提到了大數(shù)據(jù)，引起業(yè)界的關(guān)注。

當(dāng)今社會(huì)是一個(gè)大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時(shí)代，改革開放以來(lái)，我國(guó)作為發(fā)展中國(guó)家的領(lǐng)頭羊，在工業(yè)化、信息化引領(lǐng)的現(xiàn)代化進(jìn)程中取得驕人成績(jī)，如今又面臨世界走向數(shù)據(jù)化的重要時(shí)刻，這就要求我們對(duì)大數(shù)據(jù)要有清醒的認(rèn)識(shí)和足夠的研究。

一、對(duì)大數(shù)據(jù)的認(rèn)識(shí)

人類社會(huì)無(wú)時(shí)無(wú)刻都在產(chǎn)生數(shù)據(jù)，隨著計(jì)算機(jī)的發(fā)展與普及，各種層出不窮的智能設(shè)備的出現(xiàn)，數(shù)據(jù)才真正意義上進(jìn)入大數(shù)據(jù)時(shí)代。今天的數(shù)據(jù)時(shí)代，不僅企業(yè)有收集數(shù)據(jù)的能力，搜索引擎還可以將資料進(jìn)行快速檢索、歸納分析后將內(nèi)部邏輯關(guān)系通過(guò)量化指標(biāo)展現(xiàn)出來(lái)。之所以能產(chǎn)生大數(shù)據(jù)，是因?yàn)閭鞲衅骱臀⑻幚砥髟诂F(xiàn)代機(jī)器設(shè)備的廣泛使用，理論上所有的機(jī)械設(shè)備、元器件等任何物體通過(guò)加載電子芯片都可以把運(yùn)作過(guò)程中產(chǎn)生的數(shù)據(jù)記錄下來(lái)，這些被記錄的數(shù)據(jù)表明它的性能、位置或狀態(tài)，還可以根據(jù)需要通過(guò)互聯(lián)網(wǎng)匯聚到后臺(tái)進(jìn)行研究、分析直至加以控制，這就形成了巨大的數(shù)據(jù)源?！叭f(wàn)物互聯(lián)”是現(xiàn)實(shí)可行的，一點(diǎn)都不夸張。在服務(wù)、消費(fèi)行業(yè)，客戶線上線下的服務(wù)觸點(diǎn)和點(diǎn)擊流量，也構(gòu)成了大數(shù)據(jù)。政府在管理服務(wù)社會(huì)的過(guò)程中，也收集、存儲(chǔ)了海量數(shù)據(jù)，上述提到的物體、企業(yè)、政府產(chǎn)生或收集的數(shù)據(jù)寶藏都有待分析并能產(chǎn)生價(jià)值。

世界各國(guó)也已開始認(rèn)識(shí)到大數(shù)據(jù)的重要性并注重?cái)?shù)據(jù)價(jià)值的挖掘，從政府機(jī)構(gòu)設(shè)置或產(chǎn)業(yè)扶持政策就可見一斑，引用英國(guó)知名學(xué)者的一句話——“數(shù)據(jù)之于信息社會(huì)就如燃料之于工業(yè)革命，是人們進(jìn)行創(chuàng)新的力量源泉”，該對(duì)比形象地說(shuō)明了大數(shù)據(jù)的重要性及其蘊(yùn)藏的巨大價(jià)值。

二、大數(shù)據(jù)在企業(yè)經(jīng)營(yíng)管理中的運(yùn)用

很多人會(huì)把針對(duì)大量數(shù)據(jù)進(jìn)行的分析和利用理解為大數(shù)據(jù)營(yíng)銷，單純靠用戶的聯(lián)系信息（如姓名、地址、聯(lián)系號(hào)碼、即時(shí)通訊賬號(hào)等）而開展的營(yíng)銷不是大數(shù)據(jù)營(yíng)銷，不論其用戶信息是正當(dāng)收集的還是非法獲取的，充其量只能算是數(shù)據(jù)在“表內(nèi)”（辦公應(yīng)用軟件Office Excel的公式僅取自單張表內(nèi)的數(shù)據(jù)，下同）地整理和分析、利用。真正的大數(shù)據(jù)是根據(jù)海量數(shù)據(jù)按照不同的使用目的利用各種分析手段找出內(nèi)在規(guī)律性的邏輯關(guān)系，是跨行業(yè)甚至不同屬性的“表間”（辦公應(yīng)用軟件Office Excel的公式可取自多張表間的數(shù)據(jù)，下同）關(guān)聯(lián)分析，是完全可以進(jìn)行脫敏分析的，大數(shù)據(jù)注重相關(guān)關(guān)系，不要因果關(guān)系。

（一）剛邁入21世紀(jì)的頭幾年，完成政企分開、公司化改革后的電信運(yùn)營(yíng)商逐漸進(jìn)入了全業(yè)務(wù)經(jīng)營(yíng)競(jìng)爭(zhēng)階段，客戶爭(zhēng)奪日漸激烈，也開始重視基于客戶歷史消費(fèi)信息的分析，并制定出臺(tái)針對(duì)性的營(yíng)銷策略，這就是當(dāng)時(shí)風(fēng)靡一時(shí)的洞察力驅(qū)動(dòng)的營(yíng)銷（IDM），洞察力驅(qū)動(dòng)營(yíng)銷的本質(zhì)就是電信運(yùn)營(yíng)商早期的大數(shù)據(jù)營(yíng)銷，就是根據(jù)客戶歷史消費(fèi)信息預(yù)測(cè)其消費(fèi)趨勢(shì)及離網(wǎng)可能性，盡管制定營(yíng)銷政策是根據(jù)全量數(shù)據(jù)進(jìn)行趨勢(shì)分析，但個(gè)性化營(yíng)銷方案（如簽約值）還是細(xì)化的個(gè)體，同時(shí)利用的還僅是企業(yè)內(nèi)部的數(shù)據(jù)，屬于“表內(nèi)”階段，所以盡管知道是競(jìng)爭(zhēng)因素導(dǎo)致客戶固定電話消費(fèi)下降，但由于無(wú)法獲取該用戶同期在其他運(yùn)營(yíng)商的移動(dòng)電話消費(fèi)變化情況數(shù)據(jù)，因而就無(wú)法獲得該因素的影響權(quán)重。非真正意義上的大數(shù)據(jù)分析，造成對(duì)消費(fèi)趨勢(shì)的預(yù)判就產(chǎn)生了偏差，制定的固定電話基于歷史均值的保底消費(fèi)贈(zèng)費(fèi)政策就缺乏系統(tǒng)的前瞻性，雖然發(fā)動(dòng)渠道力量進(jìn)行大規(guī)模的簽約行動(dòng)，但移動(dòng)電話資費(fèi)的下降對(duì)固定電話話務(wù)量的替代趨勢(shì)不可阻擋，固定電話保有結(jié)果可想而知，這是數(shù)據(jù)獲取能力的局限造成的。

（二）目前通過(guò)大數(shù)據(jù)收集、分析，并挖掘價(jià)值做得較好是知名的互聯(lián)網(wǎng)企業(yè)，如谷歌、亞馬遜、臉書等，國(guó)內(nèi)也是如此，他們是大數(shù)據(jù)營(yíng)銷的先行者。國(guó)內(nèi)某資訊推薦類APP就是運(yùn)用大數(shù)據(jù)經(jīng)營(yíng)的成功典型案例，在安裝其APP時(shí)默認(rèn)同意被獲取位置、聯(lián)系人、音視頻等信息，之后根據(jù)用戶的使用習(xí)慣結(jié)合個(gè)人信息特征進(jìn)行個(gè)性化推薦，比如你經(jīng)常點(diǎn)擊軍事題材的新聞，它就優(yōu)先推送該題材的新聞資訊，如果你是在福州的游戲玩家，它就能結(jié)合位置信息常常推送福州的玩家相關(guān)資訊給你，甚至經(jīng)常會(huì)讓人覺(jué)得很驚奇：它給我推送的內(nèi)容正是我這兩天想要了解的東西？因?yàn)槟憧赡茉陔娫挕⒕W(wǎng)絡(luò)聊天中提到或搜索了相關(guān)關(guān)鍵詞，這就是跨行業(yè)甚至不同屬性進(jìn)行“表間”關(guān)聯(lián)分析的大數(shù)據(jù)。

先完成海量數(shù)據(jù)的收集，再多維度進(jìn)行分析，預(yù)測(cè)市場(chǎng)的個(gè)體需求將越來(lái)越精準(zhǔn)，就越能取得競(jìng)爭(zhēng)優(yōu)勢(shì)從而取得成功。進(jìn)行大數(shù)據(jù)分析的人輕松、興奮地看到了大數(shù)據(jù)的價(jià)值潛力，這將激發(fā)他們更加深入地采集、存儲(chǔ)、循環(huán)利用我們個(gè)人數(shù)據(jù)的強(qiáng)烈愿望。隨著存儲(chǔ)介質(zhì)成本的不斷下降，數(shù)據(jù)分析手段、工具越來(lái)越精準(zhǔn)和多樣化，被采集和存儲(chǔ)的數(shù)據(jù)在深度和廣度上將井噴式地增長(zhǎng)。

三、大數(shù)據(jù)的采集與使用管理

（一）重視數(shù)據(jù)的采集

數(shù)據(jù)不但能產(chǎn)生價(jià)值，而且是可以循環(huán)、交叉利用的。數(shù)據(jù)價(jià)值根據(jù)不同使用對(duì)象、目的、時(shí)間、手段等均體現(xiàn)出了用途的差異性，有時(shí)為了一個(gè)工作目的重復(fù)使用數(shù)據(jù)，分析目的也會(huì)隨著時(shí)間、空間的變化而轉(zhuǎn)化。西方學(xué)者對(duì)此作了形象的比喻——“數(shù)據(jù)的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而絕大部分則隱藏在表面以下”。不論使用數(shù)據(jù)能產(chǎn)生多大價(jià)值，前提是要擁有大數(shù)據(jù)，在中國(guó)制造2025、“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃的政策背景下，我們要重視各行各業(yè)的數(shù)據(jù)采集，政府擁有的海量數(shù)據(jù)、企業(yè)生產(chǎn)經(jīng)營(yíng)的數(shù)據(jù)都要重視采集和存儲(chǔ)，即使當(dāng)前未明確使用目的或無(wú)法深入分析，但隨著分析能力不斷提升，當(dāng)前付出的有限存儲(chǔ)成本，有朝一日必定會(huì)帶來(lái)令人驚喜的可觀回報(bào)。原始數(shù)據(jù)的收集、存儲(chǔ)，擁有大數(shù)據(jù)是數(shù)據(jù)產(chǎn)生價(jià)值的前提和基礎(chǔ)，否則將來(lái)會(huì)陷入“無(wú)數(shù)據(jù)可用”的尷尬局面，這里的數(shù)據(jù)指的是海量數(shù)據(jù)，因?yàn)榇髷?shù)據(jù)時(shí)代要的是全體數(shù)據(jù)，不是樣本數(shù)據(jù)。

當(dāng)前，很多企業(yè)不重視歷史數(shù)據(jù)的存儲(chǔ)，一是沒(méi)意識(shí)到數(shù)據(jù)的潛在價(jià)值，二是受傳統(tǒng)數(shù)據(jù)精確性要求的影響，大數(shù)據(jù)時(shí)代要得數(shù)據(jù)恰恰是允許不精確，而且混雜紛繁的數(shù)據(jù)越多越好。我國(guó)是一個(gè)人口大國(guó)、互聯(lián)網(wǎng)大國(guó)、手機(jī)大國(guó)，我們不缺乏可供收集的數(shù)據(jù)，但卻還不是一個(gè)數(shù)據(jù)大國(guó)，除了要完善收集數(shù)據(jù)的手段外，更重要的是要強(qiáng)化收集數(shù)據(jù)的意識(shí)。

（二）數(shù)據(jù)的開放共享

大數(shù)據(jù)雖然是下一個(gè)社會(huì)發(fā)展的石油和金礦，但數(shù)據(jù)要充分有效地使用才能產(chǎn)生價(jià)值，有效使用的前提是數(shù)據(jù)的開放共享。政府在管理服務(wù)社會(huì)的過(guò)程中擁有了海量數(shù)據(jù)，是最大的數(shù)據(jù)擁有者，還有大量的企業(yè)業(yè)務(wù)數(shù)據(jù)，物聯(lián)網(wǎng)技術(shù)日趨發(fā)展成熟起來(lái)的環(huán)境數(shù)據(jù)：自然環(huán)境、動(dòng)植物、物體?？缧袠I(yè)數(shù)據(jù)的開放共享及使用范圍和效率決定了大數(shù)據(jù)“金礦”的效益。

由于互聯(lián)網(wǎng)的發(fā)明，“開放”已經(jīng)成為人類文明發(fā)展過(guò)程中不可逆轉(zhuǎn)并不斷加速深化的社會(huì)發(fā)展方向。美國(guó)是世界上最早開始探索信息開放的國(guó)家，半個(gè)多世紀(jì)以來(lái)數(shù)據(jù)對(duì)美國(guó)社會(huì)政治、商業(yè)、文化等方面產(chǎn)生了巨大的影響。由于國(guó)情不同，我們不宜照搬照套美國(guó)的做法，但可以借鑒并找出契合我國(guó)現(xiàn)階段發(fā)展需要的數(shù)據(jù)開放共享之路，收集數(shù)據(jù)、開放數(shù)據(jù)是使用數(shù)據(jù)的前提和基礎(chǔ)，并最終決定大數(shù)據(jù)價(jià)值。

（三）數(shù)據(jù)的使用管理

大數(shù)據(jù)能產(chǎn)生價(jià)值，但使用管理也是不容忽視的問(wèn)題，正如所有事物都具有兩面性一樣，大數(shù)據(jù)使用管理不當(dāng)，幾乎會(huì)對(duì)所有人產(chǎn)生潛在的不利影響。目前所采集的大部分?jǐn)?shù)據(jù)都包含個(gè)人信息，人們的生活離不開網(wǎng)絡(luò)，開放的網(wǎng)絡(luò)可以收集到一個(gè)人所有的信息，除非你是一個(gè)躲在原始森林、不與任何外界接觸的原始人。所以就不可避免地會(huì)出現(xiàn)個(gè)人信息安全、隱私保護(hù)等問(wèn)題，目前大家都對(duì)直呼名址的電話營(yíng)銷印象深刻：剛簽了購(gòu)房合同，接踵而來(lái)的裝修裝飾、家具家電、出租出售等營(yíng)銷電話會(huì)騷擾你很久，這種還僅是低層次的、單點(diǎn)的信息泄漏就讓人不勝其煩。多點(diǎn)數(shù)據(jù)整合的信息安全及隱私保護(hù)的案例，目前最典型的就是網(wǎng)絡(luò)“人肉”事件，基本上可以把一個(gè)人的所有個(gè)人信息都搜出來(lái)。大數(shù)據(jù)時(shí)代的數(shù)據(jù)使用不當(dāng)造成的個(gè)人信息泄漏及隱私傷害將遠(yuǎn)大于上述案例，數(shù)據(jù)掌控著一切，所有生活習(xí)慣、言行舉止、社交關(guān)系網(wǎng)等數(shù)據(jù)都被網(wǎng)絡(luò)聊天、網(wǎng)絡(luò)購(gòu)物、穿戴設(shè)備所采集，大數(shù)據(jù)分析可以準(zhǔn)確地預(yù)測(cè)出每個(gè)人即將發(fā)生的行為，甚至所思所想，若被不法利用后果不堪設(shè)想。

數(shù)據(jù)的開放、使用，要從國(guó)家法律層面進(jìn)行規(guī)范，既要充分發(fā)揮數(shù)據(jù)使用的最大效益，又要規(guī)范使用管理，避免國(guó)家、個(gè)人信息安全受到影響，除了實(shí)施許可制度外，數(shù)據(jù)使用者要承擔(dān)責(zé)任。