大數(shù)據(jù)及其對測繪地理信息工作的啟示

喬朝飛

（國家測繪地理信息局測繪發(fā)展研究中心，北京 100830）

一、引 言

最近一段時間，“大數(shù)據(jù)（big data）”一詞快速升溫，逐漸成為IT領(lǐng)域的熱門詞匯，受到越來越多的關(guān)注，影響力甚至超過了云計算、物聯(lián)網(wǎng)等。一些業(yè)內(nèi)專家預(yù)測，大數(shù)據(jù)時代即將到來。那么，究竟什么是大數(shù)據(jù)，它的出現(xiàn)將給測繪地理信息行業(yè)帶來什么影響?測繪地理信息工作應(yīng)該如何應(yīng)對?筆者在此不揣簡陋，談一些粗淺的看法。

二、何謂大數(shù)據(jù)

2011年3 月29 日，奧巴馬政府在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》（Big Data Research and Development Initiative）（以下簡稱《倡儀》），旨在提升利用大量復(fù)雜數(shù)據(jù)集合獲取知識和洞見的能力，并將為此投入兩億美元以上資金?！冻h》提出，將提升美國利用收集的龐大而復(fù)雜的數(shù)字資料提煉真知灼見的能力，協(xié)助加速科學(xué)、工程領(lǐng)域創(chuàng)新步伐，強化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式?！冻h》還承諾將在科學(xué)研究、環(huán)境保護、生物醫(yī)藥研究、教育及國家安全等領(lǐng)域利用大數(shù)據(jù)技術(shù)進行突破［1］。

2011年10 月，全球知名咨詢公司麥肯錫公司的季刊刊登的一篇文章指出:數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素，大數(shù)據(jù)將成為企業(yè)的新興資產(chǎn)，形成企業(yè)競爭力的重要基礎(chǔ)；企業(yè)需要開始認真思考，是否能夠充分利用海量數(shù)據(jù)的潛力，并設(shè)法應(yīng)對可能的威脅；人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。

維基百科對大數(shù)據(jù)的定義是:“指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合”。大數(shù)據(jù)具有數(shù)據(jù)量大（volume）、種類多（variety）和速度快（velocity）等特點，涉及互聯(lián)網(wǎng)、經(jīng)濟、生物、醫(yī)學(xué)、天文、氣象、物理等眾多領(lǐng)域。

大數(shù)據(jù)與以前的數(shù)據(jù)的區(qū)別在于:以往的數(shù)據(jù)多是結(jié)構(gòu)化的，是非個性化的數(shù)據(jù)。而進入2012年，非結(jié)構(gòu)化數(shù)據(jù)的比例將達到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。大數(shù)據(jù)通常與數(shù)據(jù)分析與挖掘、數(shù)據(jù)倉庫、商業(yè)智能及開源云計算架構(gòu)等諸多熱點話題聯(lián)系在一起［2］。

全球著名的信息技術(shù)咨詢商國際數(shù)據(jù)公司（IDC）的研究表明，數(shù)字領(lǐng)域存在著1.8萬億GB的數(shù)據(jù)。企業(yè)數(shù)據(jù)正在以55%的速度逐年增長?？萍疾┛途W(wǎng)站表示，如今只需兩天就能創(chuàng)造出自文明誕生以來到2003年所產(chǎn)生的數(shù)據(jù)總量。現(xiàn)代企業(yè)正在經(jīng)歷規(guī)?；?、多樣化、高速化的數(shù)據(jù)挑戰(zhàn)，大數(shù)據(jù)已成為重要的時代特征［3］。

筆者認為，大數(shù)據(jù)并非是一個突然冒出的新鮮事物，其與以前的數(shù)據(jù)爆炸、數(shù)據(jù)挖掘等是一脈相承的。大數(shù)據(jù)與其說是一項技術(shù)，不如說是由于不斷增長的數(shù)據(jù)量和數(shù)據(jù)種類而逐漸衍生出來的一種現(xiàn)象［3］。

大數(shù)據(jù)的出現(xiàn)有其歷史的必然。今天，數(shù)據(jù)成本下降促使數(shù)據(jù)量急劇增長，而新的數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)使數(shù)據(jù)類型增多，各種非結(jié)構(gòu)化的數(shù)據(jù)又增加了大數(shù)據(jù)的復(fù)雜性。如今，各種電子商務(wù)、社交網(wǎng)站層出不窮，不同性別、年齡的用戶有著各種喜好、需求，由此產(chǎn)生了大量非結(jié)構(gòu)化的數(shù)據(jù)。如淘寶網(wǎng)目前每天活躍數(shù)據(jù)量已經(jīng)超過50 TB，共有4億條產(chǎn)品信息和2億多名注冊用戶在上面活動，每天超過4000萬人次訪問［2］。全球最流行的社交網(wǎng)站Facebook已經(jīng)擁有8億個用戶，每天用戶之間溝通、交流的信息的數(shù)量之大可想而知。面對如此龐大的數(shù)據(jù)量，有眼光的企業(yè)開始對數(shù)據(jù)進行深加工，挖掘數(shù)據(jù)中蘊含的豐富信息。

事實上，大數(shù)據(jù)的應(yīng)用離大眾生活并不遠。如一些用戶經(jīng)常在一些電子商務(wù)網(wǎng)站上購書，隨著購買記錄的增多，網(wǎng)站會根據(jù)用戶的購買記錄，向用戶推薦一些可能感興趣的圖書。事實上，這些網(wǎng)站利用的是一種所謂推薦引擎的技術(shù)［4］，這種技術(shù)能夠綜合利用用戶的行為、屬性，對象的屬性、內(nèi)容、分類，以及用戶之間的社交關(guān)系等，挖掘用戶的喜好和需求，主動向用戶推薦其感興趣或者需要的對象。數(shù)據(jù)表明，這種主動服務(wù)的效果是顯而易見的，那些在電子商務(wù)網(wǎng)站被推薦過商品的用戶，有三分之一的人會根據(jù)這些推薦購買商品［4］。

三、大數(shù)據(jù)時代:大變革、大機遇

大數(shù)據(jù)時代的來臨，對政府、企業(yè)、公眾帶來的影響是深遠的。

對于政府來說，應(yīng)用大數(shù)據(jù)技術(shù)，可以建設(shè)相關(guān)的智慧工程，提升應(yīng)急處理能力和安全防范能力，提升各部門的服務(wù)效率。奧巴馬政府發(fā)布大數(shù)據(jù)研發(fā)倡議后，美國國家科學(xué)基金會（NSF）、國家衛(wèi)生研究院（NIH）、國防部（DOD）、能源部（DOE）、國防部高級研究局（DARPA）、地質(zhì)調(diào)查局（USGS）等6個聯(lián)邦部門和機構(gòu)承諾，將投入超過2億美元資金用于研發(fā)“從海量數(shù)據(jù)信息中獲取知識所必需的工具和技能”，并披露了多項正在進行中的聯(lián)邦政府計劃。如地質(zhì)調(diào)查局通過給科學(xué)家提供深入分析的場所和時間、最高水平的計算能力和理解大數(shù)據(jù)集的協(xié)作工具，催化在地理系統(tǒng)科學(xué)的創(chuàng)新思維［1］。

對于企業(yè)來說，大數(shù)據(jù)在推動企業(yè)變革的同時，也產(chǎn)生了新的商機。在大數(shù)據(jù)時代，企業(yè)需要重新思考已有的IT模式，并將推動企業(yè)進行又一次基于信息革命的業(yè)務(wù)轉(zhuǎn)型，將有關(guān)技術(shù)與企業(yè)運營管理實踐相結(jié)合，使企業(yè)能夠借助大數(shù)據(jù)帶來的大洞察，獲取更多的商業(yè)價值和發(fā)展機會，在激烈的市場競爭中脫穎而出［3］。

對于公眾來說，可以通過大數(shù)據(jù)技術(shù)享受到方便快捷的服務(wù)，如網(wǎng)上購物、餐飲和旅游咨詢等。電子商務(wù)網(wǎng)站利用大數(shù)據(jù)技術(shù)，如推薦引擎技術(shù)，通過分析用戶在網(wǎng)上的消費習(xí)慣，能夠“讀懂”消費者的心理，及時向消費者提供其可能會感興趣的產(chǎn)品和服務(wù)。

全球互聯(lián)網(wǎng)巨頭都已意識到大數(shù)據(jù)時代數(shù)據(jù)的重要意義。包括EMC、惠普、IBM、微軟在內(nèi)的全球IT巨頭紛紛通過收購大數(shù)據(jù)相關(guān)廠商來實現(xiàn)技術(shù)整合，可見其對大數(shù)據(jù)的重視。2012年5月17日，在北京召開的“智慧的分析洞察”論壇上，IBM正式發(fā)布了基于業(yè)務(wù)分析洞察（BAO）理論基礎(chǔ)之上的IBM智慧的分析洞察（smarter analytics）戰(zhàn)略，以幫助企業(yè)將洞察力轉(zhuǎn)化為行動力［3］。IBM在此時提出大數(shù)據(jù)平臺戰(zhàn)略，其目的顯而易見，它正在以自己的優(yōu)勢瓜分這塊龐大而誘人的蛋糕。

四、大數(shù)據(jù)時代給測繪地理信息工作帶來的機遇

如今，大數(shù)據(jù)在IT領(lǐng)域風(fēng)生水起，其核心思想對于測繪地理信息工作發(fā)展有很多啟示，提供了新的機遇。

1.大數(shù)據(jù)給測繪地理信息部門帶來的機遇

長期以來，測繪地理信息部門的主要任務(wù)是生產(chǎn)基礎(chǔ)地理信息數(shù)據(jù)。西部測圖工程、1∶5萬基礎(chǔ)地理信息數(shù)據(jù)庫更新的完成，標(biāo)志著數(shù)字中國地理空間框架初步建成；海島（礁）測繪工程的開展，彌補了海洋基礎(chǔ)地理信息數(shù)據(jù)的不足；資源三號衛(wèi)星的發(fā)射成功，突破了高分辨率衛(wèi)星影像的瓶頸；通過基礎(chǔ)航空攝影獲取了大量遙感影像資料?？梢哉f，當(dāng)前基礎(chǔ)地理信息數(shù)據(jù)已極大豐富。然而，問題在于，守著這樣一座數(shù)據(jù)金山，測繪地理信息部門卻沒有很好地加以利用。

毋庸置疑的是，測繪地理信息部門擁有的是名副其實的大數(shù)據(jù)，僅西部測圖工程的成果，數(shù)據(jù)量就達到13.4 TB。大數(shù)據(jù)時代的到來，對于測繪地理信息部門具有重要意義，某種程度上講，能否使用好手中的大數(shù)據(jù)，盤活這些數(shù)據(jù)資產(chǎn)，直接關(guān)系到測繪地理信息部門未來發(fā)展的成與敗。

令人高興的是，國家測繪地理信息局已認識到充分利用基礎(chǔ)地理信息數(shù)據(jù)加強公共服務(wù)的重要性，正在加快開展地理國情監(jiān)測，不斷完善地理信息公共平臺天地圖的功能，加快推進地理信息大數(shù)據(jù)的應(yīng)用。

今后，測繪地理信息部門應(yīng)在不斷更新現(xiàn)有基礎(chǔ)地理信息數(shù)據(jù)的基礎(chǔ)上，著力加強數(shù)據(jù)的應(yīng)用。

數(shù)據(jù)挖掘技術(shù)的發(fā)展水平，直接關(guān)系到基礎(chǔ)地理信息數(shù)據(jù)開發(fā)利用程度的好壞。目前，地理信息數(shù)據(jù)挖掘技術(shù)遠遠不能適應(yīng)開發(fā)應(yīng)用的需要。因此，國家測繪地理信息局應(yīng)組織有關(guān)科研力量，大力開展地理信息數(shù)據(jù)挖掘基礎(chǔ)理論和應(yīng)用研究。特別是如今測繪地理信息部門掌握著豐富的遙感影像資料，應(yīng)加大從影像中獲取有用信息的研究。

在重大測繪地理信息工程建設(shè)中注重開展數(shù)據(jù)應(yīng)用。在開展地理國情監(jiān)測時，選取若干事關(guān)大局、事關(guān)民生的領(lǐng)域，創(chuàng)建若干典型應(yīng)用范例，進而帶動全國范圍內(nèi)地理國情監(jiān)測的開展。應(yīng)加強天地圖的開發(fā)應(yīng)用，在有關(guān)部門廣泛開展調(diào)研，了解部門實際需求，開發(fā)相應(yīng)的應(yīng)用系統(tǒng)。

測繪地理信息部門作為重要參與者的智慧城市建設(shè)，與大數(shù)據(jù)關(guān)系緊密。智慧城市是數(shù)字城市發(fā)展的更高階段，是城市發(fā)展的新范式，從城市中每個人的生活方式到每個產(chǎn)業(yè)的生產(chǎn)方式，以及城市的運營和管理方式都將智慧化。建設(shè)智慧城市，只有利用大數(shù)據(jù)，才能獲得突破性改善。智慧城市中，存在著大量傳感器，只有利用大數(shù)據(jù)技術(shù)，結(jié)合地理位置數(shù)據(jù)，才能進行深層次分析和應(yīng)用。

2.大數(shù)據(jù)給地理信息企業(yè)帶來的機遇

大數(shù)據(jù)時代的來臨，可能預(yù)示著新的、甚至是破壞性業(yè)務(wù)模式的誕生，即所謂“破壞式”創(chuàng)新。大數(shù)據(jù)意味著大商機，對于地理信息企業(yè)而言，誰能抓住大數(shù)據(jù)帶來的商機，誰就能在激烈的競爭中立于不敗之地。這里僅以基于位置的服務(wù)（location based service，LBS）為例，說明大數(shù)據(jù)給地理信息企業(yè)帶來的機遇。

LBS曾經(jīng)一度被業(yè)界寄予厚望，然而，最近其發(fā)展卻離大家的預(yù)想有較大距離。大數(shù)據(jù)時代的來臨，有可能使LBS重新煥發(fā)活力。

LBS與移動互聯(lián)網(wǎng)聯(lián)系緊密。移動互聯(lián)網(wǎng)目前發(fā)展迅猛，過不了多久，使用移動互聯(lián)網(wǎng)的用戶數(shù)量將會超過使用個人電腦上網(wǎng)的用戶。PPLive公司首席執(zhí)行官，前微軟虛擬地球創(chuàng)始人陶闖博士認為:“移動互聯(lián)網(wǎng)+LBS”的商業(yè)模式未來將呈爆炸性增長。

大數(shù)據(jù)與LBS結(jié)合，將給精準(zhǔn)營銷帶來良好機遇［5］。越來越多的用戶通過手機上網(wǎng)看新聞、看視頻、娛樂或者購物，通過對用戶所在位置的周邊信息進行多層次分類，如詳細匯總餐飲、培訓(xùn)、娛樂、購物等信息，把有效的廣告推送給用戶，向不同需求的用戶提供個性化的服務(wù)。這種商業(yè)模式下，LBS服務(wù)商需要和擁有大量用戶信息的網(wǎng)站（如社交網(wǎng)站）進行合作，共同開發(fā)實用系統(tǒng)，同時要注意保護用戶隱私。

五、結(jié)束語

大數(shù)據(jù)時代的到來，給測繪地理信息創(chuàng)新發(fā)展帶來了良好機遇。當(dāng)前，海量的地理信息數(shù)據(jù)遠未被充分利用，測繪地理信息部門、地理信息企業(yè)要認識到大數(shù)據(jù)技術(shù)帶來的深刻影響，未雨綢繆，盡早制定有關(guān)規(guī)劃，加大對地理信息數(shù)據(jù)開發(fā)應(yīng)用的研究，充分挖掘地理信息數(shù)據(jù)這一金礦，促進數(shù)據(jù)的廣泛、深入應(yīng)用。

［1］ 王忠.美國推動大數(shù)據(jù)技術(shù)發(fā)展的戰(zhàn)略價值及啟示［J］.中國發(fā)展觀察，2012（6）:44-45.

［2］ 姜其平.大數(shù)據(jù)時代到來［J］.互聯(lián)網(wǎng)周刊，2012（2）:6.

［3］ 耿秋，孟劍.大數(shù)據(jù)時代:機遇?挑戰(zhàn)?［J］.中國新時代，2012（6）:60-61.

［4］ 袁楚.推薦引擎:經(jīng)常在使用卻很難被關(guān)注［J］.互聯(lián)網(wǎng)天地，2011（9）:50-51.

［5］ 薛雯漪.營銷大數(shù)據(jù)挖掘，拷問數(shù)據(jù)分析硬實力［J］.聲屏世界·廣告人，2012（8）:44-45.