與規(guī)劃編制相關(guān)的網(wǎng)絡(luò)開源數(shù)據(jù)獲取應(yīng)用研究

【摘 要】城市規(guī)劃，涉及到社會的方方面面，并對生活在其中的人們產(chǎn)生千絲萬縷的聯(lián)系，它并不是靜態(tài)的設(shè)計，而是為社會動態(tài)發(fā)展，人類動態(tài)生活而服務(wù)的。本文介紹了網(wǎng)絡(luò)開源數(shù)據(jù)在規(guī)劃編制中的應(yīng)用前景，分析討論了幾種可行的網(wǎng)絡(luò)開源數(shù)據(jù)的獲取方法，就開源數(shù)據(jù)的的安全性及具體在在Gephi軟件的展示應(yīng)用進行了簡單的介紹。

【關(guān)鍵詞】開源數(shù)據(jù) 規(guī)劃編制 數(shù)據(jù)獲取 數(shù)據(jù)展示

隨著這些年互聯(lián)網(wǎng)的蓬勃發(fā)展，已經(jīng)積累了相當(dāng)量級的待挖掘數(shù)據(jù)。這些數(shù)據(jù)產(chǎn)生于人們?nèi)粘Ｉ钪幸蕾嚮ヂ?lián)網(wǎng)工作、生活留下的痕跡，將人們生活的形態(tài)在大尺度上向世人展示。基于這些特點，我們幾乎可以斷言 “網(wǎng)絡(luò)開源大數(shù)據(jù)”應(yīng)該會成為城市規(guī)劃未來發(fā)展提供有利的分析基礎(chǔ)和條件。而實際上，有很多研究學(xué)者已經(jīng)就大數(shù)據(jù)挖掘出的數(shù)據(jù)信息應(yīng)用于城市規(guī)劃中。大數(shù)據(jù)的產(chǎn)生獲取途徑繁多，很多并不源于規(guī)劃部門，如通信、電商、交通、社交媒體、醫(yī)療、銀行等。如何獲取這些數(shù)據(jù)，獲取后如何應(yīng)用？ 本文就大數(shù)據(jù)的獲取及應(yīng)用舉例如下。

1 大數(shù)據(jù)獲取應(yīng)用

1.1 百度地圖API獲取開源免費數(shù)據(jù)

百度地圖API是為開發(fā)者免費提供的一套基于百度地圖服務(wù)的應(yīng)用接口，包括JavaScript API、Web服務(wù)API、Android SDK、iOS SDK、定位SDK、車聯(lián)網(wǎng)API、LBS云等多種開發(fā)工具與服務(wù)，提供基本地圖展現(xiàn)、搜索、定位、逆/地理編碼、路線規(guī)劃、LBS云存儲與檢索等功能，適用于PC端、移動端、服務(wù)器等多種設(shè)備，多種操作系統(tǒng)下的地圖應(yīng)用開發(fā)。

我們通過對百度地圖Place API接口的調(diào)用，在Visio Studio 2010編譯軟件中，通過以下程序提取調(diào)用出四川周邊城市，如瀘州、綿陽、自貢等地的銀行、醫(yī)院、學(xué)校等公共配套設(shè)施的分布地理坐標及其他詳細信息，以便于日后對這類地區(qū)規(guī)劃分析提供參考。Place API 是一類簡單的HTTP接口，用于返回查詢某個區(qū)域的某類POI數(shù)據(jù)，且提供單個POI的詳情查詢服務(wù)，用戶可以使用C#、C++、Java等開發(fā)語言發(fā)送HTTP請求且接收json、xml的數(shù)據(jù)。返回的Xml數(shù)據(jù)可直接在程序中處理后存入MS Sql數(shù)據(jù)庫中，以備后續(xù)使用。百度地圖提取部分程序代碼 圖1所示。

圖1 百度地圖提取部分程序代碼

1.2 新浪微博數(shù)據(jù)提取與應(yīng)用

新浪微博擁有數(shù)量巨大的用戶群基礎(chǔ)，用戶狀態(tài)、用戶關(guān)注及粉絲等已經(jīng)形成非常龐大且具有價值的數(shù)據(jù)，如何獲取及處理這些數(shù)據(jù)，已經(jīng)成為十分熱門且值得關(guān)注的研究方向。

此外，隨著越來越多的規(guī)劃師開始使用微博等新媒體，新浪微博上規(guī)劃師成為一個活躍的群體，2012年黃虎對北上廣深的規(guī)劃師群體進行調(diào)查，發(fā)現(xiàn)規(guī)劃師群體微博使用比例明顯高于整個網(wǎng)民群體中的微博使用比例。如何突破傳統(tǒng)方法，通過新興媒體數(shù)據(jù)積累分析出規(guī)劃師群體間的交流及人脈關(guān)系？ 北規(guī)院的茅明睿[1]給我們提供了一個新的思路與解決方案，即通過新浪微博api數(shù)據(jù)接口對微博上中規(guī)院、清規(guī)院、和北規(guī)院的三院用戶的粉絲和好友數(shù)據(jù)進行可視化分析，總結(jié)比較出三個院的用戶的粉絲和好友數(shù)據(jù)進行可視化與分析，總結(jié)比較三個院的人脈特征、組織特征和相互聯(lián)系與影響的情況，從而實現(xiàn)傳統(tǒng)技術(shù)手段難以達成的分析效果，成功給予我們對規(guī)劃行業(yè)利用大數(shù)據(jù)進行分析的啟示。

從數(shù)據(jù)的獲取手段來看，目前主要有兩種方法獲得新浪微博的數(shù)據(jù)，一是利用爬蟲程序通過解析微博頁面獲得微博數(shù)據(jù)；二是通過創(chuàng)建應(yīng)用，利用新浪官方API獲取微博數(shù)據(jù)，步驟如下：

（1）下載weibo 開發(fā)的SDK開發(fā)幫助包；（2）注冊用于獲取數(shù)據(jù)的新浪微博賬號；（3）在新浪微博開放平臺注冊應(yīng)用，并獲取APP Key和App Secret；（4）由App Key和App Secret 得到PIN值碼，并得到token 和密碼。

利用新浪API接口進行獲取數(shù)據(jù)更加簡潔高效，在OAuth2.0標注下調(diào)用新浪微博APi，返回均為Json格式的數(shù)據(jù)。Json是一種輕量級的數(shù)據(jù)交換格式，文件不具有明顯的強結(jié)構(gòu)特征。但在使用API之前，需要了解新浪微博API的接口定義及各個參數(shù)含義。新浪微博接口限制用戶每個小時請求的次數(shù)。為了避免過高頻率的訪問新浪API接口，一方面可以通過接口實時查詢當(dāng)前剩余的訪問次數(shù)，另一方面，需要對程序進行線程控制，以品均訪問頻率。

1.3 網(wǎng)絡(luò)爬蟲工具獲取開源數(shù)據(jù)

以上例子均需要借助一定的計算機編程實現(xiàn)，但也有一些互聯(lián)網(wǎng)上的網(wǎng)絡(luò)數(shù)據(jù)抓取軟件，只要對計算機的正則表達式掌握和了解，也可以自行配置進行抓取目標網(wǎng)站的數(shù)據(jù)。如火車頭采集器、網(wǎng)絡(luò)快車、gooseeker等。

2 數(shù)據(jù)分析展示工具——Gephi簡介

在我們得到了一定量的數(shù)據(jù)后，往往需要進行對數(shù)據(jù)的分析和展現(xiàn)， 在此介紹一個非常強大的可視化展現(xiàn)工具——Gephi。被稱為數(shù)據(jù)可視化領(lǐng)域的photoshop。 它是一款開源免費跨平臺基于JVM的復(fù)雜網(wǎng)絡(luò)分析軟件， 其主要用于各種網(wǎng)絡(luò)和復(fù)雜系統(tǒng)，動態(tài)和分層圖的交互可視化與探測開源工具。可用作：探索性數(shù)據(jù)分析，鏈接分析，社交網(wǎng)絡(luò)分析，生物網(wǎng)絡(luò)分析等。gephi是一款信息數(shù)據(jù)可視化利器。Gephi 內(nèi)嵌數(shù)據(jù)展示算法，只需要通過導(dǎo)數(shù)將不同數(shù)據(jù)賦予其邊和點的信息，就可進行強大的分析和展現(xiàn)。 在上文我們介紹的新浪微博展現(xiàn)三個規(guī)劃院的人脈分析，也是通過Gephi 軟件分析得出的。以下是一些用Gephi做出的數(shù)據(jù)分析效果圖2-3所示。

圖2 某社交網(wǎng)站用戶注冊情況 圖3 個人郵件可視化來往分析

3 結(jié)語

大數(shù)據(jù)的獲取有許多不同的方式，大數(shù)據(jù)的展現(xiàn)也將帶給我們新的思路和啟迪。只要我們細心抓取數(shù)據(jù)，并通過再加工和生產(chǎn)，大數(shù)據(jù)定能為規(guī)劃編制做出更好的服務(wù)！

參考文獻：

[1] 茅明睿.北京城市規(guī)劃設(shè)計研究院.規(guī)劃行業(yè)微博人脈特征分析——以中規(guī)院、清規(guī)院和北規(guī)院為例，10045.

作者簡介：李楠（1988—）女，四川成都，碩士研究生，助理工程師，研究方向：規(guī)劃信息化、規(guī)劃編制的知識管理。