創(chuàng)建“可觀”的大數(shù)據(jù)

文/春秋

創(chuàng)建“可觀”的大數(shù)據(jù)

文/春秋

關于小爬蟲的努力奮斗史，人們關注興致缺了些，一個數(shù)據(jù)與一堆數(shù)據(jù)在非專業(yè)人士眼里，實在差別不大。另外，這一個小爬蟲軟件與另一眾小爬蟲，它們在互聯(lián)網(wǎng)世界抓取千變信息的功能上，分不出顯然的高下與優(yōu)劣。所以，要成全某些東西的獨一無二，視角應當要變化下，比如抓取之后拿茫茫數(shù)據(jù)怎么辦？

在這些冗雜的語言、數(shù)字或字符串中理出一條人類新媒體傳播的頭緒。禹衛(wèi)華的答案大致如此。他是上海交通大學媒體與設計學院院長助理，也是大數(shù)據(jù)與傳播創(chuàng)新實驗室的主任。

實驗室背景

上海交通大學大數(shù)據(jù)與傳播創(chuàng)新實驗室又稱T-Lab，即“透明（Transparence）實驗室”，一方面因為實驗室從房間到辦公桌都是鋼結構與玻璃，一切一覽無余，另一方面也表達在大數(shù)據(jù)時代幾乎都是透明的理念。實驗室是一個開放平臺，不但對接校內，同時對接校外的各類需求，致力于通過平臺建設推動新聞傳播學科的轉型與升級，通過短期培訓與日常教學工作共同實現(xiàn)新聞傳播業(yè)務的不斷創(chuàng)新，實驗室也形成社交媒體挖掘數(shù)據(jù)庫并定期發(fā)布研究報告。

在信息的最終端

外界把“對互聯(lián)網(wǎng)BBS論壇、博客、微博、轉帖、新聞跟帖等內容進行實時采集和監(jiān)測”的軟件統(tǒng)稱為輿情監(jiān)測軟件，比小爬蟲多了統(tǒng)計與預警的用處。由禹老師麾下實驗室開發(fā)的Socialdata-x歸類于此，但也遠不止。

“一般這一類軟件頂多把采集好的敏感關鍵信息由出現(xiàn)頻率多少來排名，它們在互聯(lián)網(wǎng)上出現(xiàn)到了一定數(shù)，軟件開始發(fā)出危險預警。然后沒有然后了，也沒有關于事件的結論?！庇砝蠋熈⒅咀孲ocialdata-x補上后來的環(huán)節(jié)。當然，基于實驗室優(yōu)秀的技術支持，小爬蟲完美鋪網(wǎng)，地盤勢力覆蓋幾大遠近聞名風頭無二的社交平臺，盡所能地爬梳完整詳細豐富的信息。

前陣，允許普通二孩的政策由官方發(fā)布后，贊成否定中庸的各執(zhí)一詞，各方觀點風起云涌，在網(wǎng)上轟炸開了花。這檔口，禹老師聚焦的是國外對此的看法。“公布的那天晚上六點到隔天的早上六點，外國知名的社交網(wǎng)站有7萬條相關評論信息。我們的軟件把它們全部裝箱入數(shù)據(jù)庫，再開始清點過濾?！敝斑@熱點還在預熱的一個月里，庫存的對“普二”的外文網(wǎng)絡評點已經(jīng)多到十幾萬條，好在經(jīng)過程序整理，撇去了無序或斷片的內容，余留下5萬條精裝版本。

接下來，禹老師會憑著自己的智慧與傳播學理論根底，撥云見日般地剖明海那邊的大眾態(tài)度與這一次的傳播意義。專業(yè)點說，這是社群連接分析。“大數(shù)據(jù)的最終端，是由人去觀察，站在輔助者角色的軟件無法越界代替?！?/p>

扯去大眾難解標簽

禹老師點開自個計算機頁面上一幅幅顏色迷離酷炫的圖，一些比煙花更燦爛，一些是點綴后的中國地圖，還有的里外三層圈，在黑色的布景下像極了科學界對太陽的層級解構。它們不是現(xiàn)代派藝術家的美好作為，它們是可視的能被理解的數(shù)據(jù)圖畫。

于是，除了書面的專業(yè)報告外，數(shù)據(jù)扯去了大眾難解的標簽，堂而皇之地亮相。

定位在呼和浩特，某人在微博上抒發(fā)對高考改革話題的一些片語。這一段往常以文字表述的內容抽象成了熒光藍色的點，在中國地圖上定格于呼和浩特位置，別的圓點與它一起散落著，仿如眨眼的夜深星空。鼠標在這點上劃過，某人自發(fā)的評論文字顯現(xiàn)出來。圍繞數(shù)據(jù)的人事物在同一維度到齊。再微觀來看，相對北京的其他地方，昌平區(qū)集湊著更密麻的圓點。“因為那兒外來人口多，所以對異地高考的新聞格外關注?！?/p>

誰對誰影響，誰與誰聯(lián)系，一張繁復的塵網(wǎng)不再是語言上的描摹。點成了圈，圈外擴展出了點?！拔⒉┥希D發(fā)與評論的人都在數(shù)據(jù)圖上留痕?！蹦菚r那會兒的人際傳播過程倒回在數(shù)據(jù)圖上。另方面，小爬蟲還能抓牢各種出現(xiàn)在留言中的表情符號，禹老師把它稱作情緒數(shù)據(jù)。好比簡單明了的關鍵詞“好”，末尾加上問號與感嘆號，兩者寓意迥然不同。

“雖然有些成果，但我們的研究還要深入。”禹老師以一向的自謙語調說道。

想象“碼”在現(xiàn)實里

當翩翩自帶文藝風況且學文從文的禹老師，遇上以技術流攻城略地的理科人士，那么兩相說得清嗎？

實驗室的草創(chuàng)初年，一文兩理三皮匠聚在一起，默默擦著冷汗，因為你方唱罷我聽也不懂，感性思維與理性的一對壘，結果是兩兩“陣亡”。數(shù)據(jù)怎樣粉墨呈現(xiàn)，禹衛(wèi)華在腦內補完后，對著隊友吳桑與XMAN傾倒出來，希望借助他們的智慧雙手，把想象“碼”出在現(xiàn)實里。但身為與直線曲線表格之類傳統(tǒng)形式打交道的理科人士，難理解禹老師濃墨重彩的數(shù)據(jù)抽象畫。不過來日方長，三人磨出了相知的默契。

禹老師花一暑假時光看完程序員寶典，終于跨過了寫代碼的門檻。他不說自己稱得上能手，但也擺脫了當懵懂門外人的局面。事實上，到了后來，實驗室的三人交流，用的是代碼，是高端的計算機語言，不再是普通話或英語。

偶然有時候，兩位高手正巧不在，出手解決虛擬世界問題的就是當年不懂的禹老師?！拔⑿攀腌姄Q一次接口，這下得不到公眾號數(shù)據(jù)了?！比粘９ぷ魈幵诒辣P的崖邊上。禹老師穩(wěn)了穩(wěn)焦急的心神，轉念想，就像鑰匙環(huán)上扣了太多把鑰匙，到頭來自己繞進去，甚至找不到開家門的那把，對方也是這樣，擔負過重，早晚放棄。

所以，禹老師兩手一揮，任它去十秒變化吧，他讓代碼改回到原來的日常狀態(tài)。過了幾天后如禹老師所想，一切恢復到原來，包括那微信接口。

故事終于迎來了團圓的結局。

最近，禹老師忙里抽空地開啟微信公眾號newdata，在平臺上曬出獨家的新媒體全景數(shù)據(jù)，文章以數(shù)字分析與觀點見長，不過筆調依然屬于文人style。

v名詞對對碰

Socialdata-x新媒體全景數(shù)據(jù)平臺，聚合當前主要社會化媒體如微博、微信公眾賬號、論壇等數(shù)據(jù)資源，是專門面向學科背景為人文社會科學的研究者、媒體從業(yè)人員、公務部門開發(fā)的一個集采集、分析、交互可視化為一體的分析平臺。

Socialdata指的是社會化數(shù)據(jù)，即可以獲得的、公開的社會化數(shù)據(jù)，x指的是學科，可以是新聞傳播學、社會學，也可以是政治學、教育學等，凡需要進行社會化數(shù)據(jù)研究的研究者均可使用。