移動(dòng)互聯(lián)網(wǎng)的大數(shù)據(jù)處理關(guān)鍵技術(shù)

汪曉東/中國聯(lián)合網(wǎng)絡(luò)通信有限公司煙臺(tái)分公司

移動(dòng)互聯(lián)網(wǎng)的大數(shù)據(jù)處理關(guān)鍵技術(shù)

汪曉東/中國聯(lián)合網(wǎng)絡(luò)通信有限公司煙臺(tái)分公司

【摘 要】通過大數(shù)據(jù)的研究處理將獲得的有用信息服務(wù)于企業(yè)或機(jī)構(gòu)，使其在競爭中取得優(yōu)勢，來為企業(yè)提供更好的處理大數(shù)據(jù)的方法，幫助企業(yè)更深刻的理解客戶對(duì)其的需求和體驗(yàn)，以利于業(yè)務(wù)的發(fā)展，用戶也可以更好地體驗(yàn)移動(dòng)互聯(lián)網(wǎng)各種資源。本文首先對(duì)移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)做了概述，然后分析了移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)處理中存在的問題，最后詳細(xì)闡述了移動(dòng)互聯(lián)網(wǎng)的大數(shù)據(jù)處理關(guān)鍵技術(shù)。

【關(guān)鍵詞】移動(dòng)互聯(lián)網(wǎng)；大數(shù)據(jù)；處理；排重；整合

一、移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)概述

移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)是指用戶使用智能終端在移動(dòng)網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù)，主要包括：與網(wǎng)絡(luò)信令、協(xié)議、流量等相關(guān)的網(wǎng)絡(luò)信息數(shù)據(jù)；與用戶信息相關(guān)的用戶數(shù)據(jù)；與業(yè)務(wù)相關(guān)的數(shù)據(jù)。

大數(shù)據(jù)提供客戶經(jīng)歷的各種體驗(yàn)的完整信息，可以詳盡到在任何時(shí)間、地點(diǎn)，結(jié)合移動(dòng)客戶體驗(yàn)方案來分析相關(guān)數(shù)據(jù)，從而幫助運(yùn)營商更詳細(xì)掌握客戶體驗(yàn)情況，提前預(yù)知網(wǎng)絡(luò)上可能發(fā)生的問題，及時(shí)做出合理響應(yīng)，這些信息對(duì)運(yùn)營商的服務(wù)提供很大的幫助。大數(shù)據(jù)分析為整個(gè)電信產(chǎn)業(yè)帶來了前所未有的機(jī)遇與挑戰(zhàn)，如何高效地發(fā)揮這些數(shù)據(jù)資源的作用，是擺在為運(yùn)營商面前的關(guān)鍵問題。

二、移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)處理中存在的問題

（一）多源數(shù)據(jù)采集問題

大數(shù)據(jù)時(shí)代的數(shù)據(jù)存在如下幾個(gè)特點(diǎn)：多源異構(gòu)、分布廣泛、動(dòng)態(tài)增長、先有數(shù)據(jù)后有模式。舉例來說，一個(gè)用戶的一條位置信息的價(jià)值是很小的，但是很多這樣的低價(jià)值數(shù)據(jù)可以完整刻畫出用戶的運(yùn)動(dòng)軌跡，獲得本質(zhì)上的價(jià)值提升。然而，在已有的數(shù)據(jù)采集系統(tǒng)中，數(shù)據(jù)收集不全面是一個(gè)普遍的問題，如何處理來自多源的數(shù)據(jù)是移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代面臨的新挑戰(zhàn)。其中，迫切需要解決如下幾個(gè)問題：

1.無線移動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，需要在網(wǎng)絡(luò)中高效地采集數(shù)據(jù)。

2.多源數(shù)據(jù)集成和多類型數(shù)據(jù)集成的技術(shù)。

3.兼顧用戶的隱私和數(shù)據(jù)的所有權(quán)和使用權(quán)等。

（二）移動(dòng)互聯(lián)網(wǎng)海量異構(gòu)數(shù)據(jù)管理問題

據(jù)統(tǒng)計(jì)，2003年前人類共創(chuàng)造了5艾字節(jié)（Exabytes）的數(shù)據(jù)，而今天兩天的時(shí)間就可以創(chuàng)造如此大量的數(shù)據(jù)。這些數(shù)據(jù)大部分是異構(gòu)數(shù)據(jù)，有些具有用戶標(biāo)注、有些沒有；有些是結(jié)構(gòu)化的（比如數(shù)值、符號(hào)）、有些是非結(jié)構(gòu)化話的（比如圖片、聲音）；有些時(shí)效性強(qiáng)、有些時(shí)效性弱；有些價(jià)值度高、有些價(jià)值度低。移動(dòng)互聯(lián)網(wǎng)海量異構(gòu)數(shù)據(jù)管理平臺(tái)包含以下關(guān)鍵研究和技術(shù)：海量異構(gòu)大數(shù)據(jù)傳輸控制、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)質(zhì)量管理。

（三）移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)挖掘問題

傳統(tǒng)意義上的數(shù)據(jù)分析（Analysis）主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)展開，且已經(jīng)形成了一整套行之有效的分析體系。首先，利用數(shù)據(jù)庫來存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，在此基礎(chǔ)上構(gòu)建數(shù)據(jù)倉庫，根據(jù)需要構(gòu)建數(shù)據(jù)立方體進(jìn)行聯(lián)機(jī)分析處理（OLAP，Online Analytical Processing），可以進(jìn)行多個(gè)維度的下鉆（Drill-down）或上卷（Roll-up）操作。對(duì)于從數(shù)據(jù)中提煉更深層次的知識(shí)的需求促使了數(shù)據(jù)挖掘技術(shù)的產(chǎn)生，并發(fā)明了聚類、關(guān)聯(lián)分析等一系列在實(shí)踐中行之有效的方法。這一整套處理流程在處理相對(duì)較少的結(jié)構(gòu)化數(shù)據(jù)時(shí)極為高效。但是，對(duì)于移動(dòng)互聯(lián)網(wǎng)來說，涉及更多的是多模態(tài)數(shù)據(jù)挖掘，這些數(shù)據(jù)包括手機(jī)上的傳感器，包括加速度計(jì)、陀螺儀、指南針、GPS、麥克風(fēng)、攝像頭、以及各種無線信號(hào)（如GSM、WiFi）和藍(lán)牙等。這些原始數(shù)據(jù)在不同維度上刻畫被感知的對(duì)象，需要經(jīng)過不同層次的加工和提煉才能形成從數(shù)據(jù)到信息再到知識(shí)的飛躍。移動(dòng)互聯(lián)網(wǎng)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量的迅猛增長，給傳統(tǒng)的分析技術(shù)帶來了巨大的沖擊和挑戰(zhàn)。

三、移動(dòng)互聯(lián)網(wǎng)的大數(shù)據(jù)處理關(guān)鍵技術(shù)

（一）數(shù)據(jù)處理的整體框架

數(shù)據(jù)處理的整個(gè)過程如圖1所示，主要包括四個(gè)模塊：分詞(WordsAnalyze)、排重(ContentDeduplicate)、整合(Integrate)和數(shù)據(jù)。

圖1 數(shù)據(jù)處理的整體框架

這四個(gè)模塊的主要功能如下。

分詞：對(duì)抓取到的網(wǎng)頁內(nèi)容進(jìn)行切詞處理。

排重：對(duì)眾多的網(wǎng)頁內(nèi)容進(jìn)行排重。

整合：對(duì)不同來源的數(shù)據(jù)內(nèi)容進(jìn)行格式上的整合。

數(shù)據(jù)：包含兩方面的數(shù)據(jù)，Spider Data（爬蟲從網(wǎng)頁中抽取出來的數(shù)據(jù)）和 Dp Data（在整個(gè)數(shù)據(jù)處理過程中產(chǎn)生的的數(shù)據(jù)）。

（二）數(shù)據(jù)處理的基本流程

整個(gè)數(shù)據(jù)處理過程的基本步驟如下：

1.對(duì)抓取來的網(wǎng)頁內(nèi)容進(jìn)行分詞。

2.將分詞處理的結(jié)果寫入數(shù)據(jù)庫。

3.對(duì)抓取來的網(wǎng)頁內(nèi)容進(jìn)行排重。

4.將排重處理后的數(shù)據(jù)寫入數(shù)據(jù)庫。

5.根據(jù)之前的處理結(jié)果，對(duì)數(shù)據(jù)進(jìn)行整合。

6.將整合后的結(jié)果寫入數(shù)據(jù)庫。

（三）數(shù)據(jù)處理的關(guān)鍵技術(shù)

1.排重。

排重就是排除掉與主題相重復(fù)項(xiàng)的過程，網(wǎng)頁排重就是通過兩個(gè)網(wǎng)頁之間的相似度來排除重復(fù)項(xiàng)。Simhash算法是一種高效的海量文本排重算法，相比于余弦角、歐式距離、Jaccard相似系數(shù)等算法，Simhash避免了對(duì)文本兩兩進(jìn)行相似度比較的復(fù)雜方式，從而大大提高了效率。

采用Simhash算法來進(jìn)行抓取網(wǎng)頁內(nèi)容的排重，可以容納更大的數(shù)據(jù)量，提供更快的數(shù)據(jù)處理速度，實(shí)現(xiàn)大數(shù)據(jù)的快速處理。

Simhash算法的基本思想描述如下：輸入為一個(gè)N維向量V，比如文本的特征向量，每個(gè)特征具有一定權(quán)重。輸出是一個(gè)C位的二進(jìn)制簽名S。

（1）初始化一個(gè)C維向量Q為0，C位的二進(jìn)制簽名S為0。

（2）對(duì)向量V中的每一個(gè)特征，使用傳統(tǒng)的Hash算法計(jì)算出一個(gè)C位的散列值H。對(duì)1〈=i〈=C,如果H的第i位為1，則Q的第i個(gè)元素加上該特征的權(quán)重；否則，Q的第i個(gè)元素減去該特征的權(quán)重。

（3）如果Q的第i個(gè)元素大于0，則S的第i位為1；否則為0。

（4）返回簽名S。

對(duì)每篇文檔根據(jù)SimHash算出簽名后，再計(jì)算兩個(gè)簽名的海明距離（兩個(gè)二進(jìn)制異或后1的個(gè)數(shù)）即可。根據(jù)經(jīng)驗(yàn)值，對(duì)64位的SimHash，海明距離在3以內(nèi)的可以認(rèn)為相似度比較高。

2.整合。

整合就是把抓取來的網(wǎng)頁內(nèi)容與各個(gè)公司之間建立對(duì)應(yīng)關(guān)系。對(duì)于每一個(gè)公司來說，可以用一組關(guān)鍵詞來對(duì)該公司進(jìn)行描述，同樣的，經(jīng)過dp處理之后的網(wǎng)頁內(nèi)容，也可以用一組關(guān)鍵詞來進(jìn)行描述。因此，整合就變成了兩組關(guān)鍵詞(公司關(guān)鍵詞，內(nèi)容關(guān)鍵詞)之間的匹配。

對(duì)于網(wǎng)頁內(nèi)容的分詞結(jié)果來說，存在著兩個(gè)特點(diǎn)：（1）分詞結(jié)果的數(shù)量很大；（2）大多數(shù)的分詞對(duì)描述該網(wǎng)頁內(nèi)容來說是沒有貢獻(xiàn)的。因此，對(duì)網(wǎng)頁的分詞結(jié)果進(jìn)行一下簡化，使用詞頻最高的若干個(gè)詞匯來描述該網(wǎng)頁內(nèi)容。

3.流處理系統(tǒng)。

移動(dòng)互聯(lián)網(wǎng)的多源異構(gòu)數(shù)據(jù)每時(shí)每刻都在大量產(chǎn)生著。數(shù)據(jù)探測模塊根據(jù)這些數(shù)據(jù)處理的不同要求，將數(shù)據(jù)分別送給實(shí)時(shí)處理系統(tǒng)和批處理系統(tǒng)。很多互聯(lián)網(wǎng)公司將根據(jù)業(yè)務(wù)的需求和處理的時(shí)間將劃分為在線、近線和離線三種方式來處理業(yè)務(wù)消耗的時(shí)間。這其中，在線處理的處理時(shí)間通常在毫秒級(jí)，一般采用流處理方式；離線處理的處理時(shí)間通常以天為單位，一般采用批處理方式。這樣會(huì)最大程度地利用好輸入/輸出系統(tǒng)。近線處理對(duì)其處理模式?jīng)]有特別的要求，處理的時(shí)間一般在分鐘級(jí)或小時(shí)級(jí)，在實(shí)際情況中多采用此處理方式，可根據(jù)需求靈活選擇。

四、結(jié)語

綜上，隨著移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展，客戶處理的業(yè)務(wù)越來越復(fù)雜，與其相關(guān)的大數(shù)據(jù)正逐漸增長，大數(shù)據(jù)分析技術(shù)已經(jīng)成為各方關(guān)注的焦點(diǎn)。合理使用大數(shù)據(jù)將有效的發(fā)揮移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的資源作用，使大數(shù)據(jù)為用戶獲得前所未有的體驗(yàn)，為企業(yè)發(fā)展提供完整清晰的指引。

參考文獻(xiàn)：

[1]張錚. 淺析網(wǎng)絡(luò)大數(shù)據(jù)的采集和處理方法[J]. 信息系統(tǒng)工程，2015(10).

[2]劉智慧，張泉靈. 大數(shù)據(jù)技術(shù)研究綜述[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版)，2014(06).

[3]王秀磊，劉鵬. 大數(shù)據(jù)關(guān)鍵技術(shù)[J]. 中興通訊技術(shù)，2013(04).