基于移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的異構(gòu)實(shí)時(shí)計(jì)算框架分析

摘? 要：移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，讓人人都成為消息的傳播者，對(duì)于扁平化架構(gòu)的網(wǎng)絡(luò)，監(jiān)控工作需要運(yùn)營(yíng)商付出大量成本支出，為滿足互聯(lián)網(wǎng)大數(shù)據(jù)的需要，還需要進(jìn)一步研究。因此，本文基于大數(shù)據(jù)處理技術(shù)及安全機(jī)制，分析了大數(shù)據(jù)計(jì)算現(xiàn)狀，并對(duì)異構(gòu)實(shí)時(shí)計(jì)算框架進(jìn)行了重點(diǎn)研究和分析。

關(guān)鍵詞：移動(dòng)互聯(lián)網(wǎng);大數(shù)據(jù)處理技術(shù);異構(gòu)實(shí)時(shí)計(jì)算

中圖分類號(hào)：TN929.5;TP393.01? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）15-0183-03

Analysis of Heterogeneous Real-time Computing Framework Based on

Big Data of Mobile Internet

FU Xuelei

（Guangdong Preschool Normal College in Maoming，Maoming? 525200，China）

Abstract：The rapid development of mobile internet makes people become the disseminators of news. For the network of flat architecture，the monitoring work requires operators to pay a lot of cost. In order to meet the needs of big data on the internet，further research is needed. Based on this，this paper analyzes the current situation of big data computing based on big data processing technology and security mechanism，and focuses on the analysis of heterogeneous real-time computing framework.

Keywords：mobile internet;big data processing technology;heterogeneous real-time computing

0? 引? 言

我國(guó)即將步入5G時(shí)代，移動(dòng)互聯(lián)網(wǎng)將步入新時(shí)期，如今LTE網(wǎng)絡(luò)數(shù)據(jù)占據(jù)70%以上的移動(dòng)互聯(lián)網(wǎng)，局部區(qū)域呈現(xiàn)出用戶密度高、流量大的特征，移動(dòng)運(yùn)營(yíng)商需要及時(shí)掌握社會(huì)熱點(diǎn)，才能為客戶提供個(gè)性化服務(wù)。互聯(lián)網(wǎng)使用OTT產(chǎn)品實(shí)現(xiàn)跨界融合和網(wǎng)絡(luò)運(yùn)營(yíng)商競(jìng)爭(zhēng)，讓傳統(tǒng)運(yùn)營(yíng)商受到極大威脅，運(yùn)營(yíng)商在用戶體驗(yàn)基礎(chǔ)上，盡量減少成本，以應(yīng)對(duì)市場(chǎng)競(jìng)爭(zhēng)，滿足企業(yè)發(fā)展需求。因此，研究異構(gòu)實(shí)時(shí)計(jì)算對(duì)于運(yùn)營(yíng)商具有重要意義。

1? 大數(shù)據(jù)處理技術(shù)及安全機(jī)制

1.1? 主流處理技術(shù)

在大數(shù)據(jù)技術(shù)的快速發(fā)展下，具體處理技術(shù)越來越多，從目前應(yīng)用較為廣泛的處理技術(shù)來看，主要包括：

（1）Hadoop離線批處理技術(shù)。Hadoop本身屬于Apache的一個(gè)分布式框架，能夠在簡(jiǎn)單硬件設(shè)備集群上運(yùn)行應(yīng)用程序，并提供穩(wěn)定接口，具有較好的可靠性和易擴(kuò)展性。在Hadoop 2.X版本中引入的YARN資源管理模塊，與HDFS模塊、MapReduce模塊共同構(gòu)成其三大核心模塊，支持海量數(shù)據(jù)存儲(chǔ)、云系統(tǒng)資源分配和海量數(shù)據(jù)分析計(jì)算等功能。

（2）Storm架構(gòu)處理技術(shù)。此技術(shù)主要在分布式實(shí)時(shí)數(shù)據(jù)流處理方面具有明顯優(yōu)勢(shì)，適用場(chǎng)景包括機(jī)器學(xué)習(xí)、實(shí)時(shí)分析、持續(xù)計(jì)算等，具有較強(qiáng)的容錯(cuò)性，可保證數(shù)據(jù)處理的全面性，而且數(shù)據(jù)處理速度非?？?，每節(jié)點(diǎn)每秒可處理數(shù)百萬條信息數(shù)據(jù)。而且Storm架構(gòu)本身部署方便，支持多種語言的程序開發(fā)。

（3）Spark架構(gòu)處理技術(shù)。Spark本身是一個(gè)大規(guī)模數(shù)據(jù)處理引擎，采用內(nèi)存運(yùn)算技術(shù)，能夠節(jié)省運(yùn)算過程中的數(shù)據(jù)存儲(chǔ)時(shí)間。而且Spark是開源框架，支持迭代開發(fā)，已經(jīng)形成獨(dú)立生態(tài)系統(tǒng)，應(yīng)用較為廣泛?？梢詫park作為基礎(chǔ)，兼容Hadoop部分組件，支持?jǐn)?shù)據(jù)庫查詢工具等的使用，貼近于用戶使用習(xí)慣。

1.2? 不同處理技術(shù)優(yōu)缺點(diǎn)

上述幾種技術(shù)都是目前主流的大數(shù)據(jù)處理技術(shù)，且三種技術(shù)各有各的優(yōu)缺點(diǎn)。其中，Hadoop使用時(shí)間較早，經(jīng)過多次的版本升級(jí)，目前功能性能較為完善，主要擅長(zhǎng)海量數(shù)據(jù)存儲(chǔ)和分析工作，適用于對(duì)實(shí)時(shí)響應(yīng)要求不高的場(chǎng)景。Storm架構(gòu)處理技術(shù)則與Hadoop不同，主要擅長(zhǎng)實(shí)時(shí)流式分析處理，在處理無界數(shù)據(jù)流方面有顯著優(yōu)勢(shì)，適合在對(duì)實(shí)時(shí)響應(yīng)要求較高的場(chǎng)景使用。Spark框架處理技術(shù)與Hadoop相似，也屬于批量處理方法，其特點(diǎn)是計(jì)算性能強(qiáng)，適用于交互查詢、迭代計(jì)算等大數(shù)據(jù)應(yīng)用場(chǎng)景。通過對(duì)大數(shù)據(jù)處理技術(shù)進(jìn)行合理選擇，可以最大化的發(fā)揮其應(yīng)用優(yōu)勢(shì)。

1.3? 大數(shù)據(jù)處理技術(shù)的安全機(jī)制

無論選擇何種大數(shù)據(jù)處理技術(shù)，都需要對(duì)其數(shù)據(jù)安全性提供保障。上述介紹的幾種大數(shù)據(jù)處理框架，在實(shí)際應(yīng)用過程中通常以大規(guī)模集群方式部署，從而保障系統(tǒng)的大規(guī)模并行計(jì)算能力。但在該模式下，也需要注意框架內(nèi)各層次堆棧集成、各節(jié)點(diǎn)之間、集群與客戶端之間的通信安全問題。以目前較為成熟的Hadoop離線批處理技術(shù)為例，在其早期研究中，安全問題就受到了高度重視，并已經(jīng)取得重要成果。目前Hadoop大數(shù)據(jù)處理技術(shù)主要通過采用用戶認(rèn)證、用戶授權(quán)、數(shù)據(jù)存儲(chǔ)加密、數(shù)據(jù)災(zāi)備技術(shù)等，為數(shù)據(jù)安全性提供保障。通過采取先進(jìn)的安全防護(hù)措施，可以在保證集群數(shù)據(jù)安全的同時(shí)，提高數(shù)據(jù)加解密速度，降低不必要的數(shù)據(jù)存儲(chǔ)消耗。對(duì)于Spark和Storm技術(shù)也是如此，需要不斷優(yōu)化其安全保護(hù)機(jī)制，為大數(shù)據(jù)處理技術(shù)的推廣應(yīng)用奠定基礎(chǔ)。

2? 大數(shù)據(jù)計(jì)算現(xiàn)狀

運(yùn)營(yíng)商建立了DPI一體規(guī)范，移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)主要可以分成控制面和用戶面兩個(gè)種類的原始數(shù)據(jù)，包括多個(gè)接口。移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)具有數(shù)量大、接口多的特征，傳統(tǒng)分析方法建立在單一接口基礎(chǔ)上，使用XDR方法儲(chǔ)存數(shù)據(jù)。利用該種方案不需要使用過于復(fù)雜的部署探針，響應(yīng)速度相對(duì)快速，但是由于其解析速度相對(duì)較慢，且無法和其他接口建立關(guān)聯(lián)，沒有辦法提供整體性反饋，無法通過計(jì)算分析網(wǎng)絡(luò)單用戶、業(yè)務(wù)以及網(wǎng)元等指標(biāo)。

為實(shí)現(xiàn)大規(guī)模收集數(shù)據(jù)，接入設(shè)備還需自動(dòng)識(shí)別鏈路邏輯接口，才能實(shí)現(xiàn)設(shè)備接入。為保證通信網(wǎng)絡(luò)不會(huì)受到影響，要按照規(guī)定格式數(shù)據(jù)包對(duì)通信網(wǎng)絡(luò)實(shí)施封裝，解析設(shè)備可以輸出數(shù)據(jù)，設(shè)備負(fù)責(zé)解碼、合成、關(guān)聯(lián)以及回填用戶面原始數(shù)據(jù)和信令面原始數(shù)據(jù)，最后形成規(guī)范XDR，提供給服務(wù)器使用。數(shù)據(jù)庫難以應(yīng)付多于10TB的數(shù)據(jù)，處理該量級(jí)數(shù)據(jù)會(huì)造成響應(yīng)速度緩慢。需要通過建立異構(gòu)實(shí)時(shí)計(jì)算框架對(duì)數(shù)據(jù)進(jìn)行管控，該計(jì)算框架具備可調(diào)節(jié)、可擴(kuò)展、大規(guī)模的優(yōu)勢(shì)，可以滿足運(yùn)營(yíng)商管理要求，對(duì)平臺(tái)數(shù)據(jù)進(jìn)行開放管理。

3? 異構(gòu)實(shí)時(shí)計(jì)算框架分析

3.1? 總體框架

如今各信息系統(tǒng)已經(jīng)實(shí)現(xiàn)了和3G、4G、LTE的結(jié)合，在高速索引、內(nèi)存計(jì)算、高度容錯(cuò)等先進(jìn)技術(shù)的輔助下，系統(tǒng)從100MB升級(jí)為100PB。無論哪一個(gè)數(shù)量級(jí)都擁有最佳處理性能，在流量不斷增加的情況下，實(shí)現(xiàn)了動(dòng)態(tài)化擴(kuò)容，且具備自由伸縮的功能。系統(tǒng)整體架構(gòu)為：XDR詳單→ Flume→Kafka→Spark Streaming/Storm→Kafka/Hbase/ Oracle→應(yīng)用層。

3.2? 高速探針

高速探針在軟件和硬件結(jié)合的基礎(chǔ)上，讓數(shù)據(jù)包完整及時(shí)地被接收。系統(tǒng)使用匯聚交換機(jī)完整收集邏輯接口數(shù)據(jù)，實(shí)現(xiàn)收斂匯聚。借助于ATCA探針架構(gòu)，板塊具備40Gbit/s線速能力，包含12千兆/萬兆光口，端口使用ASIC數(shù)據(jù)包對(duì)Buffer實(shí)時(shí)接收，通過雙重?fù)焓凹夹g(shù)的應(yīng)用有效規(guī)避丟包問題的出現(xiàn)，避免了阻塞問題。

系統(tǒng)通過多核網(wǎng)絡(luò)處理板處理機(jī)制，并利用分布式數(shù)據(jù)庫，實(shí)現(xiàn)了用戶面和信令面數(shù)據(jù)的完整解析、回填以及關(guān)聯(lián)，數(shù)據(jù)經(jīng)過處理后可實(shí)時(shí)傳送給SDTP協(xié)議，以及流式服務(wù)器，形成實(shí)時(shí)數(shù)據(jù)運(yùn)算。

為滿足計(jì)算準(zhǔn)確性，通過以下手段實(shí)現(xiàn)：

（1）硬件ASIC統(tǒng)計(jì)端口接收包，分析比較輸入和輸出端儲(chǔ)存的數(shù)據(jù)包和流量。

（2）比較數(shù)據(jù)包分類以及表示。

（3）選擇標(biāo)識(shí)處理機(jī)制對(duì)模塊進(jìn)行辨識(shí)，未知包可以被回流模塊和儲(chǔ)存模塊分流，有效規(guī)避誤報(bào)問題，避免出現(xiàn)丟包的弊端。

（4）信令數(shù)據(jù)涵蓋了多重關(guān)聯(lián)，經(jīng)過比較可以進(jìn)行正確性的檢查。

（5）使用多種關(guān)聯(lián)參數(shù)進(jìn)行業(yè)務(wù)統(tǒng)計(jì)XDR。

（6）IP使用五元組，在多關(guān)聯(lián)參數(shù)協(xié)助下完成處理，規(guī)避由于數(shù)據(jù)包無法準(zhǔn)確辨識(shí)造成多種業(yè)務(wù)流。

（7）動(dòng)態(tài)解析更新的協(xié)議碼和結(jié)構(gòu)，避免系統(tǒng)重啟，造成數(shù)據(jù)包無法實(shí)現(xiàn)關(guān)聯(lián)。

3.3? 流式處理

首先借助SDTP接口方式完成XDR數(shù)據(jù)的實(shí)時(shí)接收，通過于Kafka工具的應(yīng)用，在隊(duì)列中錄入并流數(shù)據(jù)，數(shù)據(jù)實(shí)現(xiàn)了實(shí)時(shí)入庫，不會(huì)出現(xiàn)數(shù)據(jù)延時(shí)問題。其次借助于ETL模型，如Storm框架，實(shí)現(xiàn)粗粒度級(jí)別的清洗、轉(zhuǎn)換數(shù)據(jù)同時(shí)也可以完成邏輯運(yùn)算數(shù)據(jù)。在保證計(jì)算資源完全充足時(shí)，可以運(yùn)算海量數(shù)據(jù)，并保證時(shí)延不超過5分鐘，完成運(yùn)算可以滿足數(shù)據(jù)維度、時(shí)間力度以及跨接口運(yùn)算的要求。最后對(duì)數(shù)據(jù)進(jìn)行匯總，將計(jì)算接口在Kafka實(shí)時(shí)隊(duì)列中完成準(zhǔn)確錄入。由于Kafka工具能夠給運(yùn)算步驟提供高兼容度的接口，使其得到廣泛使用，在應(yīng)用期間實(shí)現(xiàn)了完整對(duì)接。上層應(yīng)用所花費(fèi)的成本相對(duì)較少，開發(fā)效率也相對(duì)較快，對(duì)于大量數(shù)據(jù)生產(chǎn)起到較大幫助。

同時(shí)數(shù)據(jù)錄入進(jìn)Oracle數(shù)據(jù)庫中，可以進(jìn)行二次加工，從而完成復(fù)雜運(yùn)算。由于系統(tǒng)的延展性強(qiáng)，能夠自動(dòng)對(duì)接前臺(tái)部分系統(tǒng)。且邏輯運(yùn)算平臺(tái)框架支持HBase儲(chǔ)存型數(shù)據(jù)庫的數(shù)據(jù)錄入，可以得到海量數(shù)據(jù)并實(shí)現(xiàn)高速高效查詢。數(shù)百億甚至萬億數(shù)據(jù)被記錄后，普通數(shù)據(jù)庫無法適應(yīng)，只能使用HBase數(shù)據(jù)庫，且數(shù)據(jù)庫可以達(dá)到秒級(jí)。使用該種數(shù)據(jù)庫，可以實(shí)現(xiàn)快速查詢，且數(shù)據(jù)庫延展性較好，查詢結(jié)果更加準(zhǔn)確。

3.4? 擁擠警報(bào)

移動(dòng)互聯(lián)網(wǎng)中，很大一部分應(yīng)用數(shù)據(jù)流建立在TCP協(xié)議上傳送。TCP協(xié)議可以認(rèn)定為傳輸層協(xié)議。任何接收端收到數(shù)據(jù)包后，會(huì)向發(fā)送端發(fā)送消息。通過分析Acknowledge-ment，發(fā)送端能夠?qū)崿F(xiàn)準(zhǔn)確且及時(shí)的數(shù)據(jù)包確認(rèn)工作，發(fā)送和接收端上數(shù)據(jù)包發(fā)生丟失事故時(shí)，發(fā)送端會(huì)重新傳輸數(shù)據(jù)包直到接收端確認(rèn)接收的消息。高速探針可以實(shí)時(shí)檢測(cè)到用戶數(shù)據(jù)包，并將源端數(shù)據(jù)和關(guān)聯(lián)信息完成相互匹配。在傳遞數(shù)據(jù)包期間若出現(xiàn)丟失，探針將根據(jù)用戶TCP數(shù)據(jù)流，對(duì)于數(shù)據(jù)包丟失率展開準(zhǔn)確快速計(jì)算。探針可以獲得數(shù)據(jù)流任何一個(gè)數(shù)據(jù)包傳輸路線，確定信號(hào)流。掌握這些信息，用戶TCP會(huì)話丟失率會(huì)被映射給用戶，在傳輸路徑上，丟失率是發(fā)送路徑上全部數(shù)據(jù)包丟失的累計(jì)。當(dāng)用戶隨意移動(dòng)時(shí)，傳輸通道不斷改變，丟失數(shù)據(jù)包和時(shí)間路徑相互對(duì)應(yīng)。

網(wǎng)絡(luò)整體丟失率是全部路徑丟失率的累積，但是并沒有表明網(wǎng)元丟失的細(xì)節(jié)。探針使用斷層掃描技術(shù)，通過借助統(tǒng)計(jì)推論算法，能夠?qū)鬏斅窂缴铣霈F(xiàn)的丟失率計(jì)算出來。使用該算法要先假設(shè)丟失率不是隨機(jī)發(fā)生的，是由各個(gè)網(wǎng)元累計(jì)而來，且假設(shè)傳輸路徑擁有同樣的網(wǎng)元，無線用戶會(huì)擁有相似丟失率，路徑之間存在重疊現(xiàn)象，形成巨大采樣集，讓全部樣本數(shù)據(jù)得到覆蓋。探針有兩種方法應(yīng)對(duì)擁擠，第一種方法是假設(shè)擁擠網(wǎng)元丟包率更高，但是網(wǎng)元未過載，丟失率仍然較高，該定義也成立。網(wǎng)元丟失率會(huì)影響用戶體驗(yàn)。網(wǎng)絡(luò)斷層掃描算法可以確定數(shù)據(jù)包丟失，該現(xiàn)象為擁擠警報(bào)。第二種方法是檢測(cè)對(duì)比一天負(fù)載量和一周負(fù)載量，該現(xiàn)象為趨勢(shì)警告。

4? 結(jié)? 論

綜上所述，本文研究了移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)異構(gòu)實(shí)時(shí)計(jì)算框架，在軟件和硬件聯(lián)合應(yīng)用的基礎(chǔ)上，輔助運(yùn)營(yíng)商使用有序統(tǒng)一方式采集、儲(chǔ)存數(shù)據(jù)，讓不同分析、搜索以及訪問需求得到完全滿足，在提升用戶體驗(yàn)感的同時(shí)，讓故障檢修以及通道監(jiān)控得以實(shí)現(xiàn)，使得互聯(lián)網(wǎng)運(yùn)營(yíng)成本得到有序控制，并提高運(yùn)營(yíng)穩(wěn)定性。

參考文獻(xiàn)：

[1] 李洪乾.面向電力大數(shù)據(jù)的多數(shù)據(jù)流實(shí)時(shí)處理技術(shù)研究 [J].計(jì)算機(jī)產(chǎn)品與流通，2018（10）：63.

[2] 吳海建，呂軍.物聯(lián)網(wǎng)大數(shù)據(jù)處理中實(shí)時(shí)流計(jì)算系統(tǒng)的實(shí)踐 [J].電子技術(shù)與軟件工程，2018（17）：170.

[3] 陳德沖.基于事件驅(qū)動(dòng)的智能大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的研究設(shè)計(jì)和基本實(shí)現(xiàn) [D].北京：北京郵電大學(xué)，2016.

作者簡(jiǎn)介：傅學(xué)磊（1979.10-），男，漢族，廣東高州人，講師，碩士，研究方向：計(jì)算機(jī)應(yīng)用技術(shù)。