基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)報(bào)送平臺搭建

劉晉州

摘要：數(shù)據(jù)報(bào)送平臺是數(shù)據(jù)處理和數(shù)據(jù)分析的基本保障，如何確保報(bào)送系統(tǒng)的迅速性和精確度是亟待解決的問題，為此設(shè)計(jì)基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)平臺搭建系統(tǒng)。以89C51及89C2051為數(shù)據(jù)運(yùn)行核心，由數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)調(diào)試模塊、數(shù)據(jù)模擬信道、數(shù)據(jù)分類系統(tǒng)、數(shù)據(jù)結(jié)果顯示板塊等構(gòu)建成系統(tǒng)硬件；軟件設(shè)計(jì)采用模塊化編程方法，傳輸碼元速率為二進(jìn)制數(shù)據(jù)流，實(shí)現(xiàn)數(shù)據(jù)的平穩(wěn)傳輸。

關(guān)鍵詞：互聯(lián)網(wǎng)；云技術(shù)；大數(shù)據(jù)；平臺搭建

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）29-0119-02

科學(xué)技術(shù)不斷進(jìn)步，不斷推進(jìn)生產(chǎn)力的發(fā)展，利用生產(chǎn)力的進(jìn)步推動(dòng)人類社會(huì)發(fā)展是我們的重要目的之一。生產(chǎn)力進(jìn)步的最大動(dòng)力就在于服務(wù)社會(huì)、解放人類。在當(dāng)今社會(huì)，我們無時(shí)無刻不處在大數(shù)據(jù)的洪流中。新的數(shù)據(jù)報(bào)送平臺搭建旨在依托迅猛發(fā)展的互聯(lián)網(wǎng)技術(shù)、云計(jì)算技術(shù)、云儲(chǔ)存平臺、大數(shù)據(jù)庫，建立數(shù)據(jù)分類儲(chǔ)存和智能分析系統(tǒng)，建立智能化的數(shù)據(jù)抓取與分析，實(shí)現(xiàn)最快捷的數(shù)據(jù)報(bào)送。國家和社會(huì)也大力支持?jǐn)?shù)據(jù)平臺的建設(shè)，如發(fā)改委發(fā)布稱：“在今后的五年內(nèi)，將投入資金一千億元支持?jǐn)?shù)字經(jīng)濟(jì)發(fā)展，支持大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算等領(lǐng)域建設(shè)，優(yōu)先培育一批數(shù)字經(jīng)濟(jì)領(lǐng)域重點(diǎn)項(xiàng)目，助力數(shù)字經(jīng)濟(jì)和數(shù)字絲綢之路建設(shè)[1]?！?/p>

1利用云技術(shù)構(gòu)建數(shù)據(jù)報(bào)送平臺執(zhí)行環(huán)境

在進(jìn)行數(shù)據(jù)報(bào)送之前，需要了解另一端的用戶是誰，他們從哪里來，又在哪里流失，從而找到新的增長點(diǎn)。只有構(gòu)建了扎實(shí)的數(shù)據(jù)倉庫，積累了大量的數(shù)據(jù)資產(chǎn)，并準(zhǔn)確搭建多維數(shù)據(jù)分析模型，才能實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)。面對各種來源的數(shù)據(jù)，怎么對這些零散的數(shù)據(jù)進(jìn)行有效的分析，得到有價(jià)值的信息是大數(shù)據(jù)領(lǐng)域研究的熱點(diǎn)問題。大數(shù)據(jù)分析處理平臺就是整合當(dāng)前主流的各種具有不同側(cè)重點(diǎn)的大數(shù)據(jù)處理分析框架和工具，實(shí)現(xiàn)對數(shù)據(jù)的挖掘和分析，一個(gè)大數(shù)據(jù)分析平臺涉及的組件眾多，如何將其有機(jī)地結(jié)合起來，完成海量數(shù)據(jù)的挖掘是一項(xiàng)復(fù)雜的工作[2]。

數(shù)據(jù)平臺搭建的產(chǎn)生原因是為了配合當(dāng)今信息社會(huì)中海量數(shù)據(jù)的井噴式產(chǎn)生。無論是商業(yè)領(lǐng)域還是政府領(lǐng)域都把大數(shù)據(jù)作為十分珍貴的財(cái)富。數(shù)據(jù)平臺搭建其實(shí)離我們并不遙遠(yuǎn)，最基礎(chǔ)的基于互聯(lián)網(wǎng)的數(shù)據(jù)分析就是運(yùn)用Excel整合數(shù)據(jù)并進(jìn)行處理。一些軟件工程專業(yè)或者語言學(xué)專業(yè)的人，經(jīng)常會(huì)在進(jìn)行Java、Python開發(fā)時(shí)，對于數(shù)據(jù)平臺產(chǎn)生興趣，這也從側(cè)面反映出了數(shù)據(jù)平臺搭建在當(dāng)今社會(huì)的必要性和重要性。

例如，在2018年的京東“618購物節(jié)”期間，從18日零點(diǎn)起到19日零點(diǎn)，單日成單金額達(dá)到1590余億元，比上年度增加37%，在巨大的成交額面前，顯示出的是龐大的購買用戶。而且，京東購物節(jié)期間，京東連同用戶眾多的微信和QQ平臺，上線了300余種社交互動(dòng)玩法，參與互動(dòng)人數(shù)超過3億。如果這些用戶的相關(guān)數(shù)據(jù)（年齡情況、性別情況、購買傾向、地域分布等）通過人工去進(jìn)行分析，那估計(jì)要耗費(fèi)上幾百年了。所以基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)報(bào)送平臺搭建才顯得愈發(fā)重要。那該如何進(jìn)行數(shù)據(jù)平臺搭建呢？

數(shù)據(jù)平臺搭建的第一階段是要有數(shù)據(jù)，例如各大購物平臺的購買數(shù)據(jù)，各大網(wǎng)站的用戶點(diǎn)擊數(shù)據(jù)，都可以成為搭建數(shù)據(jù)平臺的基礎(chǔ)。第二個(gè)階段是要考慮要用數(shù)據(jù)解決一個(gè)怎么樣的問題？拿一個(gè)非常具體的例子來說，一位商戶想在大學(xué)城開一家麻辣燙店，需要數(shù)據(jù)搭建平臺提供哪些幫助？首先數(shù)據(jù)的類別要包含大學(xué)城學(xué)生的人數(shù)、學(xué)生的屬性、學(xué)校的規(guī)模、學(xué)校的食堂規(guī)模、學(xué)校食堂的管理方式、學(xué)生對于麻辣燙的喜愛程度、食堂每個(gè)出入口的人流量和現(xiàn)存商戶、食堂商鋪的租金等。

2實(shí)現(xiàn)海量數(shù)據(jù)收集傳輸

根據(jù)著名的數(shù)據(jù)使用金字塔定律來說，數(shù)據(jù)的使用方式有以下幾種，Static、Query、OLAP、Adhoc、Data Mining等。由前到后對于數(shù)據(jù)的具體要求是不一致的。對于數(shù)據(jù)的數(shù)量要求越來越大，涉及的廣度越來越堵，交互處理的難度越來越大，需要提供的技術(shù)支持也越來越復(fù)雜。而且，從Static到Data Mining用戶的專業(yè)度也愈發(fā)提升，進(jìn)行處理的門檻兒越來越高，處理的主體也從以人為主到機(jī)器為主轉(zhuǎn)變[3]。

所以，數(shù)據(jù)報(bào)送平臺的搭建需要借助強(qiáng)有力的軟件平臺。采用Red Hat進(jìn)行數(shù)據(jù)基本操作，采用Flume NG系統(tǒng)進(jìn)行大數(shù)據(jù)采集，采用hadoop構(gòu)建PB級大數(shù)據(jù)平臺進(jìn)行廣泛的數(shù)據(jù)儲(chǔ)存，另外，Hive可用于數(shù)據(jù)清理，Spark R便于數(shù)據(jù)挖掘，模型應(yīng)用的結(jié)果存儲(chǔ)在H Base中[4]。數(shù)據(jù)平臺搭建一般包括兩個(gè)階段，數(shù)據(jù)預(yù)處理和數(shù)據(jù)建模分析，前者是后者的準(zhǔn)備工作。數(shù)據(jù)平臺兩個(gè)最重要的工作內(nèi)容是數(shù)據(jù)建模和數(shù)據(jù)分析。前者基于業(yè)務(wù)搭建數(shù)據(jù)平臺，后者基于平臺數(shù)據(jù)監(jiān)控，給予業(yè)務(wù)分析與指導(dǎo)。這都需要專業(yè)技術(shù)崗位人才進(jìn)行操作，對行業(yè)屬性及商業(yè)邏輯要深入理解。

數(shù)據(jù)平臺圍繞Select展開，增刪改、約束、索引、數(shù)據(jù)庫范式均可以跳過。用戶數(shù)據(jù)都暫時(shí)記憶在date-state中，我們用Red Hat把該屬性的值取出來，然后作為JSONEN格式讀取，再把數(shù)據(jù)集中存儲(chǔ)用戶數(shù)據(jù)的部分提取出來即可，代碼為：

數(shù)據(jù)報(bào)送平臺搭建成功后，將在各個(gè)領(lǐng)域發(fā)揮重要的作用。例如，近期某市紀(jì)委監(jiān)委依托監(jiān)察體制改革契機(jī)，搭建了“公共基礎(chǔ)信息查詢數(shù)據(jù)平臺”，重點(diǎn)圍繞大數(shù)據(jù)查詢、大數(shù)據(jù)監(jiān)督、電子數(shù)據(jù)調(diào)查開展建設(shè)，助力監(jiān)督執(zhí)紀(jì)監(jiān)察[5]。通過不同途徑的數(shù)據(jù)交換實(shí)現(xiàn)動(dòng)態(tài)采集，簡化信息查詢流程，并對部分敏感性數(shù)據(jù)建立起數(shù)據(jù)查詢綠色通道，隨時(shí)滿足審查調(diào)查工作需求。此次搭建的數(shù)據(jù)平臺已經(jīng)匯聚20余個(gè)部門一百余類八十余億條數(shù)據(jù)，對于政府之間的跨部門協(xié)作、跨層級共享的紀(jì)檢監(jiān)察信息資源共享具有至關(guān)重要的意義[6]。

3 基于云技術(shù)數(shù)據(jù)報(bào)送平臺操作案例

以某政府部門為云技術(shù)數(shù)據(jù)平臺搭建案例，數(shù)據(jù)報(bào)送平臺可實(shí)現(xiàn)新建報(bào)送表格、報(bào)表審核、統(tǒng)計(jì)查詢、表格權(quán)限管理和填報(bào)表格等功能。搭建完成后，具體操作流程為按住alt+p，就會(huì)跳出一個(gè)sftp窗口，再加命令：

put d：＼～＼jdk-7u79-linux-x64.gz。執(zhí)行步驟二，解壓jdk。主要命令是：tar -zxvf jdk-7u79-linux-x64.gz -C /app。將java添加到環(huán)境變量中，安裝hadoop-2.5.0，最后再格式化HDFS，Hadoop命令為hadoop namenode -format。我們輸入命令source/etc/profile，數(shù)據(jù)報(bào)送平臺就可以正常運(yùn)行了。

最后，數(shù)據(jù)報(bào)送平臺不可以隨意地允許訪問，一定要設(shè)計(jì)權(quán)限系統(tǒng)，數(shù)據(jù)報(bào)送平臺的權(quán)限設(shè)計(jì)包含兩部分，功能訪問權(quán)限和數(shù)據(jù)查看權(quán)限。功能訪問權(quán)限是指不同訪問者可以操作的界面，例如某一個(gè)訪問者在自己的計(jì)算機(jī)客戶端在訂單查詢頁面能看到哪些字段，能操作哪些按鈕。數(shù)據(jù)查看權(quán)限是指不同角色在同一頁面中看到的數(shù)據(jù)范圍，例如總公司管理員和分公司管理員在訂單查詢頁面能看到的公司訂單是不同的，區(qū)域主管只能看到所在區(qū)域的訂單，總公司可以看到所有的訂單信息。

4結(jié)束語

總之，我們結(jié)合多個(gè)實(shí)際案例，完整地介紹了一套數(shù)據(jù)報(bào)送平臺從無到有的設(shè)計(jì)。基于云技術(shù)的數(shù)據(jù)報(bào)送平臺搭建系統(tǒng)是基于單片機(jī)AT99C54來完成的，3路的模擬電壓轉(zhuǎn)換為數(shù)字信號之后，通過單片機(jī)進(jìn)行大數(shù)據(jù)的分析處理，并將整理過的數(shù)據(jù)傳送到儲(chǔ)存系統(tǒng)和顯示系統(tǒng)。大數(shù)據(jù)平臺搭建過程中涵蓋了大量的技術(shù)和產(chǎn)品，隨著技術(shù)的發(fā)展和IT成果的出現(xiàn)，數(shù)據(jù)報(bào)送和數(shù)據(jù)管理都更加的便捷，也更具專業(yè)化和個(gè)性化。如何在數(shù)據(jù)報(bào)送過程中，兼顧效率和精準(zhǔn)度，如何解決異構(gòu)數(shù)據(jù)爆炸式增長，也將會(huì)很快解決。

參考文獻(xiàn)：

[1] 石桂芳， 劉陳榮. 基于云平臺的數(shù)據(jù)采集與統(tǒng)計(jì)匯總系統(tǒng)應(yīng)用研究[C].2013電力行業(yè)信息化年會(huì)論文集. 2013：107-112.

[2] 李朝鋒. 大數(shù)據(jù)時(shí)代基于云計(jì)算技術(shù)構(gòu)建農(nóng)業(yè)信息服務(wù)平臺研究[J]. 河南科技， 2017（5）：19-21.

[3] 牟萍. 基于物聯(lián)網(wǎng)、云技術(shù)和大數(shù)據(jù)的高校智能化教學(xué)環(huán)境構(gòu)建[J]. 重慶師范大學(xué)學(xué)報(bào)：自然科學(xué)版， 2017（5）：81-86.

[4] 葉鑫， 董路安， 宋禺. 基于大數(shù)據(jù)與知識的“互聯(lián)網(wǎng)+政務(wù)服務(wù)”云平臺的構(gòu)建與服務(wù)策略研究[J]. 情報(bào)雜志， 2018（2）.

[5] 劉建鑫. 智能化媒體發(fā)展的引擎——基于大數(shù)據(jù)和云計(jì)算技術(shù)的應(yīng)用觀察[J]. 青年記者， 2018（1）：50-51.

[6] 梁春華. 大數(shù)據(jù)環(huán)境情報(bào)研究平臺發(fā)展現(xiàn)狀與思考[J]. 情報(bào)理論與實(shí)踐， 2017， 40（6）：63-66.

【通聯(lián)編輯：光文玲】