大數(shù)據(jù)分析平臺(tái)建設(shè)與應(yīng)用綜述

張孟華

摘要：本文針對(duì)大數(shù)據(jù)在戰(zhàn)略思維層面、技術(shù)創(chuàng)新發(fā)展層面、社會(huì)創(chuàng)新發(fā)展層面的核心價(jià)值展開分析，結(jié)合大數(shù)據(jù)分析平臺(tái)建設(shè)思路，包括平臺(tái)建設(shè)目標(biāo)、建設(shè)內(nèi)容分析、關(guān)鍵技術(shù)分析等，通過研究大數(shù)據(jù)分析平臺(tái)在制造領(lǐng)域、零售領(lǐng)域、電力運(yùn)輸領(lǐng)域、運(yùn)輸領(lǐng)域、銀行服務(wù)領(lǐng)域中、公共衛(wèi)生領(lǐng)域等具體應(yīng)用，其目的在于加快大數(shù)據(jù)分析平臺(tái)建設(shè)速度，提升大數(shù)據(jù)分析平臺(tái)應(yīng)用效果。

關(guān)鍵詞：戰(zhàn)略思維層面;平臺(tái)建設(shè)目標(biāo);制造領(lǐng)域;平臺(tái)層;功能層

人類社會(huì)信息化進(jìn)程正在邁向網(wǎng)絡(luò)化信息技術(shù)普及階段。整個(gè)社會(huì)信息采集渠道日益豐富，信息應(yīng)用廣度不斷拓展，信息總量呈指數(shù)級(jí)增長，以信息為核心創(chuàng)新驅(qū)動(dòng)力持續(xù)增強(qiáng)，從而帶來全社會(huì)信息在類型多樣性、關(guān)系復(fù)雜性、應(yīng)用時(shí)效性等方面呈現(xiàn)出嶄新趨勢和特征。

1 大數(shù)據(jù)的核心應(yīng)用價(jià)值

1.1 戰(zhàn)略思維層面

從目前發(fā)展情況來看，數(shù)據(jù)已經(jīng)成為推動(dòng)社會(huì)經(jīng)濟(jì)穩(wěn)定發(fā)展重要影響因素，大數(shù)據(jù)發(fā)展可以追溯到2011年，麥肯錫公司發(fā)布了《大數(shù)據(jù)：下一個(gè)競爭、創(chuàng)新和生產(chǎn)力的前沿領(lǐng)域》的研究報(bào)告，這也意味著“大數(shù)據(jù)”正式進(jìn)入到了戰(zhàn)略發(fā)展階段。許多國家開始著手進(jìn)行大數(shù)據(jù)發(fā)展戰(zhàn)略研究，我國于2012年加入到了推動(dòng)大數(shù)據(jù)發(fā)展行列當(dāng)中，大數(shù)據(jù)重要性也在得到人們認(rèn)可。尤其是在2015年，國務(wù)院出臺(tái)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，明確了大數(shù)據(jù)在國家發(fā)展中地位，同時(shí)還在《綱要》中提出了一些有關(guān)大數(shù)據(jù)發(fā)展重要策略，這也進(jìn)一步凸顯出我國對(duì)于發(fā)展大數(shù)據(jù)重視，也使得大數(shù)據(jù)發(fā)展進(jìn)入到了戰(zhàn)略推進(jìn)階段。

1.2 技術(shù)創(chuàng)新發(fā)展層面

大數(shù)據(jù)相比其他類型數(shù)據(jù)信息，在發(fā)展應(yīng)用過程中，具備了發(fā)展類型多元化、總體量巨大、相互間關(guān)系復(fù)雜程度高等應(yīng)用特點(diǎn)。為了更好完成價(jià)值數(shù)據(jù)信息提取，需要匹配相應(yīng)科學(xué)技術(shù)，這也加快了技術(shù)創(chuàng)新速度，進(jìn)而促進(jìn)了社會(huì)經(jīng)濟(jì)快速發(fā)展。在技術(shù)創(chuàng)新過程中，其前提條件便是需要有足夠數(shù)據(jù)信息進(jìn)行支持，而大數(shù)據(jù)所能夠提供信息基數(shù)數(shù)量非常大，這也便于后續(xù)將與大數(shù)據(jù)相關(guān)理論、已有技術(shù)成果與創(chuàng)新框架結(jié)構(gòu)進(jìn)行融合，同時(shí)還可以依托于互聯(lián)網(wǎng)技術(shù)，開始推動(dòng)智能化體系發(fā)展，這也會(huì)進(jìn)一步加快問題處理速度，為技術(shù)創(chuàng)新發(fā)展創(chuàng)造良好應(yīng)用環(huán)境。

1.3 社會(huì)創(chuàng)新發(fā)展層面

社會(huì)經(jīng)濟(jì)飛速發(fā)展，社會(huì)也開始沿著智慧城市建設(shè)方向推進(jìn)，所謂智慧城市是指可以對(duì)城市各方面發(fā)展情況進(jìn)行統(tǒng)籌性規(guī)劃，并且將城市管轄區(qū)域信息網(wǎng)并聯(lián)在一起，采用以點(diǎn)及面方式來推進(jìn)城市經(jīng)濟(jì)穩(wěn)定發(fā)展。建立該網(wǎng)絡(luò)平臺(tái)基礎(chǔ)便是海量數(shù)據(jù)支持，即大數(shù)據(jù)便是實(shí)現(xiàn)智慧城市戰(zhàn)略目標(biāo)基礎(chǔ)內(nèi)容?，F(xiàn)階段，我國很多城市已經(jīng)著手進(jìn)行智慧城市建設(shè)，而大數(shù)據(jù)在該環(huán)節(jié)中，充分發(fā)揮著業(yè)務(wù)協(xié)同與信息整合作用，并且所搭建數(shù)據(jù)平臺(tái)還可以為社會(huì)發(fā)展提供可靠基礎(chǔ)設(shè)施支持，同時(shí)還降低了技術(shù)應(yīng)用門檻，加快了一站式服務(wù)普及速度。這也意味著社會(huì)創(chuàng)新發(fā)展進(jìn)入到了多元化推進(jìn)階段，提高了社會(huì)經(jīng)濟(jì)結(jié)構(gòu)穩(wěn)固性。

2 大數(shù)據(jù)分析平臺(tái)建設(shè)思路分析

2.1 平臺(tái)建設(shè)目標(biāo)

進(jìn)行大數(shù)據(jù)分析平臺(tái)建設(shè)，需要滿足以下幾點(diǎn)要求：（1）綜合性，搭建平臺(tái)主要應(yīng)用目標(biāo)便是構(gòu)建統(tǒng)一數(shù)據(jù)資源庫，同時(shí)還可以對(duì)數(shù)據(jù)進(jìn)行準(zhǔn)確篩選，提高數(shù)據(jù)內(nèi)容的精準(zhǔn)度。（2）可靠性強(qiáng)，在平臺(tái)服務(wù)內(nèi)容增多、服務(wù)范圍擴(kuò)大的背景下，為了確保服務(wù)質(zhì)量，還需要對(duì)數(shù)據(jù)安全管理能力進(jìn)行提升，在確保數(shù)據(jù)信息應(yīng)用價(jià)值的基礎(chǔ)上，提高結(jié)構(gòu)運(yùn)行過程的可靠性。（3）開放性，在實(shí)際應(yīng)用中，一般都會(huì)對(duì)數(shù)據(jù)信息的共享模式進(jìn)行調(diào)整，將虛擬數(shù)據(jù)沿著實(shí)體數(shù)據(jù)信息存儲(chǔ)的方式進(jìn)行調(diào)整，以此為基礎(chǔ)來搭建完善的數(shù)據(jù)管理框架，對(duì)于采集到的數(shù)據(jù)信息進(jìn)行預(yù)處理、數(shù)據(jù)清洗或數(shù)據(jù)分析等，此時(shí)的數(shù)據(jù)已經(jīng)開始沿著“資產(chǎn)”的方向進(jìn)行發(fā)展，這也提升了數(shù)據(jù)信息提供的針對(duì)性，為行業(yè)經(jīng)濟(jì)發(fā)展提供了可靠的數(shù)據(jù)信息支持。

2.2 建設(shè)內(nèi)容分析

2.2.1 數(shù)據(jù)采集系統(tǒng)

這也是大數(shù)據(jù)平臺(tái)的基礎(chǔ)內(nèi)容，在實(shí)際應(yīng)用中，可以借助可視化分析工具，來完成數(shù)據(jù)分析工作，而且還可以將二維數(shù)據(jù)信息進(jìn)行三維處理，使其更加具備直觀性，在提高數(shù)據(jù)分析效果的基礎(chǔ)上，幫助用戶對(duì)數(shù)據(jù)進(jìn)行更好的理解。同時(shí)還可以建立基礎(chǔ)算子，對(duì)于平臺(tái)中數(shù)據(jù)之間的關(guān)系進(jìn)行梳理，而且還會(huì)對(duì)數(shù)據(jù)信息潛在價(jià)值進(jìn)行研究，同時(shí)對(duì)于數(shù)據(jù)信息潛在價(jià)值進(jìn)行匯總整理，以此為依據(jù)對(duì)原有數(shù)據(jù)庫進(jìn)行重建，為一站式管理奠定基礎(chǔ)。另外，在實(shí)際應(yīng)用中，數(shù)據(jù)采集系統(tǒng)還需要具備較強(qiáng)的兼容性，可以對(duì)許多數(shù)據(jù)格式進(jìn)行兼容，以此來提高系統(tǒng)運(yùn)行本身的可靠性。

2.2.2 數(shù)據(jù)處理系統(tǒng)

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)每天都處于不斷更新的狀態(tài)，部分?jǐn)?shù)據(jù)信息在經(jīng)過一段時(shí)間后，會(huì)喪失原有的時(shí)效性，需要對(duì)其進(jìn)行更新，從而確保數(shù)據(jù)供給的可靠性。在數(shù)據(jù)處理系統(tǒng)建立過程中，可以將預(yù)處理技術(shù)融入到其中，對(duì)于已經(jīng)采集到的數(shù)據(jù)進(jìn)行處理，其內(nèi)容包括以下兩部分內(nèi)容：第一，對(duì)于采集到的數(shù)據(jù)進(jìn)行抽取，考慮到所采集數(shù)據(jù)格式多樣性，抽取的工作便是對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一，便于后續(xù)處理。第二，對(duì)數(shù)據(jù)進(jìn)行清洗，即對(duì)無價(jià)值數(shù)據(jù)進(jìn)行剔除，對(duì)于具備潛在價(jià)值的數(shù)據(jù)信息進(jìn)行深入挖掘，這也是提高系統(tǒng)應(yīng)用價(jià)值的基礎(chǔ)環(huán)節(jié)，以此為后續(xù)指令的下達(dá)奠定基礎(chǔ)。

2.2.3 數(shù)據(jù)安全管理系統(tǒng)

對(duì)于采集、處理后的數(shù)據(jù)信息進(jìn)行加密處理，同時(shí)在數(shù)據(jù)傳輸過程中也需要做好數(shù)據(jù)的加密工作，確保所有采集數(shù)據(jù)信息的可靠性。在此過程中，可以應(yīng)用到大數(shù)據(jù)存儲(chǔ)和管理技術(shù)來輔助數(shù)據(jù)管理工作的推進(jìn)，利用該技術(shù)來建立相應(yīng)的數(shù)據(jù)庫，而且還需要做好相關(guān)的記錄審查工作，確保數(shù)據(jù)審查的可靠性。另外，對(duì)于一些敏感性數(shù)據(jù)信息，還需要對(duì)其進(jìn)行脫敏處理，確保數(shù)據(jù)信息傳遞結(jié)果的完整性。

2.3 關(guān)鍵技術(shù)分析

2.3.1 平臺(tái)層

該結(jié)構(gòu)在大數(shù)據(jù)平臺(tái)建設(shè)中，屬于非常核心的系統(tǒng)結(jié)構(gòu)，在實(shí)際建設(shè)中，該系統(tǒng)主要由以下幾部分內(nèi)容組成：第一，數(shù)據(jù)存儲(chǔ)系統(tǒng)，大數(shù)據(jù)的信息總量龐大，在實(shí)際應(yīng)用中，需要構(gòu)建PB級(jí)存儲(chǔ)能力的系統(tǒng)，以此來滿足數(shù)據(jù)存儲(chǔ)要求。第二，數(shù)據(jù)挖掘系統(tǒng)，大數(shù)據(jù)在傳輸一般都會(huì)以數(shù)據(jù)包的方式進(jìn)行傳遞，其中蘊(yùn)含了非常多的數(shù)據(jù)信息，對(duì)此，平臺(tái)層在傳遞數(shù)據(jù)信息時(shí)，也需要做好兼容性調(diào)整，并且在傳遞過程中，應(yīng)打破傳統(tǒng)MapReduce技術(shù)的框架限制，對(duì)數(shù)據(jù)潛在價(jià)值進(jìn)行挖掘，從而提高系統(tǒng)運(yùn)行的可靠性。

2.3.2 功能層

在功能層結(jié)構(gòu)的建設(shè)過程中，主要由以下幾部分內(nèi)容構(gòu)成：（1）挖掘算法的確定，與平臺(tái)中數(shù)據(jù)挖掘系統(tǒng)相對(duì)應(yīng)，其主要的工作內(nèi)容便是對(duì)數(shù)據(jù)信息進(jìn)行深入挖掘，以此來提高TB建模的穩(wěn)定性。（2）隱私保護(hù)技術(shù)，所有采集到的數(shù)據(jù)信息需要進(jìn)行安全保護(hù)，同時(shí)還需要一些數(shù)據(jù)信息進(jìn)行脫敏處理，使其能夠和其他普通信息內(nèi)容一樣，可以順利地進(jìn)行傳遞，減少了其他不確定因素帶來的干擾性，從而提高信息傳遞的可靠性。（3）可視化分析技術(shù)，該技術(shù)主要用于輔助挖掘系統(tǒng)工作的順利開展，從而提高了數(shù)據(jù)信息交互過程的穩(wěn)定性[1]。

2.3.3 服務(wù)層

服務(wù)層作為和用戶進(jìn)行直接對(duì)接的系統(tǒng)，在該系統(tǒng)建立過程中，需要注意以下幾點(diǎn)內(nèi)容：第一，數(shù)據(jù)匹配技術(shù)，在用戶提出請(qǐng)求之后，可以快速將指令傳遞到指定區(qū)域，從中篩選出和請(qǐng)求相匹配的數(shù)據(jù)內(nèi)容，數(shù)據(jù)的細(xì)化程度會(huì)根據(jù)用戶提供關(guān)鍵詞的細(xì)化程度不斷提高，以此來為用戶提供可靠的數(shù)據(jù)信息。第二，顯示技術(shù)，不同格式數(shù)據(jù)信息的顯示方式也存在著較大的不同，因此需要對(duì)數(shù)據(jù)格式進(jìn)行兼容性轉(zhuǎn)化，從而提高數(shù)據(jù)顯示后的可利用性。

3 大數(shù)據(jù)分析平臺(tái)的具體應(yīng)用

3.1 制造領(lǐng)域

在我國經(jīng)濟(jì)產(chǎn)業(yè)組成結(jié)構(gòu)中，制造業(yè)屬于非常重要的支柱產(chǎn)業(yè)，在該行業(yè)領(lǐng)域中搭建大數(shù)據(jù)分析平臺(tái)時(shí)，主要包括以下應(yīng)用系統(tǒng)：（1）信息存儲(chǔ)系統(tǒng)，構(gòu)建PB級(jí)存儲(chǔ)能力的存儲(chǔ)系統(tǒng)，對(duì)于制造參數(shù)信息進(jìn)行存儲(chǔ)，為后續(xù)數(shù)據(jù)處理奠定基礎(chǔ)。（2）數(shù)據(jù)處理系統(tǒng)，對(duì)于產(chǎn)品的有關(guān)參數(shù)信息進(jìn)行歸類，同時(shí)利用挖掘技術(shù)對(duì)數(shù)據(jù)潛在價(jià)值進(jìn)行挖掘。（3）產(chǎn)品預(yù)警系統(tǒng)，對(duì)于產(chǎn)品生產(chǎn)質(zhì)量進(jìn)行監(jiān)督，若出現(xiàn)不合格產(chǎn)品或者批次合格率較低的情況，會(huì)做出預(yù)警，起到經(jīng)濟(jì)止損的作用。（4）可視化展示系統(tǒng)，大數(shù)據(jù)信息最終需要展示到用戶，面前，人機(jī)實(shí)現(xiàn)信息的順利交互，也是完善大數(shù)據(jù)平臺(tái)結(jié)構(gòu)的基礎(chǔ)。

3.2 零售領(lǐng)域

大數(shù)據(jù)在零售領(lǐng)域中的應(yīng)用，會(huì)根據(jù)零售領(lǐng)域中涉及到的商品種類進(jìn)行子系統(tǒng)匹配。例如，某零售企業(yè)銷售的商品主要可以分為糧食和休閑食品兩種，這也是大數(shù)據(jù)分析平臺(tái)建設(shè)時(shí)的兩個(gè)大應(yīng)用系統(tǒng)。同時(shí)糧食和休閑食品兩個(gè)類別還可以繼續(xù)進(jìn)行細(xì)分，如休閑食品還可以細(xì)分為飲料、小食、蜜餞等，此時(shí)也會(huì)對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行進(jìn)一步細(xì)分，同時(shí)對(duì)于零售情況進(jìn)行客觀評(píng)價(jià)，建立各個(gè)子分類銷售情況的統(tǒng)計(jì)體系，以月為單位對(duì)于該體系中的相關(guān)性內(nèi)容進(jìn)行考量，以此來調(diào)整企業(yè)下一階段的銷售策略，確保企業(yè)經(jīng)濟(jì)的穩(wěn)定提升。

3.3 電力運(yùn)輸領(lǐng)域

電能在現(xiàn)階段已經(jīng)成為了社會(huì)經(jīng)濟(jì)發(fā)展的重要?jiǎng)恿碓?，在?duì)其進(jìn)行大數(shù)據(jù)分析平臺(tái)建設(shè)時(shí)，主要包括以下應(yīng)用系統(tǒng)：第一，數(shù)據(jù)融合系統(tǒng)，該系統(tǒng)中包含了多項(xiàng)數(shù)據(jù)信息，如服務(wù)用戶信息、電力設(shè)備基礎(chǔ)信息、用電情況等，將這些數(shù)據(jù)信息根據(jù)相互之間的關(guān)聯(lián)性，對(duì)其進(jìn)行融合建模，方便后續(xù)分析工作的推進(jìn)。第二，噪音數(shù)據(jù)處理系統(tǒng)，所謂噪音數(shù)據(jù)是指完整度不足、異常性數(shù)據(jù)，分析這些數(shù)據(jù)信息產(chǎn)生的主要原因，以此來提高系統(tǒng)運(yùn)行的可靠性。

3.4 運(yùn)輸領(lǐng)域

在城市人口數(shù)量不斷增加的背景下，城市交通擁堵的情況也在加劇，這也降低了居民出行的便捷性。大數(shù)據(jù)分析平臺(tái)在該領(lǐng)域進(jìn)行使用時(shí)，第一，需要做好數(shù)據(jù)融合處理，對(duì)于城市居民分布情況、早晚高峰車流量、城市公交數(shù)據(jù)、城市線路分布等數(shù)據(jù)進(jìn)行融合，組建城市融合系統(tǒng)，同時(shí)借助GPS為居民提供一些出行提示，減少交通擁堵的時(shí)間。第二，綜合分析系統(tǒng)，借助挖掘技術(shù)對(duì)于數(shù)據(jù)的潛在價(jià)值進(jìn)行確定，隨后制定緩解交通壓力的措施，如修建地鐵線路、優(yōu)化公交行駛路線等，以此來提高城市運(yùn)輸環(huán)境的通暢度。

3.5 銀行服務(wù)領(lǐng)域

在銀行服務(wù)領(lǐng)域進(jìn)行大數(shù)據(jù)平臺(tái)建設(shè)時(shí)，主要包括以下應(yīng)用內(nèi)容：（1）信息存儲(chǔ)系統(tǒng)，構(gòu)建PB級(jí)存儲(chǔ)能力的存儲(chǔ)系統(tǒng)，對(duì)于用戶信息、信譽(yù)情況、存儲(chǔ)金額等內(nèi)容進(jìn)行存儲(chǔ)，為后續(xù)數(shù)據(jù)處理奠定基礎(chǔ)。（2）數(shù)據(jù)處理系統(tǒng)，以客戶為基礎(chǔ)，將客戶購買的產(chǎn)品進(jìn)行歸類，同時(shí)利用挖掘技術(shù)對(duì)數(shù)據(jù)潛在價(jià)值進(jìn)行挖掘，為用戶定向服務(wù)的制定奠定基礎(chǔ)。（3）信息安全保護(hù)系統(tǒng)，對(duì)于這些數(shù)據(jù)信息進(jìn)行保護(hù)，防止用戶隱私泄露情況的出現(xiàn)。（4）可視化展示系統(tǒng)，大數(shù)據(jù)信息最終需要展示到用戶面前，用戶可以通過客戶端獲取到想要的數(shù)據(jù)信息，提高銀行基礎(chǔ)服務(wù)質(zhì)量。

3.6 公共衛(wèi)生領(lǐng)域

在公共衛(wèi)生領(lǐng)域中，該技術(shù)的主要服務(wù)內(nèi)容便是進(jìn)行流行疾病管理，借助大數(shù)據(jù)技術(shù)對(duì)于人口流動(dòng)性、移動(dòng)模式等內(nèi)容展開分析，同時(shí)結(jié)合病原學(xué)、人口統(tǒng)計(jì)學(xué)、地理、氣象和人群移動(dòng)遷徙、地域之間等因素和信息，搭建流行病傳播模型，以此來明確流行病傳播路線和傳播規(guī)律性，及時(shí)制定可靠的防控措施，降低流行病所帶來的負(fù)面影響。

4 結(jié)語

開發(fā)和建設(shè)大數(shù)據(jù)分析與應(yīng)用平臺(tái)將帶來三個(gè)方面的價(jià)值：第一，有助于不斷匯集大數(shù)據(jù)技術(shù)創(chuàng)新成果，并用最先進(jìn)的技術(shù)為用戶提供一站式的應(yīng)用服務(wù);第二，有助于降低用戶技術(shù)門檻，為應(yīng)用開發(fā)提供共性基礎(chǔ)設(shè)施與服務(wù)，從而加快應(yīng)用創(chuàng)新;第三，有助于形成大數(shù)據(jù)技術(shù)產(chǎn)品和行業(yè)解決方案，促進(jìn)我國大數(shù)據(jù)產(chǎn)業(yè)加快形成。

參考文獻(xiàn)：

[1]陳越，侯常敏.基于大數(shù)據(jù)分析的公立醫(yī)院運(yùn)營信息化平臺(tái)建設(shè)及應(yīng)用[J].中國衛(wèi)生經(jīng)濟(jì)，2020，39（03）：80-82.