楊雨鋒 四川信息職業(yè)技術(shù)學(xué)院 四川廣元 628017
?
基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)的農(nóng)村普惠金融系統(tǒng)
楊雨鋒 四川信息職業(yè)技術(shù)學(xué)院 四川廣元 628017
【文章摘要】
近年來(lái)農(nóng)業(yè)在我國(guó)經(jīng)濟(jì)體系中重要性逐漸提高。而農(nóng)業(yè)發(fā)展急需大量資金注入,銀行貸款是一種典型應(yīng)用。本系統(tǒng)主要在業(yè)務(wù)分析上考慮如何進(jìn)行大數(shù)據(jù)技術(shù)應(yīng)用,數(shù)據(jù)服務(wù)模型,綜合分析農(nóng)村普惠金融系統(tǒng)的業(yè)務(wù)流程和功能性分析。為新農(nóng)村建設(shè)提供相關(guān)的技術(shù)支持。
【關(guān)鍵詞】
大數(shù)據(jù);數(shù)據(jù)模型;Hadoop;功能分析
大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷去、管理、處理并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。(在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)不用隨機(jī)分析法[抽樣調(diào)查]這樣的捷徑,而采用所有數(shù)據(jù)的方法)大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Veracity(真實(shí)性)。
大數(shù)據(jù)是一個(gè)概念,也是一種技術(shù),也是一種應(yīng)用。
大數(shù)據(jù)技術(shù)是云計(jì)算技術(shù)、軟件技術(shù)、網(wǎng)絡(luò)技術(shù)、通信技術(shù)、物聯(lián)網(wǎng)技術(shù)、市場(chǎng)營(yíng)銷技術(shù)、電子商務(wù)技術(shù)、數(shù)據(jù)庫(kù)技術(shù)的綜合應(yīng)用,通過(guò)對(duì)互聯(lián)網(wǎng)上海量數(shù)據(jù)的跟蹤、分析,智能化的給人們提供決策依據(jù),科學(xué)決策,從而提高成功率,創(chuàng)造價(jià)值。
數(shù)據(jù)庫(kù)(Database)是按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)。如何處理的SOA-數(shù)據(jù)關(guān)系的三個(gè)不同模型來(lái)管理大數(shù)據(jù)、云數(shù)據(jù)和數(shù)據(jù)層次結(jié)構(gòu)。
SOA的三個(gè)數(shù)據(jù)中心模型分別是數(shù)據(jù)即服務(wù)(DaaS)模型、物理層次結(jié)構(gòu)模型和架構(gòu)組件模型。DaaS數(shù)據(jù)存取的模型描述了數(shù)據(jù)是如何提供給SOA組件的。物理模型描述了數(shù)據(jù)是如何存儲(chǔ)的以及存儲(chǔ)的層次圖是如何傳送到SOA數(shù)據(jù)存儲(chǔ)器上的。最后,架構(gòu)模型描述了數(shù)據(jù)、數(shù)據(jù)管理服務(wù)和SOA組件之間的關(guān)系。
常用的數(shù)據(jù)庫(kù)為MySql、SQLerver、Oracle等,與開發(fā)工具、Windows、Android、Linux、IOS等操作系統(tǒng)結(jié)合,即可開發(fā)出農(nóng)村普惠金融服務(wù)的管理軟件(平臺(tái))。
數(shù)據(jù)庫(kù)效率問(wèn)題可采用一個(gè)解決方案是現(xiàn)代分層存儲(chǔ)模式。數(shù)據(jù)庫(kù)不是磁盤,而是一組相互連接的高速緩存點(diǎn),其存儲(chǔ)于本地內(nèi)存中,也可能轉(zhuǎn)向固態(tài)硬盤,然后到本地磁盤,最后到云存儲(chǔ)。緩存算法處理這些緩存點(diǎn)之間的活動(dòng),從而來(lái)平衡存儲(chǔ)成本(同時(shí)也是平衡同步地更新成本)和性能。
對(duì)于大數(shù)據(jù),它也是經(jīng)??梢詣?chuàng)建適用于大多數(shù)分析的匯總數(shù)據(jù)。
Hadoop旨在通過(guò)一個(gè)高度可擴(kuò)展的分布式批量處理系統(tǒng),對(duì)大型數(shù)據(jù)集進(jìn)行掃描,以產(chǎn)生其結(jié)果。Hadoop項(xiàng)目包括三部分,分別是Hadoop Distributed File System(HDFS)、HadoopMapReduce編程模型,以及Hadoop Common。
Hadoop平臺(tái)對(duì)于操作非常大型的數(shù)據(jù)集而言可以說(shuō)是一個(gè)強(qiáng)大的工具。為了抽象Hadoop編程模型的一些復(fù)雜性,已經(jīng)出現(xiàn)了多個(gè)在Hadoop之上運(yùn)行的應(yīng)用開發(fā)語(yǔ)言。Pig、Hive和Jaql是其中的代表。
a.依權(quán)限等級(jí)提供讀寫修改功能。確保安全性。
b.提供多個(gè)客戶關(guān)系圖。直面形象的了解客戶之間關(guān)系。
c.提供各種類搜索引擎,可以快速搜索使用者需要的信息。
d.采用分布式云存儲(chǔ),可以儲(chǔ)存更多的數(shù)據(jù)。
e.兼容并整合各種金融工具在數(shù)據(jù)庫(kù)中應(yīng)用中。
f.顯示編輯功能,可調(diào)節(jié)字體,背景等選項(xiàng)。
g.導(dǎo)出數(shù)據(jù)功能,在合法權(quán)限下可從數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)。
h.提供簡(jiǎn)單的分析功能,可初步分析客戶情況,給出參考建議。
i.個(gè)人備注功能,依靠帳號(hào)可寫入僅該用戶可看到的備注。
j.關(guān)注功能,需要關(guān)注客戶可收藏在關(guān)注欄。
第1步:收集數(shù)據(jù)
要查找數(shù)據(jù)、收集數(shù)據(jù)以及根據(jù)數(shù)據(jù)作出決策,您需要實(shí)現(xiàn)一個(gè)分布式系統(tǒng)。因?yàn)樵O(shè)備基本上在不停地發(fā)送數(shù)據(jù),您需要能夠以較小的延遲加載數(shù)據(jù)(收集或獲取數(shù)據(jù))。這項(xiàng)工作在收集點(diǎn)完成,這里也是為實(shí)時(shí)決策而評(píng)估數(shù)據(jù)的位置。稍后我們?cè)倩氐绞占c(diǎn)。
來(lái)自收集點(diǎn)的數(shù)據(jù)流入 Hadoop 集群(在本例中,即大數(shù)據(jù)機(jī))??赡苓€會(huì)將其他數(shù)據(jù)提供給此設(shè)備。例社交信源將來(lái)自分擇相關(guān)哈希標(biāo)記的數(shù)據(jù)聚合者(通常是一家公司)。然后使用 Flume 或 Scribe 將數(shù)據(jù)加載到 Hadoop。
第2步:整理和移動(dòng)數(shù)據(jù)
下一步是添加數(shù)據(jù)(社交信源、用戶個(gè)人信息和使結(jié)果與分析相關(guān)所需的任何其他數(shù)據(jù))和開始整理、解釋和理解數(shù)據(jù)。
例如,將用戶個(gè)人信息添加到社交信源和添加位置數(shù)據(jù)以建立對(duì)各用戶以及用戶相關(guān)模式的全面了解。通常,這使用 Apache Hadoop MapReduce來(lái)完成。用戶個(gè)人信息通過(guò) Hadoop InputFormat接口從 Oracle NoSQL 數(shù)據(jù)庫(kù)批量加載,因此被添加到MapReduce數(shù)據(jù)集。
為了將所有這些與 POS 數(shù)據(jù)、客戶關(guān)系管理(CRM)數(shù)據(jù)以及各種其他交易數(shù)據(jù)結(jié)合,您可能會(huì)使用 Oracle Big Data Connectors將精簡(jiǎn)的數(shù)據(jù)高效地移動(dòng)到 Oracle 數(shù)據(jù)庫(kù)。然后您可以使用 Oracle 商務(wù)智能云服務(wù)器(Exalytics)或業(yè)務(wù)智能(BI)工具或者(這是比較有趣的地方)通過(guò)數(shù)據(jù)挖掘之類的工具,對(duì)您所跟蹤的數(shù)據(jù)有一個(gè)全面的了解。
第3步:分析數(shù)據(jù)
最后一個(gè)階段(這里稱為“分析”)是創(chuàng)建數(shù)據(jù)挖掘模型和統(tǒng)計(jì)模型以便用于產(chǎn)生合適的優(yōu)惠券。這些模型真正是皇冠上的明珠,因?yàn)樗鼈冏屇軌蚧诜浅>_的模型實(shí)時(shí)進(jìn)行決策。模型進(jìn)入收集點(diǎn)和決策點(diǎn)以作用于實(shí)時(shí)數(shù)據(jù)。該模型描述和預(yù)測(cè)客戶個(gè)人的行為并基于這些預(yù)測(cè)確定要采取的行動(dòng)。
第4步:開發(fā)、測(cè)試、運(yùn)行系統(tǒng)
針對(duì)農(nóng)戶、銀行雙方的需求分析,按照軟件開發(fā)的流程,選擇合理的開發(fā)工具、數(shù)據(jù)庫(kù)、操作系統(tǒng),組建團(tuán)隊(duì)完成軟件開發(fā),并且實(shí)現(xiàn)與現(xiàn)有郵儲(chǔ)銀行系統(tǒng)軟件的兼容、安全。
農(nóng)村普惠金融系統(tǒng)是根據(jù)農(nóng)業(yè)發(fā)展資金業(yè)務(wù)需要,結(jié)合銀行金融業(yè)務(wù)流程,開發(fā)采用主流技術(shù)形成的。在應(yīng)用過(guò)程過(guò)大量采用大數(shù)據(jù)技術(shù),及時(shí)高效準(zhǔn)確解決現(xiàn)實(shí)問(wèn)題,具有一定應(yīng)用于推廣價(jià)值。
【參考文獻(xiàn)】
[1]陳志菲.大數(shù)據(jù)背景下提升高職研究水平的若干思考.邢臺(tái)職業(yè)技術(shù)學(xué)院學(xué)報(bào).2015,32
[2]劉承良.網(wǎng)絡(luò)大數(shù)據(jù)的現(xiàn)狀與展望.中國(guó)管理信息化.2015,18(12)
[3]曾凌靜.大數(shù)據(jù)系統(tǒng)架構(gòu)及技術(shù)發(fā)展研究.石家莊學(xué)院學(xué)報(bào).2015,17(6)
【作者簡(jiǎn)介】
楊雨鋒 男,畢業(yè)于成都信息工程學(xué)院,現(xiàn)在四川信息職業(yè)技術(shù)學(xué)院任教,研究方向:網(wǎng)絡(luò)工程,linux應(yīng)用。