湯靜宇
(悉尼大學(xué),新南威爾士州 悉尼 NSW2006)
現(xiàn)如今,隨著數(shù)據(jù)集的不斷增長,各種組織現(xiàn)在正在尋求“云”來幫助管理、分析和存儲大數(shù)據(jù),以保持競爭力、簡化流程并領(lǐng)先于競爭對手。一般來說,大數(shù)據(jù)領(lǐng)域通常用于定位客戶,了解客戶偏好,推廣產(chǎn)品、制定商業(yè)策略、開拓新市場、優(yōu)化工作流程。大數(shù)據(jù)的最終業(yè)務(wù)影響很難概括,但毫無疑問的是,它可以成功解決的問題是構(gòu)建科學(xué)的數(shù)據(jù)基礎(chǔ)架構(gòu)模型,通過后期龐大的過程業(yè)進(jìn)行完善。無論其實(shí)施的具體領(lǐng)域如何,都是通過數(shù)據(jù)收集、處理和利用分析信息來提高利潤,大數(shù)據(jù)提供無限機(jī)遇,全世界的各個(gè)領(lǐng)域都可以感受到它的影響。
大數(shù)據(jù)的概念是指通過各種渠道,與各種數(shù)據(jù)處理技術(shù),無限期地從各種來源獲得大量原始數(shù)據(jù),通過信息處理,刪除或修改不正確、不完整、不相關(guān)、重復(fù)或格式不正確的數(shù)據(jù),最后得到處理過的,更有價(jià)值的信息。如今全球已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代,這個(gè)問題也被越來越多的專業(yè)人士引出“大數(shù)據(jù)如何用于當(dāng)今社會的各種各領(lǐng)域?”將大數(shù)據(jù)用于各種領(lǐng)域的方式與效果取決于業(yè)務(wù)類型與數(shù)據(jù)來源類型,和最終目標(biāo)[1]。
大數(shù)據(jù)可以理解為一種數(shù)據(jù)匯總,總數(shù)據(jù)量超過10TB 就可以將其稱之為大數(shù)據(jù),隨著計(jì)算機(jī)技術(shù)的發(fā)展,使數(shù)據(jù)量逐年增長,2005—2015 年全球數(shù)據(jù)總量增長了70 多倍,2015 年全球數(shù)據(jù)量已經(jīng)達(dá)到了7910EB,截至2020 年全球數(shù)據(jù)量已達(dá)98635EB,其中包括圖片、文字、表格、視頻、音頻等,可見大數(shù)據(jù)的復(fù)雜程度。利用計(jì)算機(jī)技術(shù)進(jìn)行處理可精準(zhǔn)捕捉所需數(shù)據(jù)信息,為進(jìn)一步提高數(shù)據(jù)的精確度,需要將計(jì)算機(jī)信息處理技術(shù)進(jìn)一步完善,以此滿足發(fā)展需求。此外,組織因大數(shù)據(jù)而面臨的主要挑戰(zhàn)是數(shù)據(jù)隱私和安全問題,這是由網(wǎng)絡(luò)攻擊、技術(shù)不完善,安全標(biāo)準(zhǔn)不清晰引起的。現(xiàn)如今,大數(shù)據(jù)與AI、云服務(wù)、RPA 以及機(jī)器學(xué)習(xí)和其他強(qiáng)大的數(shù)據(jù)科學(xué)解決方案相結(jié)合可提供更好的結(jié)果以解決以上問題[2]。
在新建系統(tǒng)中,基于數(shù)據(jù)服務(wù)總線的數(shù)據(jù)集成,遵循數(shù)出一源的原則,將現(xiàn)代化技術(shù)與實(shí)際生活聯(lián)系起來,實(shí)現(xiàn)各個(gè)系統(tǒng)之間的數(shù)據(jù)共享,在執(zhí)行中要堅(jiān)持加強(qiáng)內(nèi)部信息交流。同時(shí),在整合數(shù)據(jù)中需要從監(jiān)測數(shù)據(jù)收集、兌現(xiàn)率統(tǒng)計(jì)方面入手,保證所有獲取的信息數(shù)據(jù)可以追溯,使后續(xù)發(fā)展符合時(shí)代特點(diǎn)。為了更詳細(xì)地描述并更好地了解這項(xiàng)技術(shù)如何影響業(yè)務(wù)流程,數(shù)據(jù)科學(xué)家將更多的關(guān)注點(diǎn)放在了幾個(gè)受益于大數(shù)據(jù)的相關(guān)行業(yè)。
銀行、金融服務(wù)和保險(xiǎn)業(yè)廣泛實(shí)施大數(shù)據(jù)和分析,以提高效率,以客戶為中心,從而獲得更多利潤。公司可以通過大數(shù)據(jù)了解更多關(guān)于其客戶的信息。出色的客戶服務(wù)意味著出色的員工績效。除了設(shè)計(jì)眾多技術(shù)解決方案外,數(shù)據(jù)專業(yè)人員還將協(xié)助公司在項(xiàng)目中設(shè)定績效指標(biāo)在跟蹤、分析和共享與員工績效相關(guān)的指標(biāo)時(shí),它會派上用場。金融機(jī)構(gòu)利用大數(shù)據(jù)分析來消除重疊、冗余的系統(tǒng),以及提供更容易獲取數(shù)據(jù)的工具。大數(shù)據(jù)可以有效地增強(qiáng)公司在風(fēng)險(xiǎn)管理學(xué)科中利用預(yù)測模型的方式。它改善了系統(tǒng)中的響應(yīng)時(shí)間線,從而提高了效率。銀行和零售交易商利用大數(shù)據(jù)進(jìn)行情緒測量和高頻交易,等等。該部門還依靠大數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)分析和監(jiān)測金融市場活動。在大數(shù)據(jù)的幫助下,金融公司可以提供更好的客戶服務(wù),同時(shí)幫助企業(yè)增加利潤。增強(qiáng)客戶體驗(yàn)是大多數(shù)公司的首要目標(biāo)。
大數(shù)據(jù)時(shí)代下計(jì)算機(jī)信息處理技術(shù),可以用軟件和程序作為基礎(chǔ)來進(jìn)行操作,通過網(wǎng)絡(luò)傳輸準(zhǔn)確、高效、安全的實(shí)施信息資料,相關(guān)人員可以利用計(jì)算機(jī)匯總和整理數(shù)據(jù)信息,為工作開展提供詳盡、有力的數(shù)據(jù)支持。同時(shí)在處理中能夠?qū)崟r(shí)溝通,通過計(jì)算機(jī)處理的自動匯總、分析、優(yōu)化數(shù)據(jù),進(jìn)而完成信息共享傳遞,掌握數(shù)據(jù)應(yīng)用的整體狀態(tài)。其他目標(biāo)包括更好的目標(biāo)營銷,降低成本,以及提高現(xiàn)有流程的效率。大數(shù)據(jù)技術(shù)幫助銀行和金融保險(xiǎn)相關(guān)企業(yè)存儲大量的有效數(shù)據(jù),并且可以對客戶進(jìn)行深度分析,它們幫助公司了解更多信息和改善決策,最終降低風(fēng)險(xiǎn)。此外,金融行業(yè)要求極高的數(shù)據(jù)安全性,數(shù)據(jù)泄露是一個(gè)迫在眉睫的問題,這構(gòu)成了對加強(qiáng)安全的需求,而現(xiàn)如今安全技術(shù)也一直在發(fā)展,現(xiàn)在已經(jīng)基本可以解決這個(gè)問題[3]。
基本所有商家都希望能夠在短時(shí)間內(nèi)快速吸引新顧客。大數(shù)據(jù)策略將為實(shí)現(xiàn)這一目標(biāo)做出很大貢獻(xiàn)。早些時(shí)候,大數(shù)據(jù)主要由那些能夠負(fù)擔(dān)得起用于收集和分析數(shù)據(jù)的技術(shù)和渠道的企業(yè)部署。如今,大型和小型零售商都越來越依賴大數(shù)據(jù)來獲得智能商業(yè)洞察力。因此,他們促進(jìn)了對大數(shù)據(jù)的需求,但為了吸引合適的客戶,需要精確識別目標(biāo)受眾的行為,零售業(yè)通過RFID、POS 掃描器、客戶忠誠度計(jì)劃等收集大量數(shù)據(jù)。這些技術(shù)的廣泛使用有助于減少欺詐行為,并實(shí)現(xiàn)對庫存的及時(shí)分析從而降低損失。在當(dāng)前大數(shù)據(jù)時(shí)代,零售企業(yè)發(fā)展必須注重相關(guān)用戶反饋,及時(shí)進(jìn)行優(yōu)化處理,相關(guān)參數(shù)是零售的主要依據(jù),實(shí)現(xiàn)有效分析能夠降低出現(xiàn)誤差的概率,詳細(xì)比較各類數(shù)據(jù)參數(shù),提高信息采集實(shí)時(shí)反饋的效率,進(jìn)一步分析各類數(shù)據(jù)信息,健全優(yōu)化數(shù)據(jù)庫,持續(xù)更新自身發(fā)展目標(biāo),進(jìn)而為后續(xù)工作開展奠定堅(jiān)實(shí)基礎(chǔ)[4]。
通過數(shù)據(jù)分析做到這一點(diǎn)并不難,一個(gè)很常見的例子是在社交網(wǎng)絡(luò)上使用信息挖掘工具來衡量一個(gè)商家或一種商品的受眾在第一次接觸營銷活動或第一次使用產(chǎn)品時(shí)的反應(yīng),只要客戶在任何平臺給予評價(jià)或反饋,系統(tǒng)都有機(jī)會將其進(jìn)行量化并進(jìn)行分析,通過大數(shù)據(jù)解決方案,可以交叉檢查來自其他來源的數(shù)據(jù),例如客戶消費(fèi)記錄、與公眾的互動、與商家的聯(lián)系、消息歷史、甚至用戶在虛擬商店中的路線以及最常瀏覽的商品種類等。通過利用大數(shù)據(jù)使整個(gè)組織的個(gè)人能夠準(zhǔn)確、自信地做出決策,這些零售商可以更深入地了解客戶并發(fā)現(xiàn)隱藏的趨勢,從而發(fā)現(xiàn)新的機(jī)會,這對于剛剛起步的零售商尤其友好。大數(shù)據(jù)分析將原始數(shù)據(jù)轉(zhuǎn)換為一個(gè)零售商真正需要的指示,提供更大的個(gè)性化、忠誠度潛力和客戶群,并幫助廠商進(jìn)一步改進(jìn)產(chǎn)品。
當(dāng)公司能夠了解客戶的想法和他們喜歡什么時(shí),公司就可以更輕松地向他們銷售公司的產(chǎn)品。大數(shù)據(jù)對電子商務(wù)業(yè)務(wù)的重要性是顯而易見的:公司對客戶了解得越多,公司從自己的電子商店產(chǎn)生的利潤就越多。關(guān)于實(shí)時(shí)客戶行為、購買歷史和喜歡的產(chǎn)品的數(shù)據(jù)可以跟蹤高需求的產(chǎn)品并預(yù)測趨勢,以便在市場上率先推出最暢銷的產(chǎn)品。大數(shù)據(jù)使電子商務(wù)所有者能夠更好地了解客戶的需求、哪些產(chǎn)品在網(wǎng)上流行、如何使他們的產(chǎn)品更受歡迎并增加其網(wǎng)站上的銷售額,定價(jià)分析、庫存管理、客戶流失預(yù)測,這些只是該技術(shù)在表面上可以為企業(yè)做的幾件事,電子商務(wù)能通過大數(shù)據(jù)技術(shù)成功的關(guān)鍵還是能夠提供非凡的客戶體驗(yàn),可以滿足購物者的需求并領(lǐng)先于競爭對手,使客戶支付更高的價(jià)格,更好地了解客戶的需求和顧慮會帶來更好的服務(wù),從而提高客戶的滿意度,最終結(jié)果是更好的銷售效果。
通過大數(shù)據(jù)分析,電子商務(wù)可以將收集到的洞察力轉(zhuǎn)化為新產(chǎn)品和服務(wù),這使他們能夠預(yù)測客戶的需求??紤]到客戶的需求、興趣或產(chǎn)品的流行,公司可以為產(chǎn)品開發(fā)提供新的數(shù)據(jù)。與其等待客戶告訴公司他們在尋找什么,公司可以提前滿足客戶的需求。另外,變得比競爭對手更有創(chuàng)新性也是一個(gè)額外的好處。與其他所有業(yè)務(wù)一樣,電子商務(wù)依賴于客戶的滿意度,大數(shù)據(jù)已經(jīng)對電子商務(wù)產(chǎn)生了很大的影響,而且這種影響只會一天天越來越廣泛,大數(shù)據(jù)已經(jīng)成為一股不可阻擋的潮流,不同技術(shù)的相互融合讓其本身就具備的各方面優(yōu)勢,其不僅能夠加快我國科技發(fā)展進(jìn)程,且能夠保證整體的設(shè)計(jì)過程當(dāng)中的準(zhǔn)確性。為提高大數(shù)據(jù)分析處理的效率,在實(shí)際應(yīng)用過程中需要使用計(jì)算機(jī)設(shè)備進(jìn)行輔助,將收集、分析、整理及應(yīng)用環(huán)節(jié)融合在一起,傳統(tǒng)模式的數(shù)據(jù)處理技術(shù)每個(gè)小時(shí)只能過濾1000 條數(shù)據(jù),而智能化處理可增效80%以上[5]。
制造行業(yè)一直在面臨很多挑戰(zhàn),如勞動力限制,貨物的積壓,復(fù)雜的供應(yīng)鏈,原材料短缺和設(shè)備故障。大數(shù)據(jù)的使用可以使企業(yè)能夠發(fā)現(xiàn)節(jié)約成本和提高產(chǎn)品質(zhì)量的新方法。事實(shí)上,那些成功建立起量化評估能力的公司可以將自己與競爭對手遠(yuǎn)遠(yuǎn)區(qū)分開來。由于制造業(yè)的生產(chǎn)過程十分復(fù)雜且多樣化,所以很容易出現(xiàn)缺陷,制造商可能會損失大量的年收入,現(xiàn)如今,可以通過分析來自生產(chǎn)線上傳感器的實(shí)時(shí)數(shù)據(jù),關(guān)鍵的第一步是考慮公司有多少數(shù)據(jù)可供支配。一些新型公司,或者是那些生產(chǎn)周期長達(dá)數(shù)月甚至數(shù)年的公司,這些公司的高級領(lǐng)導(dǎo)人必須要面臨的挑戰(zhàn)是要長期關(guān)注并投資于系統(tǒng)和實(shí)踐來收集更多的數(shù)據(jù)。
對于這些公司來說,面臨的挑戰(zhàn)是如何能夠優(yōu)化使用現(xiàn)有的過程信息,以便能夠更容易地進(jìn)行分析。從制造業(yè)流程監(jiān)管方面來講,當(dāng)工廠與供應(yīng)商連接時(shí),供應(yīng)鏈中的所有各方都可以訪問信息并監(jiān)控材料流,這種對供應(yīng)鏈信息的實(shí)時(shí)監(jiān)控有助于快速發(fā)現(xiàn)問題、減少庫存,從而最大限度地減少資金需求。最后,在制造和質(zhì)量管理中使用大數(shù)據(jù)可以降低制造商的產(chǎn)品、裝配和質(zhì)量管理成本,這意味著大數(shù)據(jù)是削減成本的一大利器,許多制造業(yè)公司對利用大數(shù)據(jù)和預(yù)測分析模型來提高投資回報(bào)率,事實(shí)證明這也是可行的,因?yàn)榇髷?shù)據(jù)提供的洞察力可以降低運(yùn)營成本,優(yōu)化支出。所有收集到的信息都可用于改造和改進(jìn)業(yè)務(wù)流程,進(jìn)而增加利潤[6]。
在石油和天然氣勘探、開發(fā)和生產(chǎn)相關(guān)的流程中會使用大量數(shù)據(jù)來保證過程正確與安全,但與此同時(shí)也會產(chǎn)生大量數(shù)據(jù),數(shù)據(jù)量每天都在增長,如何有效的利用這些數(shù)據(jù)一直是業(yè)內(nèi)人員關(guān)注的重點(diǎn)。在過去的十年中,該行業(yè)的組織一直在與這些數(shù)據(jù)打交道,石油公司需要考慮數(shù)據(jù)技術(shù)的進(jìn)步,以幫助他們了解地下的情況。因此,大數(shù)據(jù)有助于收集所有數(shù)據(jù),同時(shí)還可以更有效地傳輸此類信息。在石油和天然氣領(lǐng)域,大數(shù)據(jù)促進(jìn)了決策。公司可以通過對幾何形狀的深入分析,對油井的位置做出更好的決定。
機(jī)構(gòu)還利用大數(shù)據(jù)來確保其安全措施符合要求?,F(xiàn)在大數(shù)據(jù)在煉油行業(yè)被用于估算能源效率,并通過使用各種模型和分析方法來減少停機(jī)時(shí)間、維護(hù)和維修成本,石油鉆探是一個(gè)連續(xù)過程,機(jī)器必須在嚴(yán)酷的溫度和條件下長時(shí)間工作。大數(shù)據(jù)用于確保機(jī)器正常工作,不會因故障或故障而損壞。機(jī)器裝有傳感器,可收集有關(guān)其性能的數(shù)據(jù)。然后將此數(shù)據(jù)與匯總數(shù)據(jù)進(jìn)行比較,確保以有效的方式更換零件,從而進(jìn)一步減少額外費(fèi)用。在液化天然氣和城市燃?xì)馀渌托袠I(yè),它也用于維護(hù)和預(yù)測過程和設(shè)備的故障。從地理上講,不同地區(qū)的巖石層不同,即使它們在結(jié)構(gòu)上可能相似。通常從一個(gè)領(lǐng)域吸取的教訓(xùn)可以應(yīng)用于類似的領(lǐng)域,數(shù)據(jù)科學(xué)可以幫助降低風(fēng)險(xiǎn)和成本并有助于更多地了解每個(gè)子系統(tǒng),從而提高決策的準(zhǔn)確性[7]。
發(fā)展速度加快在一定程度上加重了環(huán)境污染,而通過大數(shù)據(jù)下的智慧環(huán)保則能夠明確污染源,對環(huán)境實(shí)際狀況進(jìn)行分析,數(shù)據(jù)技術(shù)與環(huán)境保護(hù)相結(jié)合的技術(shù),通過后續(xù)分析和優(yōu)化為環(huán)保問題提供解決途徑,現(xiàn)已成為我國實(shí)現(xiàn)綠色可持續(xù)發(fā)展的重要手段之一,利用評估手段來確定環(huán)境問題?!爸腔郗h(huán)保”是“數(shù)字環(huán)?!备拍畹难由旌屯卣?,把感應(yīng)器和裝備嵌入到各種環(huán)境監(jiān)控對象(物體)中,將云計(jì)算與環(huán)保領(lǐng)域整合起來,最終對現(xiàn)有環(huán)境資源進(jìn)行數(shù)據(jù)采集和評價(jià),實(shí)現(xiàn)人類社會與環(huán)境業(yè)務(wù)系統(tǒng)的整合。環(huán)保管控基礎(chǔ)數(shù)據(jù)較為繁雜,通過環(huán)保管理系統(tǒng)為后續(xù)工作提供依據(jù),在智慧環(huán)保管理系統(tǒng)中需要以工藝參數(shù)為基礎(chǔ)進(jìn)行監(jiān)控,通過監(jiān)控?cái)?shù)據(jù)迅速判斷當(dāng)前環(huán)境存在的異常情況,如發(fā)現(xiàn)問題可以及時(shí)采取措施減少污染物排放,通過對主要環(huán)保處理設(shè)施進(jìn)行調(diào)整,以此為后續(xù)發(fā)展奠定堅(jiān)實(shí)基礎(chǔ)。對所有監(jiān)測數(shù)據(jù)進(jìn)行統(tǒng)一數(shù)據(jù)采集,對數(shù)據(jù)直觀的展示污染物排放,針對在線、手工監(jiān)測數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析,進(jìn)而發(fā)揮出不同站點(diǎn)不同因子數(shù)據(jù)的功能性,在環(huán)境監(jiān)測中需要對計(jì)劃編制、分解功能加大關(guān)注,將超標(biāo)數(shù)據(jù)集中梳理展示,通過企業(yè)環(huán)境空氣質(zhì)量AQI 數(shù)據(jù),建立污染源在線監(jiān)控,提供各項(xiàng)排放指標(biāo)的統(tǒng)計(jì)分析。在此基礎(chǔ)上需要進(jìn)行有機(jī)集成,利用大數(shù)據(jù)采集的數(shù)據(jù)進(jìn)行分析,結(jié)合實(shí)際建立現(xiàn)代環(huán)境保護(hù)體系,對原有數(shù)據(jù)做出正確準(zhǔn)確的分析,為管理者決策提供寶貴的意見,防止后續(xù)出現(xiàn)新的環(huán)境破壞事件,避免我國環(huán)境污染進(jìn)一步惡化。
大數(shù)據(jù)使?fàn)I銷人員能夠識別社交媒體趨勢并獲得洞察力,這可用于做出參與決策,例如與哪些用戶進(jìn)行交流,營銷電子郵件應(yīng)該發(fā)送給哪些用戶組等。它還可以更輕松地跟蹤人口統(tǒng)計(jì)數(shù)據(jù)來決定要針對哪個(gè)社交媒體平臺。大數(shù)據(jù)可用于跟蹤社交媒體活動的表現(xiàn)并找出投資回報(bào)率的逐漸變化。它還允許營銷人員在啟動之前測試他們的活動、分析結(jié)果、根據(jù)需要對活動進(jìn)行更改并重新測試。預(yù)測分析工具使企業(yè)能夠決定何時(shí)暫?;顒右员苊鈸p失。用戶在其社交網(wǎng)絡(luò)上發(fā)布的所有狀態(tài)更新、照片和視頻都包含有關(guān)其人口統(tǒng)計(jì)、喜歡、不喜歡等的有用信息。企業(yè)正在以多種方式利用這些信息,對其進(jìn)行管理和分析以獲得競爭優(yōu)勢,與此同時(shí),品牌更容易只展示消費(fèi)者感興趣的廣告,將插入廣告變得更加自然,廣告將根據(jù)用戶的社交媒體帖子、他們觀看和分享的內(nèi)容等進(jìn)行定向[8]。
通過個(gè)性化廣告,營銷人員可以在確定最有效的平臺后加強(qiáng)與社交媒體用戶的聯(lián)系并將其轉(zhuǎn)化為客戶,并且可以使社交媒體平臺上與品牌互動的人數(shù)不斷增加,這使各路媒體必須精通數(shù)據(jù)才能保持競爭力并在社交媒體領(lǐng)域保持相關(guān)性。正因?yàn)樵谌粘I钪?,這些平臺產(chǎn)生大量數(shù)據(jù),這些信息中潛藏著大量商機(jī),所以現(xiàn)如今在社交媒體營銷活動中利用大數(shù)據(jù)變得至關(guān)重要,大數(shù)據(jù)將可以解釋買家的行為并針對特定人群進(jìn)行分析。此外,消費(fèi)者的權(quán)力轉(zhuǎn)移意味越來越多的媒體用戶不再依賴銷售人員作為有關(guān)特定品牌的信息提供者。相反,消費(fèi)者更喜歡從他們自己的研究中得出結(jié)論,買家認(rèn)為社交媒體和互聯(lián)網(wǎng)是最公正和最有用的信息來源,這也使大數(shù)據(jù)的地位在媒體行業(yè)中越來越重要。
大數(shù)據(jù)相關(guān)技術(shù)的應(yīng)用能夠提高各行業(yè)的效率,數(shù)據(jù)收集工作對于一些運(yùn)營周期長的企業(yè)也并不簡單,但在生產(chǎn)過程中收集了過多數(shù)據(jù)也會對企業(yè)造成負(fù)擔(dān),現(xiàn)在許多公司仍然沒有使用運(yùn)營過程中收集的大部分?jǐn)?shù)據(jù)?,F(xiàn)如今大部分公司已經(jīng)開始更多地利用大數(shù)據(jù)的優(yōu)勢,考慮到大數(shù)據(jù)對商業(yè)的好處,轉(zhuǎn)向分析和其他機(jī)器學(xué)習(xí)技術(shù)來有效管理數(shù)據(jù),大數(shù)據(jù)在一些行業(yè),如考古、地質(zhì)勘測、醫(yī)療保健、石油和礦物開采等行業(yè)的應(yīng)用需要持續(xù)優(yōu)化。