南京科技職業(yè)學(xué)院信息工程學(xué)院 曾 浩
隨著科技的發(fā)展,人們已經(jīng)進入大數(shù)據(jù)時代,日常生成的海量數(shù)據(jù)存在著諸多提供分析的信息而被稱為如今的“石油”。通過大數(shù)據(jù)技術(shù)對醫(yī)療、教育、購物等出現(xiàn)的數(shù)據(jù)進行分析可以為人們提供幫助。本文首先介紹大數(shù)據(jù)的相關(guān)概念,然后對大數(shù)據(jù)技術(shù)的一些應(yīng)用進行探討,最后對提升大數(shù)據(jù)技術(shù)的方法進行概括,為后續(xù)針對大數(shù)據(jù)技術(shù)的深入研究提供幫助。
科技在發(fā)展的同時,信息化的時代已經(jīng)到來,越來越多的行業(yè)已經(jīng)離不開信息化的普及,并且逐漸拋棄了落后的管理方式,隨著而來的海量數(shù)據(jù)為新的進步發(fā)起了挑戰(zhàn),大數(shù)據(jù)技術(shù)的出現(xiàn)幫助人們對這些數(shù)據(jù)進行管理。通過對這些數(shù)據(jù)進行處理,可以發(fā)現(xiàn)其中隱藏的模式信息,進而為一些問題提前做出預(yù)測,例如極端天氣出現(xiàn)之前在氣溫、風(fēng)速的數(shù)據(jù)會發(fā)生變化,觀察人員可以通過以往發(fā)生的極端天氣之前的數(shù)值變化對于當(dāng)前天氣進行預(yù)測,在發(fā)生極端天氣之前提前疏散人員并且做出防御措施,降低人員和財產(chǎn)的損耗。由此可見,大數(shù)據(jù)技術(shù)的研究至關(guān)重要,本文主要研究大數(shù)據(jù)技術(shù)在計算機信息系統(tǒng)中的應(yīng)用。
科技的進步讓人們對大數(shù)據(jù)一詞不陌生,通過社交網(wǎng)絡(luò)等等技術(shù)的應(yīng)用日益成熟,其生成的大規(guī)模數(shù)據(jù)已經(jīng)累積到了PB級。海量數(shù)據(jù)的出現(xiàn)讓人們開始意識到其中蘊含的信息和價值,讓人們更多地關(guān)注到如何利用它們?yōu)槿藗兊纳詈凸ぷ魈峁┓奖?。大?shù)據(jù)泛指大規(guī)模、超大規(guī)模的數(shù)據(jù)集,大數(shù)據(jù)已經(jīng)變成可以改變未來世界發(fā)展的三大科技之一。但是當(dāng)前大數(shù)據(jù)面臨著諸多問題,例如大數(shù)據(jù)數(shù)量過于龐大,如何計算、存儲、及時對數(shù)據(jù)進行處理等等問題在當(dāng)前的技術(shù)中都出現(xiàn)了瓶頸。大數(shù)據(jù)已經(jīng)不僅在科技層面得到廣泛的應(yīng)用,還深入到人們的日常生活中,例如天氣的預(yù)測,日常人們的通信,輔助進行醫(yī)療分析,并且可以對交通進行管理等等,大數(shù)據(jù)通過將數(shù)據(jù)進行分析處理后得到的應(yīng)用力量超乎想象,其中蘊含的經(jīng)濟價值已經(jīng)不容忽視,因此國內(nèi)對于大數(shù)據(jù)技術(shù)的研究已經(jīng)迫在眉睫。
大數(shù)據(jù)時代面對海量數(shù)據(jù)處理與傳統(tǒng)的方式不同,這給大數(shù)據(jù)技術(shù)提出了新的挑戰(zhàn),主要有以下五個方面。第一,在日常生活和工作中,數(shù)據(jù)的出現(xiàn)存在不同的形式,可能是文本、音頻等等,并且數(shù)據(jù)的出現(xiàn)具有片段情況,因此復(fù)雜的數(shù)據(jù)種類和不完成的數(shù)據(jù)都需要進行改進。第二,數(shù)據(jù)的數(shù)量龐大,在處理這些數(shù)據(jù)找到其中所蘊含的隱藏信息時需要消耗更多的時間,但是如今快節(jié)奏的社會,數(shù)據(jù)失效快,因此需要提升處理這些數(shù)據(jù)的效率。第三,數(shù)據(jù)在傳輸過程和存儲工程中可能被惡意入侵,大數(shù)據(jù)中隱藏著許多個人信息,例如當(dāng)前個人的健康狀況、個人家庭住址等等隱私,因此在對大數(shù)據(jù)繼續(xù)收集的過程中需要對數(shù)據(jù)進行安全保護。第四,在數(shù)據(jù)的收集和處理過程中,需要消耗很多的資源進行傳輸和計算,何如提升計算的效率減少數(shù)據(jù)傳輸?shù)某杀疽彩菍Ξ?dāng)前大數(shù)據(jù)技術(shù)的挑戰(zhàn)之一。第五,大數(shù)據(jù)在管理中可能出現(xiàn)數(shù)據(jù)冗余的情況,許多相同的數(shù)據(jù)上傳后,占用存儲資源,并且在分析數(shù)據(jù)中將會做許多重復(fù)的運算,不僅消耗過多的資源進行處理,還可能引起計算的錯誤。通過對以上五個對當(dāng)前大數(shù)據(jù)的挑戰(zhàn)進行介紹,可以發(fā)現(xiàn)大數(shù)據(jù)技術(shù)雖然有著廣泛的例如醫(yī)療、教育等應(yīng)用,但是還是需要進行改進的。
在大數(shù)據(jù)技術(shù)中,云計算技術(shù)是目前被廣泛應(yīng)用的技術(shù)之一。云計算(cloud computing)是基于分布式計算(distributed computing)、網(wǎng)格計算(grid computing)、并行計算(parallel computing)等技術(shù)發(fā)展而來的一種新型計算模式。由于其通過虛擬化技術(shù)把資源進行處理,然后向用戶提供高度可擴展的彈性計算服務(wù)。由于云計算所具有的虛擬化特點,因此為企業(yè)省去升級硬件資源的成本,解放人力財力,因此使用云計算來處理計算需求成為企業(yè)的首選。正因為其具有以上特點,云計算技術(shù)成為了推動各行各業(yè)技術(shù)快速發(fā)展的動力,與此同時隨著企業(yè)的發(fā)展,也為云計算基礎(chǔ)的創(chuàng)新和更強大功能的實現(xiàn)奠定基礎(chǔ),兩者相輔相成共同進步。在企業(yè)的發(fā)展中,根據(jù)自身需求建立云計算模型,其產(chǎn)生的海量數(shù)據(jù)可以通過云計算模型進行處理,提高了分析數(shù)據(jù)的效率和正確率,大大地減少了在計算中的成本。在大數(shù)據(jù)時代,云計算技術(shù)是無線局域網(wǎng)發(fā)揮出強大的載體力量,滿足當(dāng)前工作的要求,使得大數(shù)據(jù)技術(shù)可以更好地發(fā)揮其作用。
目前的生活工作產(chǎn)生大量的數(shù)據(jù),而這些海量的數(shù)據(jù)中蘊含著很大的信息等待被挖掘,因此在大數(shù)據(jù)技術(shù)中數(shù)據(jù)備份技術(shù)是非常重要的。數(shù)據(jù)備份技術(shù)可以保證數(shù)據(jù)的完整性,保證數(shù)據(jù)在使用過后與之前保持一致。數(shù)據(jù)備份技術(shù)有多種方式,從備份策略的角度來講可以有三種,第一種完全備份是將所有數(shù)據(jù)都進行備份,但是當(dāng)數(shù)據(jù)量大或者與之前的數(shù)據(jù)出現(xiàn)重復(fù)時,它會出現(xiàn)備份時間長和浪費存儲空間的問題,并且因為存在大量冗余的數(shù)據(jù)導(dǎo)致維護困難。第二種增量備份是只復(fù)制發(fā)生修改的數(shù)據(jù),但是當(dāng)存入的信息出現(xiàn)差錯時將導(dǎo)致后續(xù)的數(shù)據(jù)都產(chǎn)生問題。第三種差量備份是備份之前發(fā)生變化的數(shù)據(jù)。在使用數(shù)據(jù)備份技術(shù)處理數(shù)據(jù)時,也要加強對備份數(shù)據(jù)的保護,防止數(shù)據(jù)外泄,有助于提升企業(yè)信息的安全性保護企業(yè)自身效益。
隨著社會和科技的發(fā)展,數(shù)據(jù)所帶來的信息已經(jīng)不容忽視。而在這其中,支付、買賣數(shù)據(jù)近年來隨著生活的進步,呈現(xiàn)了指數(shù)級增長,營銷手段已經(jīng)發(fā)生了革命性的變化,營銷大數(shù)據(jù)其中的價值不言而喻。當(dāng)今社會,網(wǎng)絡(luò)購買已經(jīng)成為消費的主要渠道之一,在購物的同時,用戶的個人信息如地理位置等可以為供貨方提供消費者的購物偏好,通過這些信息可以為消費者實時推薦商品。而大數(shù)據(jù)營銷正是指營銷人員通過大數(shù)據(jù)技術(shù)和其分析方法,對于收集到的本文、音頻等數(shù)據(jù)進行分析,找到消費者的購物偏好,并給其推薦相應(yīng)的商品,刺激消費者購物,除此之外,公司定期向消費者推進營銷活動,刺激消費者完成消費。大數(shù)據(jù)營銷主要分為四個階段,從2013年開始,社會進入大數(shù)據(jù)元年,大數(shù)據(jù)營銷幾乎進入到各大公司,為公司帶來更大利益。其中人工智能的飛速發(fā)展也為大數(shù)據(jù)營銷的推動作出卓越貢獻,大數(shù)據(jù)營銷和人工智能的結(jié)合使得處理消費者的信息數(shù)據(jù)更加地高效準確,幫助營銷人員去發(fā)展更大的商機,為企業(yè)的營銷策略做出卓越的貢獻。
大數(shù)據(jù)技術(shù)已經(jīng)滲透到各行各業(yè),如今營銷、教育、醫(yī)療等都已經(jīng)和大數(shù)據(jù)技術(shù)緊密相連,由此可見提升大數(shù)據(jù)技術(shù)就十分重要。本文通過三個方法為大數(shù)據(jù)技術(shù)的提升奠定基礎(chǔ)。
第一,可以完成大數(shù)據(jù)技術(shù)的流程。在應(yīng)用大數(shù)據(jù)技術(shù)的實際情況下發(fā)現(xiàn),在使用過程中的人員對大數(shù)據(jù)技術(shù)的了解并不到位,因此需要對大數(shù)據(jù)技術(shù)的流程進行規(guī)范化管理,可以通過建立完整的大數(shù)據(jù)管理意識和體系,對數(shù)據(jù)評估、數(shù)據(jù)統(tǒng)計和后續(xù)數(shù)據(jù)質(zhì)量的管理都進行明確的管理。日常生活中出現(xiàn)的海量數(shù)據(jù)與人們的生活工作等等息息相關(guān),通過此方法提升大數(shù)據(jù)技術(shù)的分析效率,例如在醫(yī)療中通過收集到醫(yī)療圖像后做到快速分析得到病情,輔助醫(yī)生進行病情判斷。
第二,提升大數(shù)據(jù)的相關(guān)發(fā)展技術(shù)。在大數(shù)據(jù)處理中,機器學(xué)習(xí)等技術(shù)是不可分割的,通過提升深度學(xué)習(xí)的精度,可以使得數(shù)據(jù)特征的提煉、大數(shù)據(jù)內(nèi)容的分析等更加準確,深度學(xué)習(xí)是大數(shù)據(jù)技術(shù)的保障。另外還可以提升知識計算挖掘深度,大數(shù)據(jù)中隱藏很多關(guān)聯(lián)的信息,通過知識計算可以把很多碎片化的信息發(fā)現(xiàn)提煉提升對事物的完整了解。目前,自適應(yīng)學(xué)習(xí)是此技術(shù)的挑戰(zhàn)。除此之外,還涉及到的另一個重要的技術(shù)就是社會計算,大數(shù)據(jù)和人們的生活緊密相連,但是社會數(shù)據(jù)十分龐雜,變化豐富,如何對其產(chǎn)生的大數(shù)據(jù)進行分析也是十分重要的。
第三,加強對大數(shù)據(jù)技術(shù)管理人員的素質(zhì)提升。管理人員是對大數(shù)據(jù)技術(shù)的整體把握的主要控制者,其對大數(shù)據(jù)技術(shù)的掌握程度等情況會對大數(shù)據(jù)技術(shù)分析的質(zhì)量、數(shù)據(jù)統(tǒng)計的標準等產(chǎn)生影響,進而影響大數(shù)據(jù)技術(shù)分析后的結(jié)果的可信度。因此,對于企業(yè)來講,需要定期對大數(shù)據(jù)技術(shù)的管理人員和技術(shù)人員進行噴尋,避免因為操作不當(dāng)而引起的分析錯誤,增大成本,盡最大可能發(fā)揮大數(shù)據(jù)技術(shù)的能力。
結(jié)語:如今信息時代的到來,越來越多的數(shù)據(jù)進入到日常的生活和工作中,通過對這些數(shù)據(jù)的分析可以進行諸如病情、購物等的預(yù)測,為未來的規(guī)劃提供提示和幫助。但是海量數(shù)據(jù)的涌入雖然帶來了便捷,一些問題也逐漸顯現(xiàn),例如對于龐大數(shù)據(jù)的計算、對于數(shù)據(jù)的維護更新等等。因此本文首先通過對大數(shù)據(jù)的相關(guān)概念進行介紹,然后對云計算、數(shù)據(jù)備份等相關(guān)大數(shù)據(jù)技術(shù)進行總結(jié),最后為大數(shù)據(jù)進一步的提升提出新的方法。通過本文對大數(shù)據(jù)技術(shù)的相關(guān)應(yīng)用的總結(jié)和介紹,為后續(xù)針對此研究目標的進一步深入奠定了堅實的基礎(chǔ)。