基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)資源建設(shè)應(yīng)用研究

劉海峰，徐麗麗，高 艷

（晉中信息學院，山西 晉中 030800）

1 數(shù)據(jù)資源庫建設(shè)的意義

人們運用科學手段，對大量的信息進行整理和分析，為人們做出正確的選擇提供了科學的基礎(chǔ)。大數(shù)據(jù)作為一種新型的數(shù)據(jù)資源，是隨著計算機技術(shù)的發(fā)展和互聯(lián)網(wǎng)的日益普及而產(chǎn)生的一種新型的數(shù)據(jù)資源。大數(shù)據(jù)時代的來臨，越來越多的人開始重視數(shù)據(jù)的信息化和數(shù)據(jù)庫的構(gòu)建。

2 數(shù)據(jù)資源庫建設(shè)的技術(shù)要點

2.1 設(shè)計原則

隨著計算機技術(shù)的迅速發(fā)展和普及，海量的信息資源可以被集中存儲，網(wǎng)絡(luò)的出現(xiàn)，使海量的數(shù)據(jù)和信息得以共享。數(shù)據(jù)雖然是一種虛擬的資源，但同時也是一種寶貴的資源，要想把它變成有用的資料，就必須要用到它，而在信息化的發(fā)展過程中，大量的數(shù)據(jù)平臺和軟件將會極大地提高數(shù)據(jù)的轉(zhuǎn)換效率和質(zhì)量，從而為社會、經(jīng)濟的發(fā)展提供一個很好的借鑒。隨著數(shù)據(jù)的不斷增長，數(shù)據(jù)的存儲、處理技術(shù)的不斷發(fā)展，各種數(shù)據(jù)量的收集越來越頻繁，如何從海量數(shù)據(jù)中快速地抽取數(shù)據(jù)，成為數(shù)據(jù)處理領(lǐng)域的重點研究對象。目前，大數(shù)據(jù)云存儲、檢索、分析、計算等技術(shù)體系，都是隨著時間的推移而不斷更新的，且技術(shù)種類越來越多的，為大數(shù)據(jù)的整合提供了科技手段[1]。信息技術(shù)包括信息收集、整理、篩選、存儲、管理，既可以為社會服務(wù)，也可以實現(xiàn)信息的增值。在對同類數(shù)據(jù)進行綜合分析的基礎(chǔ)上，必須具有交叉分析的能力，確保數(shù)據(jù)的完整性，提高數(shù)據(jù)的可用性。大數(shù)據(jù)技術(shù)是對海量的數(shù)據(jù)進行收集、存儲、處理和分析，而數(shù)據(jù)的存儲、共享和處理是實現(xiàn)大數(shù)據(jù)信息資源庫的關(guān)鍵。信息數(shù)據(jù)庫的建設(shè)能夠豐富信息資源，提高信息的質(zhì)量，同時也可以通過互聯(lián)網(wǎng)實現(xiàn)信息的交叉處理，解決信息重復收集、處理等問題。數(shù)據(jù)庫的建立必須遵循數(shù)據(jù)采集的統(tǒng)一規(guī)范，確保數(shù)據(jù)的質(zhì)量，并利用科學的數(shù)據(jù)處理系統(tǒng)對數(shù)據(jù)進行甄選、分類、整合、儲蓄，以便用戶進行查詢和管理員的日常維護，確保數(shù)據(jù)庫的正常運行。

2.2 支撐技術(shù)

大數(shù)據(jù)資源庫整體技術(shù)體系結(jié)構(gòu)包括計算平臺資源、計算業(yè)務(wù)數(shù)據(jù)、計算管理系統(tǒng)和計算服務(wù)系統(tǒng)。首先，采用虛擬化、分布式存儲等計算技術(shù)，利用計算資源池、存儲池、網(wǎng)絡(luò)資源池，實現(xiàn)服務(wù)器虛擬化、網(wǎng)絡(luò)虛擬化、存儲虛擬化。其次，對業(yè)務(wù)數(shù)據(jù)進行計算，以確保業(yè)務(wù)數(shù)據(jù)的安全存儲，實現(xiàn)了虛擬機的動態(tài)遷移、數(shù)據(jù)遷移、跨部門數(shù)據(jù)的分享和交換、業(yè)務(wù)應(yīng)用的接入。計算管理系統(tǒng)是一種基于計算機的自動化控制系統(tǒng)，它可以將計算中心的業(yè)務(wù)和服務(wù)結(jié)合起來，從而提高其運行的效率。另外，計算服務(wù)系統(tǒng)作為一個與公共的平臺，它能夠?qū)崿F(xiàn)對外界的統(tǒng)一服務(wù)，為用戶提供綜合的應(yīng)用和服務(wù)。支持平臺是一個面向外部客戶的統(tǒng)一的計算平臺，基于物理分區(qū)，建立支撐平臺。為確保整個計算中心的安全性，在計算中心內(nèi)應(yīng)設(shè)置一個專門的隔離區(qū)域（DMZ區(qū)域），用于對不同的業(yè)務(wù)系統(tǒng)進行處理，并對其進行接入。在此基礎(chǔ)上，先進的實體計算機為數(shù)據(jù)庫的邏輯分割提供了支撐，而虛擬服務(wù)器和實體服務(wù)器支持了應(yīng)用系統(tǒng)的邏輯分區(qū)[2]。

2.3 數(shù)據(jù)采集與邏輯分析

首先是資源庫的數(shù)據(jù)基礎(chǔ)，大數(shù)據(jù)信息資源具有數(shù)量大、種類多、價值密度低、處理速度快等四個特點。面對海量數(shù)據(jù)，我們迫切需要一種技術(shù)來處理海量數(shù)據(jù)并將其轉(zhuǎn)化為有意義的數(shù)據(jù)。大數(shù)據(jù)的重要意義不在于掌握大量數(shù)據(jù)，而在于它所包含的數(shù)據(jù)。在構(gòu)建專業(yè)信息資源庫時，大數(shù)據(jù)技術(shù)可以從社會需求、交互協(xié)作等多方面進行深度挖掘，以滿足不同用戶需求的專業(yè)資源資源庫。其次是對于數(shù)據(jù)的建模與分析整理，由于數(shù)據(jù)的數(shù)量大和多樣性，數(shù)據(jù)的存儲成本、存儲難度和分析的復雜性都決定了數(shù)據(jù)模型的設(shè)計。分析模型的構(gòu)建取決于數(shù)據(jù)模型的設(shè)計，如果數(shù)據(jù)模型過于復雜，那么整個應(yīng)用程序就會變得十分復雜。對異構(gòu)化數(shù)據(jù)要進行分類，要做到結(jié)構(gòu)化、異構(gòu)化，要合理地選擇不同的存儲結(jié)構(gòu)和存儲方式，合理地選擇異構(gòu)的數(shù)據(jù)采集技術(shù)，最后把異構(gòu)化的數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化的數(shù)據(jù)。在此基礎(chǔ)上，對實時數(shù)據(jù)和沉淀數(shù)據(jù)進行嚴格的區(qū)分，并對數(shù)據(jù)庫的持久性進行了合理的設(shè)計，以減少對數(shù)據(jù)的大量存儲。在建立了數(shù)據(jù)的標準模型之后，挖掘數(shù)據(jù)的價值就需要借助智能的數(shù)據(jù)統(tǒng)計工具和分析工具來完成。這是技術(shù)的最重要之處，也是最困難的部分，因為很多時候，沒有現(xiàn)成的工具，只能在現(xiàn)有的工具上進行更新或者重新設(shè)計。

3 基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)資源庫應(yīng)用優(yōu)勢與改進措施

3.1 大數(shù)據(jù)環(huán)境下教育行業(yè)的信息資源庫

為了適應(yīng)市場環(huán)境的變化，促進學生的全面發(fā)展，我國在實施現(xiàn)代教育理念的同時，也要強化教育系統(tǒng)的數(shù)據(jù)庫建設(shè)，優(yōu)化教育資源，使其更具科學性，學內(nèi)容更豐富、教學方式更靈活。隨著信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)資料庫已成為課堂教學的重要工具。在素質(zhì)教育理念的影響下，所有的教育工作必須以學生的綜合發(fā)展為中心，以優(yōu)質(zhì)的服務(wù)為中心。在進行加工、推導等操作時，要通過大數(shù)據(jù)技術(shù)對資源進行分析與合理的使用，并對數(shù)據(jù)庫進行有效管理。為用戶提供更完善的閱讀服務(wù)，提高用戶的學習體驗。

盡管教育資源庫為學習者和教師帶來了便利的服務(wù)，但在其建設(shè)和使用過程中難免會碰到問題，這就要求建設(shè)者與管理者進一步對大數(shù)據(jù)技術(shù)進行優(yōu)化。首先是關(guān)于資料的安全性。信息管理在給人們帶來方便的同時，也存在著諸如信息泄露、病毒攻擊等問題，若沒有健全的網(wǎng)絡(luò)安全維護系統(tǒng)，或是因為管理人員自身技術(shù)的欠缺，就會使得網(wǎng)絡(luò)管理與服務(wù)環(huán)境過于開放，對學生的信息安全造成威脅。某些不法分子會通過網(wǎng)絡(luò)的安全漏洞進行攻擊，造成重大的信息泄露，從而對用戶的個人信息和校園網(wǎng)的安全造成威脅。教育部門要想防止資料的安全漏洞，就必須加強資料的安全管理，比如，采用先進的防火墻技術(shù)對數(shù)據(jù)進行分類、整理、多重防護，以及采用云端備份技術(shù)，對各種數(shù)據(jù)進行及時備份，避免數(shù)據(jù)丟失。加強相關(guān)管理人員的安全意識，認真對待工作，并對數(shù)據(jù)進行有效的管理與維護，以保證數(shù)據(jù)的安全。其次，是服務(wù)成本和網(wǎng)絡(luò)造價高，信息資源人才匱乏。教育部門要樹立信息資源一體化的理念，加強對基礎(chǔ)資源的利用，同時要建立各區(qū)域院校聯(lián)合開發(fā)的大數(shù)據(jù)平臺，以達到降低服務(wù)費用、改善服務(wù)品質(zhì)、達到信息資源庫可持續(xù)發(fā)展的目的。

3.2 大數(shù)據(jù)環(huán)境下旅游業(yè)的信息資源庫

通過建立基于數(shù)據(jù)的旅游資源數(shù)據(jù)庫，可以充分利用當?shù)刭Y源的真實價值，建設(shè)現(xiàn)代化的數(shù)字化景區(qū)，建設(shè)數(shù)字化資源數(shù)據(jù)庫，為資源管理智能化發(fā)展、資源保護數(shù)字化發(fā)展、產(chǎn)業(yè)整合網(wǎng)絡(luò)化發(fā)展提供良好的推動力。通過對大量數(shù)據(jù)的分析，可以為旅游企業(yè)的運營人員提供科學的信息，為旅游企業(yè)的運營管理人員提供科學的信息，從而為企業(yè)提供更好的決策依據(jù)?；跀?shù)據(jù)驅(qū)動的旅游資源數(shù)據(jù)庫，可以根據(jù)游客的需求，實時地生成適合于旅游者實際需要的線路和相關(guān)的旅游服務(wù)資源。要實現(xiàn)旅游文化的現(xiàn)代化，必須建立基于數(shù)據(jù)的數(shù)據(jù)庫。隨著旅游業(yè)的發(fā)展，旅游業(yè)的數(shù)字化和現(xiàn)代化程度的提高，使得旅游業(yè)的發(fā)展更加迅速。

大數(shù)據(jù)環(huán)境下所建造的旅游資源信息庫也有著類似于教育信息庫一樣的問題，如安全問題、管理造價問題，另外，此類嬴利用數(shù)據(jù)庫也面臨著版權(quán)問題、信息更新問題、用戶隱私保護問題等多重困境，使得信息資源庫的建立與維護難度更大。一是版權(quán)問題，要區(qū)分各景區(qū)圖片的所有權(quán)問題，不得隨意盜用個人用戶以及景區(qū)未經(jīng)許可的圖片。二是信息更新，在數(shù)據(jù)驅(qū)動型旅游資源數(shù)據(jù)庫的構(gòu)建中，部分景區(qū)也會重建修改，必須保障資源庫中的信息隨著景區(qū)的改變而修改，確保信息的真實可靠。三是用戶隱私保護問題，旅游業(yè)在利用數(shù)據(jù)庫進行廣告投放時必定考慮到游客的偏好，這就難免導致個人信息的泄露，所以必須在信息檢索時保護好用戶的隱私。旅游企業(yè)只有這樣才能挖掘出數(shù)據(jù)資源庫的價值，才能通過對旅游數(shù)據(jù)庫的建設(shè)和使用進行產(chǎn)品改版、效果評估、廣告投放以及調(diào)查問卷等，為今后旅游企業(yè)的決策與發(fā)展助力[3]。

3.3 大數(shù)據(jù)環(huán)境下人才資源庫的建設(shè)

在企業(yè)發(fā)展戰(zhàn)略中，人才資源策略是關(guān)鍵。人才資源的戰(zhàn)略目標是根據(jù)企業(yè)總體戰(zhàn)略來確定的，所以企業(yè)中的人才資源貫穿于企業(yè)的整個生命周期的不同階段。尤其是在大數(shù)據(jù)時代，各行業(yè)、各企業(yè)對于人才的需求與日俱增，對人才資源庫的需求也更為迫切。通過信息檢索、檔案收集、智能匹配，不僅企業(yè)可以以此來招聘合適的人才，招聘者也可以尋找自己心儀的崗位，基于大數(shù)據(jù)技術(shù)的人才資源庫建設(shè)有利于提高畢業(yè)生的就業(yè)率，使其更符合企業(yè)的發(fā)展需要，符合當今社會發(fā)展的需要，其作為雙贏政策為工作雙方提供了有利的服務(wù)。

然而人才資源庫不僅有著大數(shù)據(jù)資源庫同樣的問題，如用戶隱私易泄露，而且還包括了虛假信息魚龍混雜、信息檢索能力不足等現(xiàn)存問題。必須加強對資源庫的安全保護，合理投入資金加強基礎(chǔ)建設(shè)，增添服務(wù)項目。要積極運用現(xiàn)代科技，拓寬信息服務(wù)渠道與查詢方式，充實服務(wù)內(nèi)容，最大限度地滿足客戶的個性化需要。另外增強網(wǎng)絡(luò)監(jiān)管，當發(fā)現(xiàn)虛假信息、詐騙招聘等問題時應(yīng)當及時處理，并且提高用戶的警惕性，避免用戶的利益受到侵害[4]。

4 結(jié)束語

綜上所述，在大數(shù)據(jù)技術(shù)的加持下，大量的信息可以被收集、存儲、整理、分析、轉(zhuǎn)化為信息資源。尤其是在當今互聯(lián)網(wǎng)發(fā)達的時代，在知識經(jīng)濟的背景下，大數(shù)據(jù)是人類社會發(fā)展的一種重要科技手段，利用大數(shù)據(jù)進行檢索，打破以往的被動，從數(shù)據(jù)中發(fā)掘有用的信息，使海量的數(shù)據(jù)資源被整合為具有重大價值的信息資源庫，并且建立健全檢索機制與監(jiān)督機制以便用戶檢索使用，為我國的經(jīng)濟發(fā)展提供現(xiàn)代化支持?！?/p>