淺析“互聯(lián)網(wǎng)+”時代下的院校云存儲管理

陸衛(wèi)東

摘 要：隨著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和移動互聯(lián)等信息技術(shù)的飛速發(fā)展，使云存儲管理成為了可能。移動互聯(lián)網(wǎng)的興起將越來越多的實體、個人、設(shè)備聯(lián)系在了一起。互聯(lián)網(wǎng)已不僅僅是虛擬經(jīng)濟(jì)，它是主體經(jīng)濟(jì)中不可分割的一部分。經(jīng)濟(jì)社會的每一個細(xì)胞都需要與互聯(lián)網(wǎng)相連，互聯(lián)網(wǎng)與萬物共生共存。這已經(jīng)成為時代發(fā)展的大趨勢。

關(guān)鍵詞：互聯(lián)網(wǎng)+；物聯(lián)網(wǎng)；云存儲；大數(shù)據(jù)

中圖分類號：G627；TP311.132 文獻(xiàn)標(biāo)識碼：A DOI：10.15913/j.cnki.kjycx.2016.14.020

當(dāng)今社會，移動互聯(lián)網(wǎng)正以前所未有的廣度和深度加速推動經(jīng)濟(jì)的轉(zhuǎn)型升級，推動社會的進(jìn)步和發(fā)展，它已經(jīng)成為了經(jīng)濟(jì)轉(zhuǎn)型的新動力，人們工作、生活的新方式。隨著大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、智慧城市等多領(lǐng)域技術(shù)與移動互聯(lián)網(wǎng)的跨界融合，人與人之間的關(guān)系變得越來越親密，人們將進(jìn)入“互聯(lián)網(wǎng)+”的智慧生活新時代。

近幾年，隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)行業(yè)發(fā)生著日新月異的變化?；ヂ?lián)網(wǎng)由原本的WEB1.0時代過渡到了WEB2.0 時代，逐漸顯示出原創(chuàng)性、互動性、聚合性3個特征。由此用戶與互聯(lián)網(wǎng)之間的交互方式發(fā)生了巨大的變化，用戶從內(nèi)容的被動接收者成為了內(nèi)容的創(chuàng)造者?；ヂ?lián)網(wǎng)已經(jīng)成為了用戶彰顯個性的場所——越來越多的人在互聯(lián)網(wǎng)上創(chuàng)建了播客、博客和相冊等與個人相關(guān)的內(nèi)容。這些變化大大豐富了互聯(lián)網(wǎng)的內(nèi)容，大量個性圖片和文章的涌現(xiàn)為互聯(lián)網(wǎng)相關(guān)支撐平臺的建設(shè)提出了更高的要求。

由于互聯(lián)網(wǎng)數(shù)據(jù)主要依托于用戶，所以，用戶上傳的私人數(shù)據(jù)成為了互聯(lián)網(wǎng)行業(yè)的主要數(shù)據(jù)源?；ヂ?lián)網(wǎng)的主要數(shù)據(jù)包括圖片、視頻、文章等相關(guān)的數(shù)據(jù)信息。數(shù)目龐大的小文件——每天產(chǎn)生的上百萬張圖片、FLASH、文章等大約幾十千字節(jié)的小文件將會給存儲系統(tǒng)帶來巨大的壓力。用現(xiàn)有存儲系統(tǒng)檢索上億數(shù)量文件的速度很難令人滿意，同時，由于單目錄下文件數(shù)量受限，文件管理也極為困難。隨著數(shù)據(jù)文件的不斷增加，快速定位檢索文件也成為了存儲系統(tǒng)的主要考量標(biāo)準(zhǔn)之一。

2015年，這種變革在教育上體現(xiàn)得最為明顯，慕課、K12在線教育（小學(xué)到高中的12年中小學(xué)在線教育）、在線外語培訓(xùn)、在線職業(yè)教育等細(xì)分領(lǐng)域規(guī)模迅速擴(kuò)大，“互聯(lián)網(wǎng)+”正以迅雷不及掩耳之勢推動傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級。在“互聯(lián)網(wǎng)+”的大時代下，產(chǎn)業(yè)結(jié)構(gòu)與發(fā)展將直接由大眾參與決定。隨著大眾自主性的提升，以消費者為核心的“產(chǎn)業(yè)互聯(lián)網(wǎng)”將逐漸取代以企業(yè)為核心的“消費互聯(lián)網(wǎng)”。這一變革將為存在諸多痛點的教育產(chǎn)業(yè)帶來巨大的機(jī)遇和挑戰(zhàn)。個性化和互動化等創(chuàng)新模式的出現(xiàn)也為社會發(fā)展提供了無限的想象空間。

1 云系統(tǒng)

根據(jù)校園信息化的發(fā)展趨勢和未來走向，需要打破傳統(tǒng)觀念的束縛，引進(jìn)現(xiàn)代化“云系統(tǒng)”完成校園教學(xué)和學(xué)習(xí)——結(jié)合云計算、云存儲、平板電腦、個人電腦等相關(guān)產(chǎn)品和技術(shù)，形成方便教學(xué)和學(xué)習(xí)的整體數(shù)據(jù)存儲與分發(fā)方案，充分發(fā)揮教師協(xié)同教學(xué)的能力，并為校園內(nèi)其他應(yīng)用系統(tǒng)提供數(shù)據(jù)存儲資源。利用“云系統(tǒng)”可以將教師資料和學(xué)生資料通過個人存儲賬號存放在云存儲中，通過PC終端、移動終端隨時、隨地獲取教學(xué)和學(xué)習(xí)資源，使教學(xué)與學(xué)習(xí)不再有地域的局限性，達(dá)到校園教學(xué)無處不在、隨時可獲取的效果。同時，云存儲系統(tǒng)也能支撐起校園科研、網(wǎng)站、數(shù)據(jù)、娛樂存儲等信息化內(nèi)容，實現(xiàn)校園海量數(shù)據(jù)的統(tǒng)一存儲和管理，從而提升網(wǎng)站的訪問效率和教學(xué)與學(xué)習(xí)效率，完全實現(xiàn)校園信息化的構(gòu)想。云系統(tǒng)的構(gòu)成及其應(yīng)用情況如圖1所示。

目前，教育行業(yè)的應(yīng)用類型比較廣，包括了科研、音視頻教學(xué)、圖書館、網(wǎng)盤、網(wǎng)站數(shù)據(jù)等多種應(yīng)用類型?？蒲兄饕槍Φ氖墙虒W(xué)科研，偏向于高性能計算行業(yè)；音視頻教學(xué)主要是

存儲校園教學(xué)等視頻；圖書館主要存放海量的電子圖書；網(wǎng)盤主要是存放個人數(shù)據(jù)，比如教學(xué)課件、私人文檔和圖書等；網(wǎng)站數(shù)據(jù)主要包括校園內(nèi)的網(wǎng)站信息。在此過程中主要存在以下問題：①小文件數(shù)量比較多。當(dāng)單目錄下文件數(shù)量過多時，如何存儲和快速檢索文件是急需解決的問題。②數(shù)據(jù)量迅速增加。當(dāng)數(shù)據(jù)呈爆炸式增長時，如果存儲系統(tǒng)沒有靈活的可擴(kuò)展性，存儲平臺的添加和管理將會變得異常困難。③高互動性。負(fù)責(zé)流媒體文件的內(nèi)容交付式網(wǎng)絡(luò)需要提供文件快速交付，用戶絕不會容忍緩慢的視頻播放、暫停緩沖或網(wǎng)站中斷。研究表明，網(wǎng)絡(luò)用戶能夠承受等待信息檢索的時間是2 s。④Cache命中率低。用戶為了提高文件的訪問效率，往往會在前端配置一個稍大容量的緩存。但是，由于小文件的數(shù)量極其龐大，應(yīng)用對這些文件訪問的隨機(jī)性非常高，使得Cache的命中率極低，緩存失去了應(yīng)有的作用，導(dǎo)致應(yīng)用時需要直接到后端存儲系統(tǒng)上讀取數(shù)據(jù)，給存儲系統(tǒng)造成了極大的壓力。

1.1 存儲系統(tǒng)性能需求分析

基于存儲局域網(wǎng)技術(shù)，為了滿足各種應(yīng)用的數(shù)據(jù)庫數(shù)據(jù)備份需求，必須強(qiáng)化數(shù)據(jù)存儲核心，選擇集群存儲服務(wù)器和網(wǎng)絡(luò)架構(gòu)。其基本性能需求分析如下。

1.1.1 性能擴(kuò)展

在存儲系統(tǒng)中，處理器主要具備I/O處理、Cache控制管理、數(shù)據(jù)傳輸控制和一些智能化的軟件功能。其采用的存儲設(shè)備必須具有良好的性能擴(kuò)展性能，可以將單個任務(wù)分布式的存儲在多臺存儲服務(wù)器中，屏蔽掉單個硬盤或者服務(wù)器對外提供存儲服務(wù)而造成的數(shù)據(jù)讀寫瓶頸。

1.1.2 數(shù)據(jù)緩存機(jī)制

對于數(shù)據(jù)庫訪問應(yīng)用，存儲系統(tǒng)需要擁有緩存機(jī)制，將所有經(jīng)常被訪問的數(shù)據(jù)存儲在緩存池中，以方便用戶直接從緩存中調(diào)取經(jīng)常被訪問的數(shù)據(jù)，且緩存池容量無需設(shè)置限制。

1.1.3 海量數(shù)據(jù)高效檢索效率

隨著DB業(yè)務(wù)的不斷發(fā)展，存儲系統(tǒng)需要支撐起數(shù)十萬乃至數(shù)萬IOPS的訪問需求給備份系統(tǒng)，減少文件備份對比時間，提高存儲系統(tǒng)的備份效率。

1.2 存儲系統(tǒng)可靠性分析

備份存儲系統(tǒng)可靠性是整體系統(tǒng)可靠性工作中的重中之重。一旦在線存儲發(fā)生嚴(yán)重故障，備份存儲系統(tǒng)必須確保數(shù)據(jù)的完整性、可靠性和可用性，避免出現(xiàn)業(yè)務(wù)服務(wù)全面停滯和數(shù)據(jù)資源被損壞的情況。因此，備份存儲系統(tǒng)必須要有強(qiáng)有力的可靠性保障。如果采用傳統(tǒng)的RAID數(shù)據(jù)保護(hù)技術(shù)，只能從硬盤級別保護(hù)數(shù)據(jù)。隨著數(shù)據(jù)的增加，磁盤數(shù)量越來越多，容量越來越大，硬盤故障率也在不斷提高。在這種情況下，不僅數(shù)據(jù)的恢復(fù)時間長，而且在恢復(fù)數(shù)據(jù)時，RAID機(jī)制的存儲系統(tǒng)幾乎處于不可用的狀態(tài)。由此可知，RAID技術(shù)已經(jīng)不能滿足實際應(yīng)用需求。從數(shù)據(jù)的安全性和應(yīng)用的連續(xù)性考慮，要求存儲系統(tǒng)在單機(jī)任意數(shù)量磁盤損壞、整機(jī)宕機(jī)、單網(wǎng)絡(luò)損壞、單控制器損壞的情況下，都能夠保證業(yè)務(wù)數(shù)據(jù)的安全性，即這些故障發(fā)生時，用戶可以繼續(xù)使用備份存儲系統(tǒng)。

數(shù)據(jù)中心內(nèi)部備份系統(tǒng)需要通過高速內(nèi)網(wǎng)來連接，在數(shù)據(jù)中心內(nèi)實現(xiàn)網(wǎng)絡(luò)快速互通，確保數(shù)據(jù)能快速實現(xiàn)容災(zāi)備份，使任意業(yè)務(wù)數(shù)據(jù)在整個系統(tǒng)中都有完整的冗余數(shù)據(jù)，確保數(shù)據(jù)的安全性和可靠性，并且確保在線存儲異常時備份數(shù)據(jù)無異常。

1.3 可維護(hù)性分析

備份存儲系統(tǒng)的基礎(chǔ)建設(shè)設(shè)施應(yīng)采用通用服務(wù)器硬件設(shè)備搭建，無需搭建專用硬件，可利用通用的X86架構(gòu)服務(wù)器搭建備份存儲系統(tǒng)，降低硬件成本，提升硬件更換的靈活度。在系統(tǒng)的可維護(hù)性上，備份存儲系統(tǒng)對設(shè)備的控制力度需要劃分到硬盤級別，方便運維人員對系統(tǒng)進(jìn)行系統(tǒng)化維護(hù)。當(dāng)探測到有不穩(wěn)定硬盤出現(xiàn)時，可以按需自動遷移任意硬盤中的數(shù)據(jù)到其他正在服務(wù)的正常磁盤中，采用掛載備份存儲系統(tǒng)中任意級別目錄的方式讓各方應(yīng)用形成數(shù)據(jù)隔離，并在擴(kuò)容后實現(xiàn)在線的遷移數(shù)據(jù)，直到各個存儲服務(wù)器中的數(shù)據(jù)均衡為止。同時，還可以根據(jù)現(xiàn)有服務(wù)器的運行情況提出在線更換所有老舊設(shè)備的方案，以增強(qiáng)整套備份存儲系統(tǒng)的可維護(hù)性。在管理上，要有獨立的存儲管理軟件，管理軟件需要嵌入所有備份存儲系統(tǒng)的功能參數(shù)，以方便運維人員管理，實現(xiàn)單點單人管理數(shù)拍字節(jié)的存儲空間，緩解企業(yè)運維人員的壓力。

1.4 擴(kuò)展性分析

根據(jù)數(shù)據(jù)存儲的特點，需要實時、不間斷地寫入數(shù)據(jù)，而且對備份存儲系統(tǒng)的擴(kuò)展性有非常高的要求。在容量方面，可以根據(jù)應(yīng)用系統(tǒng)的需求進(jìn)行擴(kuò)容設(shè)置。擴(kuò)容時，對服務(wù)器數(shù)量和硬盤容量沒有任何限制。另外，該系統(tǒng)可以滿足任意數(shù)量的存儲服務(wù)器和任意容量的存儲硬盤性能方面的要求。在具體工作中，可以隨著存儲服務(wù)器數(shù)量的增加整體備份存儲系統(tǒng)的聚合帶寬，以一個近線性增長的趨勢增加。在增加容量的同時，整體存儲服務(wù)器的性能也在不斷提高，并且擴(kuò)容方式簡單、便捷，可以實現(xiàn)10 min/人擴(kuò)展數(shù)百太字節(jié)的存儲空間。

1.5 備份高效性

備份存儲系統(tǒng)需要高效備份業(yè)務(wù)數(shù)據(jù)，并快速完成，按需恢復(fù)所需數(shù)據(jù)，確保在線系統(tǒng)出現(xiàn)問題時備份存儲系統(tǒng)可以快速恢復(fù)業(yè)務(wù)數(shù)據(jù)，甚至業(yè)務(wù)系統(tǒng)可以直接切換到備份系統(tǒng)上執(zhí)行相關(guān)任務(wù)，確保業(yè)務(wù)的連續(xù)性。

2 云存儲的解決之道

為了應(yīng)對多種復(fù)雜類型的應(yīng)用，包括高性能計算、音視頻存儲、海量小文件和網(wǎng)盤類存儲，存儲系統(tǒng)必須采用統(tǒng)一式的存儲架構(gòu)，在兼容多種應(yīng)用的同時提供不同應(yīng)用系統(tǒng)所需的效果。采用高性能，高安全性、穩(wěn)定性的集群存儲系統(tǒng)架構(gòu)，可以滿足對數(shù)據(jù)空間的需求和管理。其主要具備以下幾個特點：①可管理億級的海量文件，具有極高的文件檢索效率。存儲系統(tǒng)必須擁有高效率的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上億文件的同時保持極高的文件檢索效率。這樣，在單個目錄下高效管理數(shù)萬個文件的同時，仍然能夠提供每秒數(shù)萬的文件檢索率。②系統(tǒng)在單一文件系統(tǒng)下可以擴(kuò)展到艾字節(jié)。在擴(kuò)展的過程中，可以保持高性能和高可靠性。單一的文件系統(tǒng)可以降低管理維護(hù)的復(fù)雜度，提高其使用效率。③存儲系統(tǒng)采用專有訪問協(xié)議調(diào)取數(shù)據(jù)，可以根據(jù)互聯(lián)網(wǎng)訪問數(shù)據(jù)的特點進(jìn)行數(shù)據(jù)的調(diào)取、優(yōu)化，在提供極高的訪問速度的同時降低訪問的延遲性，提高用戶的訪問體驗。④可以把經(jīng)常被訪問的數(shù)據(jù)貯存在系統(tǒng)內(nèi)存中，讓用戶在內(nèi)存中直接調(diào)取熱點數(shù)據(jù)，減小熱點數(shù)據(jù)對系統(tǒng)造成的壓力。⑤提供網(wǎng)盤類應(yīng)用，在方便教師教學(xué)的同時可以隨時隨地訪問相關(guān)數(shù)據(jù)，并且切合校園網(wǎng)盤使用模式有針對性地定制網(wǎng)盤系統(tǒng)，以滿足校園網(wǎng)盤的相關(guān)使用需求。⑥有效解決了千人以上同時視頻點播、網(wǎng)絡(luò)化考試的問題。當(dāng)訪問量比較高時，讀寫速度不得低于30 M。⑦使用私有云存儲系統(tǒng)為每位教師分配一個空間，教師可以在校園內(nèi)的家里、辦公室、教室和學(xué)生宿舍的電腦上用同一個賬號登錄，并且產(chǎn)生一個本地虛擬盤，無需下載原有數(shù)據(jù)，本地不留任何數(shù)據(jù)。這樣，在單位編輯過的文件保存到云盤后，回到家里或宿舍打開云盤里的文件，就能輕松完成沒做完的工作。⑧利用云盤可以安全備份重要文件。有了云盤，我們可以與移動硬盤、U盤等移動儲存設(shè)備說再見，解決了教師機(jī)容易中病毒、數(shù)據(jù)丟失的問題。⑨采用集群架構(gòu)，使用高效的數(shù)據(jù)讀寫技術(shù)，提供可擴(kuò)展的聚合帶寬，可動態(tài)擴(kuò)容增長性能，以提高整套信息基礎(chǔ)架構(gòu)的數(shù)據(jù)快速交付能力，減少硬件的投資風(fēng)險。同時，還可以靈活地在線擴(kuò)展，滿足業(yè)務(wù)不斷發(fā)展而產(chǎn)生的數(shù)據(jù)存儲需求。⑩采用全局高可用技術(shù)消除硬件單點故障，不用擔(dān)心磁盤損壞和服務(wù)器宕機(jī)等問題會導(dǎo)致數(shù)據(jù)丟失或者業(yè)務(wù)中斷。任何硬件故障都會由系統(tǒng)內(nèi)置的故障恢復(fù)流程自動處理。這樣，能夠保證業(yè)務(wù)在極端惡劣的環(huán)境中有序進(jìn)行。

參考文獻(xiàn)

[1]阿爾文·托夫勒，海蒂·托夫勒.再造新文明[M].北京：中信出版社，2006.

[2]馬克·貝尼奧夫，卡萊爾·阿德勒.云攻略[M].北京：海天出版社，2010.

[3]邁爾·舍恩伯格，庫克耶.大數(shù)據(jù)時代：生活、工作與思維的大變革[M].杭州：浙江人民出版社，2013.

[4]張冬.大話存儲——存儲系統(tǒng)底層架構(gòu)原理極限剖析（終極版）[M].北京：清華大學(xué)出版社，2015.

〔編輯：白潔〕