云存儲技術(shù)與運(yùn)維活頁式工作手冊式教材設(shè)計(jì)

曾文英

摘要：為滿足云存儲技術(shù)與運(yùn)維工程師崗位技能人才培養(yǎng)需求，針對云計(jì)算技術(shù)應(yīng)用專業(yè)課程，從架構(gòu)、路徑、載體、項(xiàng)目化、模塊化、體系等方面，進(jìn)行云存儲技術(shù)與運(yùn)維活頁式教材設(shè)計(jì)與探索。

關(guān)鍵詞：云存儲技術(shù);活頁式教材;工作手冊;項(xiàng)目化;模塊化

中圖分類號：TP311? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）28-0155-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 背景

云存儲屬于云計(jì)算服務(wù)的基礎(chǔ)設(shè)施服務(wù)，起著數(shù)據(jù)存儲、讀寫管理的核心功能。云存儲技術(shù)與運(yùn)維是云計(jì)算技術(shù)與應(yīng)用專業(yè)的核心課程之一，課程內(nèi)容包括：云存儲架構(gòu)、部署、管理與運(yùn)維。主要面向崗位：云存儲架構(gòu)、云存儲運(yùn)維。采用活頁式、工作手冊式教材，有助于學(xué)生按項(xiàng)目化、模塊化、目標(biāo)任務(wù)分解方式掌握云存儲技術(shù)技能。

云存儲教學(xué)采用活頁式、工作手冊式教材，在教學(xué)中以項(xiàng)目為單元，以項(xiàng)目需求為導(dǎo)向，進(jìn)行規(guī)劃和設(shè)計(jì)，安裝、配置和部署，訓(xùn)練實(shí)戰(zhàn)技能?？苫趹?yīng)用場景設(shè)定，進(jìn)行項(xiàng)目化教學(xué)實(shí)踐。

2 相關(guān)技術(shù)

傳統(tǒng)的企業(yè)存儲（如SAN、NAS）已無法應(yīng)對海量的非結(jié)構(gòu)化數(shù)據(jù)的存儲需求[1]。SDS社區(qū)推出代表性解決方案Ceph、Sheepdog、GlusterFS和Swift等。開源SDS（Software-Defined Storage，軟件定義存儲）分布式存儲技術(shù)Ceph是一種高可用、易擴(kuò)展的對象存儲系統(tǒng)，適合企業(yè)在私有云、公有云和混合云場景下圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)存儲和管理需求[2]。

云存儲根據(jù)面向部署方式不同，可分為以分三類：公有云存儲、私有云存儲、混合云存儲[3]。

公有云存儲基礎(chǔ)設(shè)施由云存儲提供商構(gòu)建、擁有、管理和維護(hù)。如亞馬遜公司Simple Storage Service（S3）、以Dropbox為代表的個(gè)人云存儲服務(wù)，國內(nèi)代表性產(chǎn)品搜狐企業(yè)網(wǎng)盤，百度云盤，樂視云盤 ，移動彩云，金山快盤，堅(jiān)果云，酷盤，115網(wǎng)盤，華為網(wǎng)盤，360云盤，新浪微盤，騰訊微云，cStor云存儲等。

私有云存儲一般是企業(yè)在本地控制的存儲服務(wù)器，位于企業(yè)防火墻內(nèi)部。私有云平臺有：Eucalyptus、3A Cloud、minicloud、聯(lián)想網(wǎng)盤等。企業(yè)可擁有或控制基礎(chǔ)架構(gòu)，及應(yīng)用的部署。

混合云存儲把公共云和私有云結(jié)合在一起，是公共云、私有云和數(shù)據(jù)中心的某種組合。通常將由企業(yè)擁有和管理的資源與公共云存儲提供的彈性、可擴(kuò)展性和成本優(yōu)勢?？蓭椭久鎸ρ杆僭鲩L的負(fù)載波動或高峰需求。

云存儲系統(tǒng)設(shè)計(jì)時(shí)應(yīng)考慮基本目標(biāo)和擴(kuò)展目標(biāo)，設(shè)計(jì)滿足目標(biāo)的集群架構(gòu)和系統(tǒng)結(jié)構(gòu)，實(shí)現(xiàn)云存儲系統(tǒng)文件同步及重復(fù)數(shù)據(jù)刪除等關(guān)鍵技術(shù)[4]。

可用開源軟件構(gòu)建云存儲平臺，可能需考慮存儲集群的高可用、超大規(guī)模節(jié)點(diǎn)集群部署和維護(hù)、跨多數(shù)據(jù)中心解決方案等問題?？刹捎迷黾忧岸藬?shù)據(jù)緩存、預(yù)備份數(shù)據(jù)來提高處理效率，通過增強(qiáng)數(shù)據(jù)冗余檢查、數(shù)據(jù)的一致性檢測保障數(shù)據(jù)安全，加強(qiáng)健康檢查和告警模塊、自動化部署、優(yōu)化通知和輪詢機(jī)制，實(shí)現(xiàn)便捷的運(yùn)維管理。將所有存儲組件都多活熱備、分布到不同機(jī)架提高產(chǎn)品可用性[5]。

大數(shù)據(jù)時(shí)代，云計(jì)算及其數(shù)據(jù)處理技術(shù)在信息系統(tǒng)中的運(yùn)用廣泛，基于云計(jì)算大規(guī)模存儲和按需服務(wù)優(yōu)勢?？蓪⒃朴?jì)算技術(shù)與J2EE技術(shù)相結(jié)合，構(gòu)建云信息系統(tǒng)。運(yùn)用存儲技術(shù)解決現(xiàn)階段常見的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)共存的問題，建設(shè)創(chuàng)新服務(wù)平臺，將云計(jì)算中的存儲技術(shù)與現(xiàn)階段流行的J2EE開發(fā)框架有機(jī)結(jié)合，設(shè)計(jì)并開發(fā)基于云存儲與Spring、SpringMVC、MyBatis架構(gòu)的創(chuàng)新服務(wù)平臺系統(tǒng)，進(jìn)行創(chuàng)新資源庫的存儲[6]。項(xiàng)目將軟件開發(fā)與云計(jì)算、云存儲系統(tǒng)結(jié)合，可培養(yǎng)產(chǎn)業(yè)急需的復(fù)合型人才。

云存儲可與大數(shù)據(jù)結(jié)合，如搭建Hadoop集群由舊有設(shè)備和新購置設(shè)備組成，各節(jié)點(diǎn)在存儲性能、計(jì)算性能、IO性能等存較大差異。在HDFS機(jī)架感知調(diào)度策略基礎(chǔ)上，首先根據(jù)節(jié)點(diǎn)的CPU、內(nèi)存大小、磁盤大小、磁盤I/O等固有硬件性能將節(jié)點(diǎn)劃分為高、低配置節(jié)點(diǎn)，其次根據(jù)節(jié)點(diǎn)CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)帶寬使用率、磁盤使用率等性能的動態(tài)因素建立節(jié)點(diǎn)的性能評價(jià)模型，劃分性能級別。根據(jù)節(jié)點(diǎn)配置情況、性能級別及網(wǎng)絡(luò)位置等綜合調(diào)度，數(shù)據(jù)的訪問頻率對數(shù)據(jù)塊的分布進(jìn)行動態(tài)調(diào)整[7]。

3 云存儲架構(gòu)

存儲系統(tǒng)根據(jù)所處的功能層次不同，可劃分為4個(gè)層次：存儲層、管理調(diào)度層、訪問接口層、業(yè)務(wù)應(yīng)用層。其中：存儲層包括存儲設(shè)備（IP SAN/FC SAN/NAS等）、存儲虛擬化、設(shè)備管理與狀態(tài)監(jiān)控等，管理調(diào)度層包括分布式文件系統(tǒng)、對象存儲、多副本一致性與糾刪碼、故障檢測、負(fù)載均衡等;訪問接口通過iSCSI、NFS、CIFS、FTP、HTTP、REST或API訪問;云存儲應(yīng)用領(lǐng)域廣泛，包括視頻監(jiān)控、智能分析、大數(shù)據(jù)檢索等。

云存儲技術(shù)根據(jù)用戶可訪問性不同，可分為私有云存儲、公有云存儲、混合云存儲。云存儲根據(jù)所依托的操作系統(tǒng)不同，分別有：Linux、Windows、MacOS等系統(tǒng)下的存儲系統(tǒng)。面向云存儲管理與運(yùn)維工程師崗位，可將云存儲技術(shù)與運(yùn)維教程教學(xué)路徑根據(jù)云存儲的類型，分別進(jìn)行教學(xué)，即私有云存儲架構(gòu)與管理、公有云存儲部署與管理、混合云存儲等設(shè)計(jì)。其知識目標(biāo)主要為：存儲分區(qū)、格式化;存儲卷管理、存儲集群構(gòu)建與運(yùn)維等;能獨(dú)立完成云存儲配置、容災(zāi)備份與安全控制等。

4 教學(xué)載體

4.1 云平臺

教學(xué)采用的云平臺可基于市場主流云平臺Vmware、Openstack、Zstack[8]等的存儲解決方案。OpenStack為2010年起開源的云計(jì)算管理平臺項(xiàng)目，已進(jìn)入主流企業(yè)市場，高速增長，但該項(xiàng)目依然面臨較難部署和管理問題。ZStack項(xiàng)目始于2015年，下一代開源云計(jì)算IaaS軟件，具有易用、穩(wěn)定、靈活、超高性能等特點(diǎn)，發(fā)展以及成熟速度遠(yuǎn)快于OpenStack。有商業(yè)版以及開源社區(qū)版本。

開源分布式存儲Ceph、GlusterFS、Sheepdog和MinIO，多家主流廠商和新銳廠商將其商業(yè)化，許多行業(yè)云和企業(yè)云業(yè)主考慮采用開源系統(tǒng)?？赡艿膯栴}是系統(tǒng)龐大和復(fù)雜，部署和運(yùn)維難度大;功能單一（僅塊存儲、文件存儲或?qū)ο蟠鎯χ唬┑??？蛇x擇業(yè)界主流開源存儲技術(shù)應(yīng)用于課程教學(xué)。

4.2 云存儲系統(tǒng)

云存儲是分布式存儲系統(tǒng)，主要包括：文件存儲、塊存儲和對象存儲等類型。

從物理存儲看，服務(wù)器擴(kuò)展存儲的手段主要有直連存儲（DAS）、存儲區(qū)域網(wǎng)絡(luò)（SAN）和網(wǎng)絡(luò)附加存儲（NAS）這三種類型。實(shí)例存儲可以用DAS實(shí)現(xiàn)，也可用NAS或者卷存儲;卷存儲對應(yīng)物理的SAN;云存儲需通過虛擬磁盤（Virtual Disk）實(shí)現(xiàn)資源分配以及共享，Hypervisor采用NAS的方式來實(shí)現(xiàn)虛擬磁盤;VMware通常采用VMFS（Virtual Machine File System）或NFS協(xié)議來實(shí)現(xiàn)虛擬磁盤。應(yīng)用直接通過REST API來訪問對象存儲。很多供應(yīng)商都支持對象存儲，如OpenStacks Swift， Amazons S3， Red Hats Ceph和Cleversafe。

有的廠商N(yùn)AS存儲提供對象存儲接口。這是由于3種存儲形式的特點(diǎn)決定的，如圖1。

4.3 云存儲運(yùn)維

云存儲設(shè)計(jì)、開發(fā)、配置與部署流程完后，需要進(jìn)行云存儲運(yùn)維。具體可包括：云存儲負(fù)載均衡、數(shù)據(jù)更新、數(shù)據(jù)遷移、數(shù)據(jù)副本一致性、冗余機(jī)制等。

主要用途：

備份、歸檔、災(zāi)難恢復(fù) 數(shù)據(jù)服務(wù)層：存儲、資源、共享、備份;

數(shù)據(jù)管理層：用戶、安全、副本、策略;

數(shù)據(jù)存儲層：存儲設(shè)備、虛擬化、集群 副本、冗余、安全、可靠性和可用性、控制性、性能等 在線存儲服務(wù);數(shù)據(jù)安全、可靠、高效;按需付費(fèi);減少IT托管成本;服務(wù)端維護(hù) 多租戶;可擴(kuò)展;高效、可用、安全控制 1.云存儲分類：公有云存儲、私有云存儲;混合云存儲。

1. 主流產(chǎn)品：OpenStack Swift;Ceph;GlusterFS;PureStorage;BAT云存儲產(chǎn)品 ]

5 云存儲活頁式教材模塊化設(shè)計(jì)

基于工作過程，設(shè)計(jì)階段項(xiàng)目;將項(xiàng)目任務(wù)劃分為多階段任務(wù)，每階段設(shè)置預(yù)期目標(biāo)成果，團(tuán)隊(duì)分工協(xié)作完成任務(wù)。

6 基于活頁式教材教學(xué)體系設(shè)計(jì)

根據(jù)活頁式教材模塊，每個(gè)教學(xué)單元采用的教學(xué)體系可概括為三環(huán)節(jié)教學(xué)體系：課前知識預(yù)習(xí)與自測;課中案例分析與實(shí)訓(xùn);課后復(fù)習(xí)與創(chuàng)新設(shè)計(jì)。

課前，學(xué)生學(xué)習(xí)課件，了解所需的知識，完成自測習(xí)題。課中，師生進(jìn)行案例分析，參考案例進(jìn)行項(xiàng)目實(shí)訓(xùn)。課后，學(xué)生進(jìn)行復(fù)習(xí)，鞏固所學(xué)知識與技能，并進(jìn)行創(chuàng)新思考和創(chuàng)新項(xiàng)目設(shè)計(jì)。

教材可劃分為多個(gè)模塊，涵蓋云存儲架構(gòu)與運(yùn)維崗位知識與技能目標(biāo)、關(guān)鍵技術(shù)的應(yīng)用等。主要模塊可劃分為：虛擬化技術(shù)、網(wǎng)絡(luò)存儲、私有云存儲、公有云存儲、云存儲產(chǎn)品與服務(wù)支持、云存儲運(yùn)維與安全等。可包括云存儲的安裝、配置與管理等：虛擬機(jī)集群安裝、配置;DAS、NAS、SAN等網(wǎng)絡(luò)存儲，RAID、LVM等安裝、配置、部署與應(yīng)用;OpenStack Cinder、Swift，Ceph，GlusterFS等存儲安裝與管理;Aliyun OSS、Huawei OSS、AWS S3等公有云存儲部署與運(yùn)維;云存儲擴(kuò)容、縮容與負(fù)載均衡、云存儲備份、安全、容災(zāi)、加解密、恢復(fù);超融合架構(gòu)、混合云存儲部署與管理等。如表4。

云存儲活頁式工作手冊式教材可配套建設(shè)立體化資源。主要包括：1）項(xiàng)目文檔：包括項(xiàng)目開發(fā)計(jì)劃、需求說明書、詳細(xì)設(shè)計(jì)說明書、用戶手冊、測試計(jì)劃、測試分析報(bào)告等;2）教師用項(xiàng)目實(shí)訓(xùn)管理手冊（為教師提供實(shí)訓(xùn)組織和評審的參考依據(jù)）;3）學(xué)生用項(xiàng)目實(shí)訓(xùn)手冊;4）項(xiàng)目源代碼，相關(guān)數(shù)據(jù)，以及項(xiàng)目開發(fā)、測試、部署、運(yùn)行所需要的工具;（5）視頻教程;6）習(xí)題等。

7 結(jié)束語

云存儲技術(shù)是云計(jì)算IaaS的重要形態(tài)，為軟件開發(fā)與部署、數(shù)據(jù)存取等提供了載體。云存儲技術(shù)涵蓋軟硬件平臺、存儲單元組織、讀寫算法、副本維護(hù)、主從協(xié)作等多方面。

建立活頁式、工作手冊式云存儲技術(shù)與運(yùn)維教材，可通過項(xiàng)目化、模塊化、業(yè)務(wù)流程化合一的創(chuàng)新模式培養(yǎng)云存儲工程設(shè)計(jì)人才。

參考文獻(xiàn)：

[1] 知乎.目前行業(yè)云存儲面臨的運(yùn)維問題及解決方案[EB/OL].[2020-12-20].https：//zhuanlan.zhihu.com/p/157505629？utm _source=wechat_session.

[2] 謝泓生.基于Ceph的企業(yè)云存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].廈門：廈門大學(xué)，2019.

[3] 關(guān)于云存儲的多種存在類型-電子發(fā)燒友網(wǎng). [2020-12-20].http：//m.elecfans.com/article/1017888.html.

[4] 李明娟，邸海濤，張鵬，等.云存儲系統(tǒng)架構(gòu)與關(guān)鍵技術(shù)研究[J].信息通信，2018，31（3）：125-126.

[5] 王東旭，陳方縣.基于開源軟件構(gòu)建云存儲平臺[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2017，30（7）：10-13.

[6] 林珠，李海威，楊柏藹.基于云存儲與J2EE架構(gòu)的信息系統(tǒng)設(shè)計(jì)及應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，27（10）：177-180.

[7] 李青.科技云平臺的數(shù)據(jù)存儲管理技術(shù)研究[D].北京：北方工業(yè)大學(xué)，2016.

[8] 三種存儲類型：塊存儲、文件存儲、對象存儲_Aiky哇-CSDN博客[EB/OL].[2020-12-20].https：//blog.csdn.net/qq_35423190/article/details/109355597？utm_medium=distribute.pc_relevant _bbs_down.none-task--2～all～first_rank_v2～rank_v29-6.nonecase&depth_1-utm_source=distribute.pc_relevant_bbs_down.n one-task--2～all～first_rank_v2～rank_v29-6.nonecase.

[9] 常見的三種存儲技術(shù)以及iSCSI協(xié)議[EB/OL].[2020-12-20].http：//www.360doc.com/content/18/0917/07/35525662_787279 413.shtml.

【通聯(lián)編輯：謝媛媛】