海量存儲技術在云筆記共享平臺中的應用

徐莉娜

[摘? ? ? ? ? ?要]? 近年來，以“人”為中心的知識共享與互動平臺開始打破地域和資源的限制，呈現(xiàn)出旺盛的生命力。知識共享平臺的發(fā)展，為教育行業(yè)提供了知識價值轉(zhuǎn)化的可能性。海量存儲技術解決了目前云筆記共享平臺在云化遷移過程中的海量文件存儲問題，從而推動云筆記共享平臺的演進，實現(xiàn)云化的、以筆記整理為基礎的知識共享平臺，為高校在線教育與知識共享體系的發(fā)展提供一定的借鑒作用。

[關? ? 鍵? ?詞]? 云筆記;海量存儲;知識共享

[中圖分類號]? TP391? ? ? ? ? ? ? ? ? [文獻標志碼]? A? ? ? ? ? ? ? ? ? ?[文章編號]? 2096-0603（2021）43-0228-02

近年來，隨著大數(shù)據(jù)、云計算的出現(xiàn)和運用，互聯(lián)網(wǎng)迎來了快速發(fā)展的時代，全球成了一個以思想文化為基礎的知識交流會場，人們在網(wǎng)絡上實現(xiàn)了知識與文化的共享。由于互聯(lián)網(wǎng)具有速度快和容量大的優(yōu)勢，可以預見，在不久的將來，整個教育行業(yè)將從傳統(tǒng)的教育模式向信息化的網(wǎng)絡教育模式發(fā)展，人們能享受更多更好的教育資源，從而實現(xiàn)真正的全球知識共享，利于迅速普及人類共同發(fā)展和進步的理念。

云筆記共享平臺作為在線教育系統(tǒng)的一類實例，提供了一種便捷的知識分享途徑。知識對人類發(fā)展至關重要，并且呈爆炸式增長，如果將這種資源與他人共同分享，就能更加高效地進行知識傳播，節(jié)約社會成本，提高知識的利用率，避免在知識采集、存儲、管理上的重復浪費。

一、云筆記共享平臺

云筆記共享平臺是對業(yè)界云筆記管理系統(tǒng)和知識共享平臺的一種整合，提供用戶注冊、登錄、筆記分類記錄與保存、筆記上傳與下載等功能，同時兼具知識共享與問答能力。與已有的知識共享平臺相比，云筆記共享平臺更強調(diào)筆記的整理、知識的系統(tǒng)性，在隨機的、觸發(fā)式的知識問答平臺上增加了筆記整理和歸檔功能，使知識整理的過程從本地轉(zhuǎn)移到云;與已有的云筆記管理系統(tǒng)相比，云筆記共享平臺增加了知識共享的過程，提供了筆記內(nèi)容相關的搜索、查詢和問答能力。

二、存儲技術分析與選擇

云筆記共享平臺的關鍵是存儲和讀取用戶的日常筆記，如何快速、安全、可靠地存取這些筆記文件將是系統(tǒng)成功與否的關鍵點。

當前單機版筆記共享平臺遇到的最迫切問題是隨著用戶數(shù)量的增加，用戶筆記文件數(shù)目成指數(shù)級增長，原有系統(tǒng)無法支撐，解決文件存儲問題是當前的首要問題，以下對云筆記共享平臺的文件存儲技術進行分析與選擇。

（一）云筆記共享平臺的存儲需求

云筆記共享平臺是以筆記的整理與共享為基礎的知識共享平臺，強調(diào)知識的系統(tǒng)性，在隨機的、觸發(fā)式的知識問答平臺基礎上增加筆記整理和歸檔功能，所以筆記是整個系統(tǒng)的基礎和線索。在互聯(lián)網(wǎng)場景下，一個平臺想要良性地可持續(xù)發(fā)展下去，就需要擁有大量的用戶，而面對數(shù)以十萬、百萬，甚至上億用戶時，必然產(chǎn)生海量的筆記文件，面對這億級數(shù)量的文件，如何高效地上傳、下載并搜索筆記文件是該系統(tǒng)的關鍵需求。同樣，如何保證如此龐大的筆記文件的安全性、可靠性也顯得至關重要。因此，選擇一款滿足云筆記共享平臺要求的海量文件存儲系統(tǒng)成為云化遷移的首要任務。

（二）云筆記共享平臺的存儲使用場景

云筆記共享平臺需要存儲的筆記主要有如下特點：

1.海量：作為互聯(lián)網(wǎng)場景下推廣的平臺，要做到良性發(fā)展，需要吸引大量的用戶，而由于筆記的記錄是每天、持續(xù)的過程。加之系統(tǒng)的用戶眾多，必然存在海量的文件。我們以系統(tǒng)未來發(fā)展規(guī)模為5000萬用戶預估（微信8.89億活躍用戶、支付寶5億用戶、有道筆記5000萬用戶），按照每個用戶每天新產(chǎn)生3個筆記文件，則每天新產(chǎn)生的筆記文件總數(shù)為1.5億，按照筆記文件平均保存1年計算，存儲文件數(shù)量級為500億……

2.小文件：以學生課堂筆記為例，一次課堂筆記的字數(shù)約為500到5000字，存儲大小約為幾KB到幾十KB，所以每個文件的訪問對于帶寬占用相對較小。

3.文本文件多，圖片少：筆記一般以文字記錄為主，圖片記錄為輔。一般來說，圖像文件中包含可供讀取以確定圖像特征的元數(shù)據(jù)。當圖片數(shù)量非常龐大時，這些元數(shù)據(jù)的大小是不能忽視的，而本系統(tǒng)中這一塊相對不是主要因素。

4.差異性大、重復性少：以存儲圖片、視頻為主的云盤系統(tǒng)或者社交、視頻類軟件不同用戶存儲的內(nèi)容中會存在大量重復的內(nèi)容，比如相同的影片、相同的圖片等;而對于日常筆記來說，每個筆記都是一次創(chuàng)新活動，重復的幾率相對較小，除重的性價比不高。

5.多次讀寫：圖片、視頻類文件的存儲一般是一次寫多次讀，而作為筆記，可能需要多次修改。一旦筆記基本正確后，就基本不再修改。Read often 和rarely deleted是一致的。

6.實時性要求不高：和視頻點播類網(wǎng)站不同，不需要關注視頻播放的流暢等實時性問題。

（三）可行性分析與選擇

首先，針對云筆記共享平臺使用的場景假設，本平臺需要存儲的筆記文件主要是1M以內(nèi)的小文件（特別是文本文件），從之前分析的現(xiàn)有技術中表明，Ceph、Lustre、GFS主要支持大文件或者對象的存儲，所以不滿足云筆記共享平臺的訴求。

其次，由于用戶日常對筆記文件的訪問頻率比較高，為了確保用戶使用的體驗，訪問的性能也是至關重要的，所以性能相對不夠理想的MooseFS也被排除在外。

再次，考慮到我們屬于業(yè)余愛好者，技術儲備較低，背后也沒有專業(yè)的技術團隊支撐，所以希望選擇一個社區(qū)更為活躍、資料更豐富的開源技術，所以MogitlFS也不適合該系統(tǒng)使用。

最后，因為技術能力的原因，我們需要一款更為簡單、更容易掌握的開源技術，所以將整體代碼量為50K，安裝簡單的FastDFS成為我們的首選，同時，F(xiàn)astDFS的高可靠性、友好性、應用廣泛性也同樣滿足我們的需求。

綜合考慮，最終FastDFS被作為云筆記共享平臺的筆記文件存儲解決方案。同時，由于本系統(tǒng)主要以文本存儲為主，考慮到MangoDB在文本存儲上具有便捷及高性能的優(yōu)勢，可以將其作為候選方案進行對比實施。

三、FastDFS在云筆記共享平臺中的應用

（一）云筆記共享平臺架構(gòu)圖

引入FastDFS后調(diào)整云共享平臺（Cloud Notes）的實現(xiàn)邏輯，原來筆記內(nèi)容保存在本地數(shù)據(jù)庫中，現(xiàn)在改為調(diào)用FastDFS接口實現(xiàn)文件的上傳下載，為此，新增一個FileOptProxy模塊，調(diào)整后的架構(gòu)圖如圖1所示。

（二）Cloud Notes調(diào)用FastDFS接口實現(xiàn)相關功能

修改原有涉及文件讀寫的模塊，改為調(diào)用FastDFS接口，主要涉及接口如下表所示。

（三）云筆記共享平臺功能介紹

通過引入FastDFS解決了云筆記共享平臺的文件存儲問題，基于此，我們構(gòu)建了首個云筆記共享平臺（Cloud Notes），其主要包括如下功能。

1.用戶運營管理：作為云筆記管理服務提供的平臺，需要對登錄的用戶進行必要的管理，以確保系統(tǒng)運行的安全、透明。

2.學科筆記整理：云筆記共享平臺以筆記管理為切入點，全面集成原來單機版在筆記管理方面的能力，如筆記分類、筆記編輯、筆記查詢等。

3.訂閱發(fā)布與搜索：系統(tǒng)的基礎是筆記的整理與保存，而系統(tǒng)的關鍵和價值是知識的分享，而知識或信息分享與透明傳遞本身也是互聯(lián)網(wǎng)存在的最大價值。

4.在線問答與求助：在提供關注與訂閱等基礎互動能力基礎上，未來可以進一步演進系統(tǒng)，提供知識的在線求助與解答模式。

四、結(jié)語

在信息技術迅猛發(fā)展的今天，移動互聯(lián)網(wǎng)快速發(fā)展，云計算技術的出現(xiàn)以及廣泛應用，極大地改變了人們的生活，同時也為整合現(xiàn)有教學資源帶來新的視角和方法。因此，將海量存儲技術的理念應用在云筆記共享平臺的建設和管理上，是研究的主要內(nèi)容和方向。

知識共享與互動平臺的出現(xiàn)推動了現(xiàn)代教育體系的改革與發(fā)展，這是時代發(fā)展的趨勢，也是社會發(fā)展的必然。將知識共享應用于現(xiàn)代教育體系中，將加快教育資源庫的建設，迅速提升現(xiàn)代教育水平，從而推進我國教育事業(yè)的蓬勃發(fā)展。

參考文獻：

[1]高偉杰.云存儲系統(tǒng)的關鍵技術的開發(fā)研究[D].南京：東南大學，2016.

[2]李林鋒.分布式服務框架原理與實踐[M].北京：電子工業(yè)出版社，2016.

編輯 薛直艷