基于IPFS的分布式數(shù)據(jù)共享系統(tǒng)的研究

殷龍 王宏偉

摘 要：隨著信息技術(shù)的不斷發(fā)展，依賴數(shù)據(jù)線、U盤等傳統(tǒng)的數(shù)據(jù)傳輸方式愈加顯得繁瑣且浪費(fèi)時(shí)間，簡單快捷的個(gè)人文件共享方式成為市場(chǎng)急需。雖然目前國內(nèi)很多社交工具，譬如人人網(wǎng)、QQ、微博等都在不同程度上實(shí)現(xiàn)了文件共享的功能，但都有其各自的不足，亦或耗費(fèi)流量，亦或操作繁瑣，真正實(shí)現(xiàn)個(gè)人多種終端設(shè)備之間的文件共享功能的技術(shù)目前還不夠完善與成熟。而如何結(jié)合市場(chǎng)需求及現(xiàn)有技術(shù)，通過對(duì)P2P技術(shù)發(fā)展現(xiàn)狀以及主流文件共享系統(tǒng)實(shí)現(xiàn)模式的分析，來解決局域網(wǎng)內(nèi)個(gè)人多設(shè)備之間數(shù)據(jù)共享的問題，是設(shè)計(jì)并實(shí)現(xiàn)跨平臺(tái)終端設(shè)備數(shù)據(jù)共享系統(tǒng)最主要的目的。文章通過對(duì)當(dāng)前國際上新生的IPFS技術(shù)的研究，以IPFS技術(shù)為核心，設(shè)計(jì)出了一種性能優(yōu)良、安全高效的數(shù)據(jù)共享系統(tǒng)。

關(guān)鍵詞：跨平臺(tái)；數(shù)據(jù)共享；P2P；IPFS

中圖分類號(hào)：TP249 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2016）06-00-03

0 引 言

在信息社會(huì)中，智能手機(jī)、平板電腦、筆記本電腦等多種終端設(shè)備已成為人們生活的一部分，為了使自己的電子產(chǎn)品能夠及時(shí)同步，用戶常常面臨一個(gè)頭疼的問題，即如何便捷地將文件、照片、文檔、音樂、電子書等數(shù)據(jù)在手機(jī)、平板電腦、個(gè)人電腦等設(shè)備之間互相共享。在科技不斷進(jìn)步發(fā)展的過程中，涌現(xiàn)出各式各樣的文件共享系統(tǒng)。

在構(gòu)建全局分布式文件系統(tǒng)方面已經(jīng)有許多嘗試，且有些系統(tǒng)可以看到顯著的效果。在學(xué)術(shù)嘗試中，AFS[1]已取得了成功且至今仍在使用，而其他一些系統(tǒng)[2]卻還未取得同樣的成功。學(xué)術(shù)界之外，最成功的系統(tǒng)一直是對(duì)等文件共享的應(yīng)用，其主要面向大型媒體（音頻和視頻）。最值得注意的是，Napster，KaZaA和BitTorrent[3]部署大型文件分發(fā)系統(tǒng)支持超過一億用戶同時(shí)使用。即使在今天，BitTorrent保持了大規(guī)模部署中數(shù)以千萬計(jì)的節(jié)點(diǎn)生產(chǎn)日?qǐng)?bào)[4]。相比于他們的學(xué)術(shù)文件系統(tǒng)而言，這些應(yīng)用程序看到了更大數(shù)量的用戶和文件分布。然而，應(yīng)用程序并沒有設(shè)計(jì)成基礎(chǔ)性使用工具。雖然可成功的利用現(xiàn)有技術(shù)再開發(fā)，但目前還未出現(xiàn)一個(gè)可以提供全球性、低延遲性和分散式分布的通用文件系統(tǒng)。

到目前為止，HTTP是有史以來最成功的“文件分布式系統(tǒng)”部署。再加上瀏覽器，HTTP有巨大的技術(shù)和社會(huì)影響力。它已成為在互聯(lián)網(wǎng)上傳輸文件的實(shí)際方式。然而， 在過去的十五年里，它未能利用許多杰出的文件分布技術(shù)發(fā)明。各行業(yè)之所以使用HTTP這么久是因?yàn)橐苿?dòng)小文件是相對(duì)便宜的，即使對(duì)于小型組織也有大量的流量可以使用。但是，我們正面臨一個(gè)新的挑戰(zhàn)，數(shù)據(jù)分布的新時(shí)代具有如下特點(diǎn)：

（1） 托管和分發(fā)PB級(jí)數(shù)據(jù)集；

（2） 在大數(shù)據(jù)跨組織的計(jì)算；

（3） 大容量高清點(diǎn)播和實(shí)時(shí)媒體流；

（4） 版本控制和連接的大規(guī)模數(shù)據(jù)集；

（5） 防止重要文件意外失蹤等。

其中許多可歸結(jié)為“大量的數(shù)據(jù)，訪問無處不在。” 通過追尋關(guān)鍵特性和帶寬問題，我們已經(jīng)放棄使用HTTP協(xié)議進(jìn)行不同的數(shù)據(jù)分發(fā)。下一步是使用它們?cè)赪eb本身的一部分。

IPFS[5]是點(diǎn)對(duì)點(diǎn)協(xié)議（InterPlanetary File System，IPFS）的簡稱，它是一個(gè)面向全球、點(diǎn)對(duì)點(diǎn)的分布式版本文件系統(tǒng)，試圖將所有具有相同文件系統(tǒng)的計(jì)算設(shè)備連接在一起。本文將介紹對(duì)IPFS的部分研究及其在新一類數(shù)據(jù)共享系統(tǒng)中的應(yīng)用。

1 IPFS技術(shù)背景

1.1 HTTP技術(shù)的缺陷

超文本傳輸協(xié)議（HTTP）[6]已經(jīng)在全球信息協(xié)議中一統(tǒng)山河，對(duì)信息的發(fā)布與傳播設(shè)置了很多規(guī)范。沒有HTTP的生活幾乎無法想象，HTTP將發(fā)布信息的成本幾乎降為零，這一創(chuàng)新粉碎了對(duì)信息至上而下的傳播渠道管控，借助信息流動(dòng)與更簡單的信息發(fā)布方式，使人人都能發(fā)布與訪問包括經(jīng)濟(jì)、政治、文化領(lǐng)域（音樂、創(chuàng)意、視頻、新聞、游戲等）的信息，HTTP讓我們的文化獲得了整體提高。

可以這樣說，HTTP是史上最偉大且最重要的發(fā)明之一。

盡管HTTP成就斐然，但是在傳播與維護(hù)人類知識(shí)方面，它作為基礎(chǔ)并非差強(qiáng)人意，而是幾乎全無招架之力。HTTP傳播信息的方式從根本上是有缺陷的，無論進(jìn)行再多的性能調(diào)整，打破CASSL或采取其他措施都難以修復(fù)這一問題。HTTP/2（超文本傳輸協(xié)議第二版）是可喜的進(jìn)步，不過它只能算針對(duì)一個(gè)有年頭的技術(shù)所進(jìn)行的保守更新。想要讓網(wǎng)絡(luò)獲得更好的未來，我們不止需要一個(gè)HTTP的更新版，而是一個(gè)新的基礎(chǔ)。就網(wǎng)絡(luò)空間的管理模式而言，我們需要一個(gè)新的協(xié)議。

總體而言，HTTP具有以下幾方面的缺點(diǎn)[7]：

（1）HTTP是脆弱的，一臺(tái)Web服務(wù)器一旦關(guān)機(jī)或無響應(yīng)，連接就會(huì)中斷，站點(diǎn)間的聯(lián)系會(huì)被打破，訪問的內(nèi)容也隨之消失不見。

（2）HTTP鼓勵(lì)過度集中化，這樣會(huì)導(dǎo)致大量的數(shù)據(jù)對(duì)大型、更集中管理的服務(wù)器產(chǎn)生進(jìn)一步的依賴。由于冗余備份較多，他們?cè)诙虝r(shí)間內(nèi)可用性（大多）更高。但仍沒有解決長期的可用性問題，還觸發(fā)了一系列全新的問題。

（3）HTTP效率低下，HTTP降低了發(fā)布信息的價(jià)格，但仍需要花錢，看起來低廉的成本加起來卻數(shù)目驚人。將大量數(shù)據(jù)從中央數(shù)據(jù)中心傳播出去，如果不是以規(guī)模經(jīng)濟(jì)的方式完成，花費(fèi)可能相當(dāng)高昂。

（4）HTTP對(duì)互聯(lián)網(wǎng)主干過度依賴，內(nèi)容的過度集中化將會(huì)使我們高度依賴互聯(lián)網(wǎng)主干的數(shù)據(jù)中心功能。這樣除了很容易被攔截審查之外，也存在著可靠性問題。即使有冗余備份，主干網(wǎng)有時(shí)也存在被毀壞或者路由表失控的問題，結(jié)果可能十分嚴(yán)重。

為解決以上問題，IPFS應(yīng)運(yùn)而生。

1.2 IPFS的解決方案

IPFS從根本上改變了查找方式，這是它最重要的特征。我們使用HTTP查找的是位置，而使用IPFS查找的是內(nèi)容[8]。

在HTTP服務(wù)器中，查找文件須遵照HTTP協(xié)議，瀏覽器首先會(huì)查找服務(wù)器的位置（IP地址），隨后向服務(wù)器索要文件路徑。這種體系下文件的位置取決于服務(wù)器管理者，而用戶只能寄希望于文件沒有被移動(dòng)，并且服務(wù)器沒有關(guān)閉。

IPFS的做法則是不再關(guān)心中心服務(wù)器的位置，也不考慮文件的名字和路徑，只關(guān)注文件中可能出現(xiàn)的內(nèi)容。我們將一個(gè)文件放在IPFS的節(jié)點(diǎn)，它會(huì)得到一個(gè)新名字QmXGTaGWTT1uUtfSb2sBAvArMEVLK4rQEcQg5bv7wwdzwU，這是一個(gè)由文件內(nèi)容計(jì)算出的加密哈希值。哈希值直接反映文件的內(nèi)容，哪怕只修改1比特，哈希值也會(huì)完全不同。

當(dāng)IPFS被請(qǐng)求一個(gè)文件哈希時(shí)，它會(huì)使用一個(gè)分布式哈希表找到文件所在的節(jié)點(diǎn)，取回文件并驗(yàn)證文件數(shù)據(jù)。雖然早期的DHT設(shè)計(jì)曾出現(xiàn)過Sybil攻擊的問題，不過現(xiàn)在已經(jīng)有了新的解決辦法。

IPFS是通用的基礎(chǔ)架構(gòu)，基本沒有存儲(chǔ)上的限制。大文件會(huì)被切分成小的分塊，下載時(shí)可以從多個(gè)服務(wù)器同時(shí)獲取。IPFS的網(wǎng)絡(luò)是不固定的、細(xì)粒度的、分布式的網(wǎng)絡(luò)，可以很好地適應(yīng)內(nèi)容分發(fā)網(wǎng)絡(luò)（CDM）的要求。這樣的設(shè)計(jì)可以很好地共享各類數(shù)據(jù)，包括圖像、視頻流、分布式數(shù)據(jù)庫、整個(gè)操作系統(tǒng)、模塊鏈，還有最重要的——靜態(tài)網(wǎng)站。

IPFS文件可以抽象成特殊的IPFS目錄，從而標(biāo)注一個(gè)可讀的文件名（透明的映射到IPFS哈希），在訪問時(shí)會(huì)像HTTP一樣獲取一個(gè)目錄索引。在IPFS上建立網(wǎng)站的流程和過去一樣，而且把網(wǎng)站加入到IPFS節(jié)點(diǎn)只需要一條指令：ipfs add -r yoursitedirectory。網(wǎng)頁間的連接不再需要人去維護(hù)，IPFS自帶的查找可以解決問題。

IPFS不會(huì)要求每一個(gè)節(jié)點(diǎn)都存儲(chǔ)所有的內(nèi)容，節(jié)點(diǎn)的所有者可以自由選擇想要維持的數(shù)據(jù)。這就像書簽一樣，在備份了自己的網(wǎng)站之外，自愿為其他關(guān)注的內(nèi)容提供服務(wù)，不同的是這個(gè)書簽不會(huì)像之前那樣最終失效。

IPFS節(jié)點(diǎn)間的拷貝、存儲(chǔ)和網(wǎng)站支援都很容易，如果IPFS得以普及，且節(jié)點(diǎn)數(shù)達(dá)到一定規(guī)模，即使每個(gè)節(jié)點(diǎn)只存放一點(diǎn)點(diǎn)內(nèi)容，所累計(jì)的空間、帶寬和可靠性也遠(yuǎn)超HTTP所能提供的。隨即，分布式Web會(huì)變成地球上最快、最可靠、最大的數(shù)據(jù)倉庫。

2 IPFS設(shè)計(jì)

IPFS是一個(gè)綜合了先前的P2P系統(tǒng)[9]，包括DHTs[10]、比特流、Git和SFS成功思想的分布式文件系統(tǒng)[11]。IPFS的貢獻(xiàn)是簡化、進(jìn)化，以及連接成熟的技術(shù)到一個(gè)單一的綜合系統(tǒng)，其功能大于各部分的總和。IPFS提出了一個(gè)用以編寫和部署應(yīng)用程序的新平臺(tái)，并進(jìn)行版本控制以及分發(fā)大量數(shù)據(jù)的新系統(tǒng)。IPFS甚至可能進(jìn)化網(wǎng)絡(luò)本身。

IPFS是對(duì)等網(wǎng)絡(luò)，沒有節(jié)點(diǎn)擁有特權(quán)。IPFS節(jié)點(diǎn)倉庫在本地存儲(chǔ)IPFS對(duì)象。節(jié)點(diǎn)之間相互連接并傳輸對(duì)象。這些對(duì)象代表文件和其他數(shù)據(jù)結(jié)構(gòu)。所述IPFS協(xié)議分為一堆子協(xié)議并各自負(fù)責(zé)不同的功能：

（1）特性：管理節(jié)點(diǎn)的身份生成和驗(yàn)證。

（2）網(wǎng)絡(luò)：對(duì)連接到的其他節(jié)點(diǎn)進(jìn)行管理，使用各種底層網(wǎng)絡(luò)協(xié)議，并且是可配置的。

（3）路由：維護(hù)信息來定位特定的節(jié)點(diǎn)和對(duì)象。響應(yīng)本地和遠(yuǎn)程查詢。默認(rèn)為一個(gè)DHT，但是可交換的。

（4）交換：可以使用一種新的分組交換協(xié)議（比特交換）來管理有效的塊分布。建模為一個(gè)需求，弱化數(shù)據(jù)復(fù)制的刺激?？山粨Q的貿(mào)易策略。

（5）對(duì)象：內(nèi)容尋址的Merkle DAG不可變對(duì)象鏈接。用于表示任意的數(shù)據(jù)結(jié)構(gòu)，例如文件層次結(jié)構(gòu)和通信系統(tǒng)。

（6）文件：靈感來自Git版本控制文件系統(tǒng)的層次結(jié)構(gòu)。

（7）命名：一個(gè)自認(rèn)證的可變名稱系統(tǒng)。

這些子系統(tǒng)并不是獨(dú)立的，他們整合并利用了混合屬性，在這些功能的協(xié)作下，構(gòu)建了自上而下的協(xié)議棧。

3 系統(tǒng)設(shè)計(jì)與分析

結(jié)合IPFS的設(shè)計(jì)理念，我們可以在其基礎(chǔ)上實(shí)現(xiàn)分布式數(shù)據(jù)共享系統(tǒng)的進(jìn)一步開發(fā)。分布式數(shù)據(jù)共享系統(tǒng)對(duì)我們而言并不陌生，其使用的技術(shù)多種多樣，這一類分布式文件系統(tǒng)如HDFS[12]、FastDFS[13]等，并沒有在我們的實(shí)際生活中得到廣泛推廣。在這里不能夠說本系統(tǒng)能夠取代他們，只是對(duì)分布式數(shù)據(jù)共享系統(tǒng)的一點(diǎn)設(shè)想與看法。

3.1 系統(tǒng)設(shè)計(jì)

首先，本系統(tǒng)將以IPFS技術(shù)作為其設(shè)計(jì)核心，因此，本系統(tǒng)具備IPFS技術(shù)的所有優(yōu)點(diǎn)，并可以擁有IPFS的所有功能。允許安裝此系統(tǒng)的所有設(shè)備都將作為網(wǎng)絡(luò)節(jié)點(diǎn)，用戶可選擇將自己的數(shù)據(jù)通過哈希加密后保存于任何節(jié)點(diǎn)中（只要能夠登錄此節(jié)點(diǎn)），并且可以隨時(shí)取回本地，即便本地?cái)?shù)據(jù)丟失，用戶仍可憑借其哈希值從任何保存過此數(shù)據(jù)的節(jié)點(diǎn)中將其找到。

其次，IPFS哈希只能用來表示不可變數(shù)據(jù)，因?yàn)橐坏?shù)據(jù)改變，哈希值也會(huì)改變。但從某種意義上來說，這是保持?jǐn)?shù)據(jù)持續(xù)性的較好的設(shè)計(jì)。卻也需要一種方法來標(biāo)記最新更新的哈希，這個(gè)方法被稱作IPNS。由于本系統(tǒng)采用了哈希加密，相比傳統(tǒng)的加密方式其安全性更高。

本系統(tǒng)可分為PC端和Android端，二者沒有客戶端與服務(wù)器端之分。當(dāng)設(shè)備打開此程序時(shí)，用戶指定的文件或文件夾即可被任意經(jīng)過授權(quán)的節(jié)點(diǎn)發(fā)現(xiàn)并進(jìn)行訪問。

3.2 結(jié)果分析

由于本系統(tǒng)采用IPFS技術(shù)作為其設(shè)計(jì)核心，所以與其他數(shù)據(jù)共享系統(tǒng)有很大的不同。首先，由于IPFS技術(shù)擬用來替代HTTP技術(shù)，故其在網(wǎng)絡(luò)中的安全性以及傳輸協(xié)議都與HTTP技術(shù)有很大的不同，本系統(tǒng)所使用的協(xié)議是比特交換協(xié)議。其次，本系統(tǒng)采用內(nèi)容尋址方式，所有內(nèi)容都是由其多哈希校驗(yàn)和唯一標(biāo)識(shí)，包括鏈接。

由于本系統(tǒng)采用了IPFS技術(shù)，使得使用者加入到了全球性IPFS節(jié)點(diǎn)的行列中來，每一臺(tái)安裝了此系統(tǒng)的電腦都可以作為網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)，它不會(huì)要求每一個(gè)節(jié)點(diǎn)都存儲(chǔ)所有內(nèi)容，節(jié)點(diǎn)的所有者可以自由選擇想要維持的數(shù)據(jù)。比如兩個(gè)人在各自的節(jié)點(diǎn)中放入了相同的數(shù)據(jù)，其中一人在自己的數(shù)據(jù)丟失后仍可借助另一人的節(jié)點(diǎn)取到丟失的數(shù)據(jù)。

4 結(jié) 語

IPFS背后的想法是對(duì)幾十年來在學(xué)術(shù)界和開源產(chǎn)品中成功的分布式系統(tǒng)的研究。IPFS綜合了許多最新最好的想法以及最成功的系統(tǒng)。除了比特交換，這是一種新的協(xié)議，IPFS的主要貢獻(xiàn)是系統(tǒng)的耦合和設(shè)計(jì)的合成。

確實(shí)，本系統(tǒng)是在其基礎(chǔ)上建立的一種新的應(yīng)用，盡管對(duì)于IPFS技術(shù)的運(yùn)用還不是十分廣泛，但總的來說這也是一次對(duì)新生技術(shù)的嘗試。并且，作者認(rèn)為本系統(tǒng)還不是終結(jié)，經(jīng)過進(jìn)一步的設(shè)計(jì)與研究，一定會(huì)得出一種新的更加優(yōu)化的系統(tǒng)。盡管對(duì)IPFS技術(shù)的了解還不全面，但該技術(shù)對(duì)于數(shù)據(jù)共享系統(tǒng)的新嘗試具有極大的指導(dǎo)意義。

參考文獻(xiàn)

[1] J. H. Howard， M. L. Kazar， S. G. Menees， et al. Scale and performance in a distributed file system[J]. ACM Transactions on Computer Systems （TOCS），1988，6（1）：51-81.

[2] J. Kubiatowicz，D. Bindel，Y. Chen， et al.Oceanstore： An architecture for global-scale persistent storage[J].ACM Sigplan Notices， 2000，35（11）：190-201.

[3] I.BitTorrent. Bittorrent and ?A?ttorrent software surpass 150 million user milestone， Jan. 2012[Z].

[4] L. Wang and J. Kangasharju.Measuring large-scale distributed systems： case of bittorrent mainline dht[C]. In Peer-to-Peer Computing （P2P）， 2013 IEEE Thirteenth International Conference on， IEEE， 2013：1-10.

[5] IPFS - Content Addressed，Versioned， P2P File System[EB/OL]. http：//blog.acolyer.org/2015/10/05/ipfs-content-addressed-versioned-p2p-file-system.

[6]朱永紅，張燕平，許榮斌，等.探析超文本傳輸協(xié)議[J].計(jì)算機(jī)技術(shù)與發(fā)展， 2006，16（10）：65-67.

[7] https：//ipfs.io/ipfs/QmNhFJjGcMPqpuYfxL62VVB9528NXqDNMFXiqN5bgFYiZ1/its-time-for-thepermanent-web.html.

[8] HTTP已過時(shí)，未來屬于分布式永久有效的Web[EB/OL].http：//m.wanhuajing.com/d20039

[9] 莫樂群，姚國祥.基于Peer-to-Peer的分布式文件共享系統(tǒng)的研究與設(shè)計(jì)[J].小型微型計(jì)算機(jī)系統(tǒng)，2006，27（4）：618-622.

[10] Caesar M， Castro M， Nightingale E B， et al.Virtual ring routing： network routing inspired by DHTs[J].Acm Sigcomm Computer Communication Review，2006，36（4）：351-362.

[11]朱亞林.基于Python的分布式文件共享系統(tǒng)的實(shí)現(xiàn)[J].智能計(jì)算機(jī)與應(yīng)用， 2015，5（4）：26-29.

[12]張曉杰.基于HDFS的可信分布式文件系統(tǒng)研究與設(shè)計(jì)[D].廣州：華南理工大學(xué)， 2014.

[13]韓增曦.分布式文件系統(tǒng)FastDFS的研究與應(yīng)用[D].大連：大連理工大學(xué)， 2014.