云存儲技術在音樂應用領域的研究與實踐

梁 冰，楊翊平，金 鐸，徐 雄

（中國電信股份有限公司廣州研究院 廣州510630）

1 前言

伴隨國內3G市場的啟動，移動互聯網應用將迎來“爆炸式”的增長，在娛樂、商務、信息服務等各個方面進入人們的基本生活。中國電信在移動互聯網音樂應用方面的信息內容也日趨豐富，需要存儲大量的資源文件，如音樂、歌詞、視頻、書籍、圖片等，對文件系統(tǒng)提出海量數據存儲、高并發(fā)訪問、基于內容的緩存、負載均衡等要求。

2 音樂在內容存儲方面的關鍵問題

2.1 異構、海量的內容存儲

大部分移動互聯網內容型應用都包含了UGC功能，涉及用戶上傳、評論等。不同于應用中結構相對穩(wěn)定的基本內容，這類信息的特點是結構多樣且隨著業(yè)務發(fā)展不斷變化、用戶規(guī)模擴大而急速增加。Facebook每天的分享內容條數超過25億；美國大選期間Twitter共產生了3 100萬條和大選相關的Tweets；新浪微博最初只是分享文字，后續(xù)逐步發(fā)展為可以分享圖片、音樂、視頻等富媒體信息。如何存儲海量、多變內容，是每個移動互聯網應用需要解決的問題。

2.2 高效緩存

在移動互聯網業(yè)務中，資源的訪問效率對用戶體驗有很大影響，例如用戶下載一首歌曲，通常希望能在1 min內下載完成。要提高訪問效率，需要增加資源文件在緩存系統(tǒng)的命中率。隨著業(yè)務的發(fā)展，富媒體信息逐漸增多，圖片、音樂、視頻等資源文件越來越大，增加緩存系統(tǒng)的內存對提高緩存命中率的作用不明顯。

2.3 文件指紋

在音樂應用中，需要從多種渠道采集內容，包括圖片、音樂、視頻等。這些從不同渠道采集的同一種資源文件中，有很多是內容相同的。在存儲方面，對這些內容相同的資源文件只保留一份，能大大節(jié)省存儲空間。

2.4 內容分發(fā)

移動互聯網時代，各種網絡接入方式導致用戶訪問內容的速度不一，為保證用戶在不同的網絡接入情況下都有較好的用戶體驗，需要根據不同的網絡接入情況進行內容分發(fā)及分流。特別地，對于體積較大的多媒體文件，在借助傳統(tǒng)的CDN達到就近接入提升訪問速度的基礎上，還要考慮根據用戶的接入速度，提供不同質量的內容。例如在音樂試聽應用中，為帶寬較小的用戶提供較低碼率音源，為帶寬較大的用戶提供高碼率音源。

2.5 資源防盜鏈

音源、視頻等是內容提供商的重要資產，特別是高清視頻、高品質音源等優(yōu)質資源。因此，在提供資源訪問服務時需要考慮資源防盜鏈的問題。一方面，防止資源被惡意抓??；另一方面，可避免非正常訪問造成的帶寬、網絡連接等資源浪費。

3 面向音樂應用的云存儲系統(tǒng)

云存儲是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。本文基于業(yè)界開源的輕量級專用分布式文件系統(tǒng)框架，研發(fā)了一套適合音樂應用需求的云存儲系統(tǒng)。

本文研發(fā)的云存儲系統(tǒng)具有如下特點。

·在線可擴展性：可在線增減設備，適應移動互聯網內容數據飛速增長的需求。

·基于內容的路由：根據用戶請求的內容和網絡接入情況，分配相應的存儲服務器提供服務，提供整體系統(tǒng)資源利用率。

·高效緩存系統(tǒng)：根據用戶在線服務的使用特征，系統(tǒng)支持對特定的資源文件只緩存部分內容，提高緩存文件的數量，從而提高緩存命中率。

·文件指紋：支持相同內容的文件只保存一份，節(jié)約磁盤空間。

·防盜鏈：系統(tǒng)為每個用戶分配系統(tǒng)編號和密鑰，下載時需要根據file_id、系統(tǒng)編號、當前時間進行加密得到數字簽名。系統(tǒng)對數字簽名的合法性和操作請求時間是否超過閾值進行驗證，驗證通過才允許進行下載。

3.1 分布式文件系統(tǒng)相關技術

從業(yè)務需求上，常用的分布式文件系統(tǒng)產品可以分為如下兩類。

·用于存儲大文件的分布式文件系統(tǒng)，以支持大數據集合為目標，對數據塊的連續(xù)讀訪問進行優(yōu)化，目的是解決批處理的數據分析。這種文件系統(tǒng)以Hadoop的HDFS為代表。

·用于存儲海量小文件的分布式文件系統(tǒng)，目的是為了解決大容量存儲和負載均衡的問題，特別適合以文件為載體的在線服務。對音樂移動互聯網應用，需要存儲大量資源文件，并需要支持高并發(fā)訪問和負載均衡，適合采用這類分布式文件系統(tǒng)。

從系統(tǒng)實現方式上，分布式文件系統(tǒng)分兩類：通用分布式文件系統(tǒng)和專用分布式文件系統(tǒng)。

·通用分布式文件系統(tǒng)：和傳統(tǒng)的本地文件系統(tǒng)（如Ext3、NTFS等）相對應，應用端可以實現mount(掛載)。典型代表：Lustre、MooseFS。

·專用分布式文件系統(tǒng)：基于google FS的思想，文件上傳后不能修改。不能實現mount，需要使用專有API對文件進行訪問，也可稱作分布式文件存儲服務。典型代表：MogileFS、FastDFS、TFS。

通用分布式文件系統(tǒng)采用標準文件的系統(tǒng)操作方式，對開發(fā)者的門檻較低。但是通用文件系統(tǒng)需要支持若干標準的文件操作，如：目錄結構、文件讀寫權限、文件鎖等，系統(tǒng)復雜性較高，如果直接采用內核級mount方式，系統(tǒng)復雜度更高。通用分布式文件系統(tǒng)要支持POSIX標準，尤其要采用PUSE來實現mount，所以系統(tǒng)的整體性能較低。而專用分布式文件系統(tǒng)不需要支持若干標準的文件操作，系統(tǒng)簡潔，而且無需支持POSIX標準，可以省去支持POSIX引入的環(huán)節(jié)，系統(tǒng)整體性能比較高。

根據音樂在內容存儲方面特定的業(yè)務需求，本文采用業(yè)界開源的輕量級專用分布式文件系統(tǒng)來構建云存儲系統(tǒng)。

3.2 系統(tǒng)設計

本文研發(fā)的云存儲系統(tǒng)的基本架構如圖1所示。

·底層是一個完全分布式的文件系統(tǒng)。

·在文件系統(tǒng)基礎上提供API和HTTP接口，向移動互聯網應用系統(tǒng)提供文件上傳、下載、緩存等服務。

·管理監(jiān)控系統(tǒng)對分布式文件系統(tǒng)的整體運行狀態(tài)進行管理和監(jiān)控。

圖1 云存儲系統(tǒng)的基本架構

3.2.1 分布式文件系統(tǒng)

底層的分布式文件系統(tǒng)分為調度服務器（tracker server）和存儲服務器（storage server）兩個角色，所有服務都不存在單點，可在線線性擴展。

·tracker server：負責調度，在內存中記錄集群中group和storage server的狀態(tài)信息，在訪問上起負載均衡的作用。每個tracker server的功能和所保存的數據都完全相同，上層應用根據一定的策略（例如隨機或輪詢）選擇一個tracker server進行服務。

·storage server：采用分組方式，同組內storage server上的文件完全相同 （RAID 1）；不同組的storage server之間不相互通信；同組storage server之間相互同步數據；storage server主動向tracker server報告信息。

tracker server和storage server之間的接口調用關系如圖2所示。

·客戶端從tracker server獲得一個可提供服務的storage server。

·客戶端和storage server通信。

·同組storage server之間同步數據。

·storage server向tracker server報告信息。

tracker server上傳文件的路由策略包括：

·選擇剩余空間最大的group；

·基于內容格式選擇：根據文件格式（mp3、dat等）選擇相應的storage server；

·基于接入方式選擇：根據用戶接入方式和網絡帶寬選擇相應的storage server，對用戶上傳較大內容的文件選擇這種路由策略；

·輪詢/隨機。

圖2 tracker server和storage server之間的接口調用關系

下載文件時，在同組storage server中進行路由選擇的策略包括：

·選擇最空閑的storage server；

·根據用戶接入方式和網絡帶寬選擇；

·輪詢/隨機。

3.2.2 API和HTTP接口

在分布式文件系統(tǒng)的Web Server和tracker server上封裝了API和HTTP接口對外提供服務，具體功能如下。

·文件上傳：用戶能將本地文件上傳到文件系統(tǒng)，并獲得文件系統(tǒng)的file_id。文件上傳時能校驗文件的合法性，例如mp3文件的格式、文件大小限制等。

·文件下載：用戶能根據file_id下載文件。下載支持防盜鏈功能，文件系統(tǒng)為每個用戶分配系統(tǒng)編號和密鑰，下載時需要根據file_id、系統(tǒng)編號、當前時間進行加密得到數字簽名。文件服務器對數字簽名和請求時間進行驗證，驗證通過后才允許下載文件。

·文件下載：用戶能根據file_id刪除文件。

系統(tǒng)支持資源文件下載防盜鏈功能：系統(tǒng)為每個用戶分配系統(tǒng)編號和密鑰，用戶下載資源文件需要根據file_id、系統(tǒng)編號、當前時間進行加密得到數字簽名，文件服務器對下面兩項進行驗證，驗證通過后才允許下載文件。

·驗證數字簽名是否合法。

·服務器當前時間和下載請求時間的間隔是否超過設置的閾值。

在提供HTTP接口的Web服務器上，還提供代理服務器功能，并支持資源文件下載的高效緩存。

3.2.3 管理監(jiān)控系統(tǒng)

管理監(jiān)控系統(tǒng)為系統(tǒng)管理員提供系統(tǒng)資源全局視圖，管理員能掌握下列情況。

·文件系統(tǒng)整體拓撲結構：tracker server和storage server服務器的數量；storage server分組情況。

·資源使用情況：每組storage server的存儲空間；每臺機器的資料利用率，包括CPU、IO、帶寬等。資源不足時系統(tǒng)自動預警。

·用戶操作日志：包括文件上傳、刪除、系統(tǒng)緩存等操作。

·文件管理：包括文件編號、所在分組、文件大小、上傳時間、上傳的原始文件編號等。

·系統(tǒng)運行管理：新增或刪除服務器、storage server之間同步數據、服務器啟停等。

3.3 高效訪問的實現方案

本文實現的云存儲系統(tǒng)不需要索引服務器，通過文件名可以直接映射到storage server的分組和磁盤路徑，減少索引查找和路由時間，提高系統(tǒng)效率。具體實現方法是：在文件上傳時，由storage server生成文件ID返回給業(yè)務系統(tǒng)，文件ID包含storage server所屬的分組、磁盤、目錄、源storage server的IP地址、上傳時間；在文件下載時，系統(tǒng)根據文件名定位到storage server分組，在分組中根據CPU、系統(tǒng)I/O、帶寬等資源空閑情況選擇相應的storage server，storage server直接根據文件ID可直接定位到磁盤文件。

本文提出的系統(tǒng)設計方案通過路由服務器，多個storage server可同時提供并發(fā)訪問服務。當并發(fā)訪問量增大時，增加storage server可以提升系統(tǒng)整體的吞吐量。由于系統(tǒng)storage server可線性擴展，系統(tǒng)理論上可支持無限大的并發(fā)訪問量。

為提高訪問效率，本文還針對移動互聯網用戶在線應用的特征，提出了一個高效的緩存實現方案。在音樂試聽應用中，大多數用戶只聽音樂的前10 s內容。根據這個特征，在做文件緩存時，將資源文件分割成大小不等的若干片，例如一個3 MB的mp3文件共分成4片，每片在原始文 件 中 的 位 置 為：0～200 KB，200～800 KB，800～1.5 MB，1.5～3 MB。文件訪問時，根據訪問內容分片讀取文件并緩存。通過這樣的文件分片緩存方案，顯著增加數據訪問的緩存命中率，提升了用戶對資源文件訪問效率的體驗。在系統(tǒng)實現上，緩存在HTTP接口的Web服務器上實現。

4 云存儲系統(tǒng)的應用

云存儲作為移動互聯網應用的一個基礎能力，用于多種移動互聯網應用。其核心價值在于為產品提供高速、高可靠、高擴展性的存儲能力。云存儲即可直接作為產品，例如百度云等網絡U盤應用，也可作為業(yè)務平臺的基礎設施，為平臺提供內容存儲能力。隨著移動互聯網不斷發(fā)展，各類創(chuàng)新的產品將層出不窮，但產品對存儲的依賴只會與日俱增。采用云存儲技術，產品可方便地將需要持久化的信息存儲在云端，無需考慮存儲如何組織，如何保證可靠性、支持高速訪問等問題。

本文研發(fā)的云存儲系統(tǒng)已在“中國電信愛音樂”的相關項目中應用，其中在音源、圖片、視頻存儲，用戶上傳等方面都利用了云存儲系統(tǒng)提供的能力，取得了良好的效果。

愛音樂云存儲系統(tǒng)如圖3所示，可分為運營服務層：負責內容分發(fā)及訪問調度，主要包括移互平臺（愛音樂提供實時接口服務的業(yè)務平臺）；內容管理層：負責內容管理、轉碼等，主要包括ICM（愛音樂內容管理系統(tǒng)）；存儲層：負責資源存儲，主要包括資源存儲及服務系統(tǒng)。

圖3 愛音樂云存儲系統(tǒng)

以用戶使用客戶端上傳音樂為例，用戶在客戶端獲得上傳音樂的授權（通過移動平臺）之后，選擇要上傳的音樂，客戶端調用ICMS的文件上傳接口。ICMS接收文件并轉給資源存儲及服務系統(tǒng)，后者生成文件指紋（文件唯一性特征值，通過文件指紋可識別不同的文件），根據文件指紋、大小等信息分配存儲空間，將文件寫入具體的存儲服務器，并保存文件的指紋、上傳時間、大小、位置等信息，生成訪問鏈接返回ICMS。ICMS保存上傳音樂的詳細信息，把文件訪問鏈接返回給客戶端，并自動生成若干種碼率的音源文件，相關信息同步給移互平臺。用戶再次訪問上傳的音樂時，移互平臺將根據用戶的網絡接入方式、終端類型等自動適配音源碼率，返回最合適的音源訪問鏈接。

5 結束語

移動互聯網正在飛速發(fā)展，云存儲對移動互聯網來說是絕對的助推器。本文針對移動互聯網對內容存儲的需求，結合音樂在線服務的特點，對云存儲技術在音樂領域的應用進行了探索，將來還要將云存儲技術運用到更多應用領域。

1 余慶.分布式文件系統(tǒng)概況及FastDFS介紹.http://www.docin.com/p-303753002.html，2010

2 陳鵬宇.云計算與移動互聯網.科技咨詢，2011(29)

3 羅國治.云計算技術與互聯網發(fā)展.2010云計算產業(yè)高峰論壇,2010

4 朱旭.移動互聯網及其熱點技術分析.中國高新技術企業(yè).2010(20)