基于Hadoop的分布式視頻加擾系統(tǒng)及其安全策略研究

摘 要：隨著高清視頻的普及，視頻數(shù)據(jù)量劇增，使用傳統(tǒng)的視頻加擾方式，處理效率令人難以接受。分布式技術(shù)已被用于視頻編碼[1]和視頻加擾[2]?，F(xiàn)有的分布式視頻加密系統(tǒng)基于被廣泛使用的Hadoop，但其因系統(tǒng)設(shè)計(jì)沒有充分利用Hadoop框架的特點(diǎn)，其效率還有很大提升空間；同時(shí)，原系統(tǒng)沒有考慮過安全性問題，而加密過程中要用到的密鑰和密鑰的分發(fā)無(wú)疑對(duì)系統(tǒng)設(shè)計(jì)的安全性方面提出了嚴(yán)苛的要求。本系統(tǒng)利用更合理的視頻分割設(shè)計(jì)和附屬的安全系統(tǒng)彌補(bǔ)了這兩點(diǎn)不足。

關(guān)鍵詞：Hadoop；分布式視頻；加擾系統(tǒng)；安全；研究

中圖分類號(hào)：TP393.09

1 系統(tǒng)介紹

本系統(tǒng)在集群中附加了完整的安全系統(tǒng)。假定集群中所有節(jié)點(diǎn)機(jī)器之間的通信鏈路是不安全的，可以被竊聽的，那么就要求一系列的認(rèn)證和加密措施以保證視頻加密密鑰不被竊取。為此本系統(tǒng)提出的密鑰管理系統(tǒng)中，集群中master節(jié)點(diǎn)已安裝所有slave節(jié)點(diǎn)的證書，每個(gè)slave節(jié)點(diǎn)也有一份master節(jié)點(diǎn)的證書（由系統(tǒng)管理員手動(dòng)安裝），加密程序運(yùn)行時(shí)節(jié)點(diǎn)間通過此證書來(lái)確認(rèn)彼此身份并由master選定一個(gè)AES密鑰Keya，然后用各個(gè)slave的公鑰加密后傳送給各個(gè)slave節(jié)點(diǎn)。系統(tǒng)用Keya來(lái)加密傳輸時(shí)的視頻密鑰Keyv。加密后的Keyv附加在分片算法生成的Key-Value對(duì)中的Key值里，使其隨視頻數(shù)據(jù)分片的分發(fā)（此分發(fā)僅是數(shù)據(jù)地址等信息的分發(fā)并不是分發(fā)視頻數(shù)據(jù)本身，所以僅在節(jié)點(diǎn)間傳送微量數(shù)據(jù)）完成密鑰的分發(fā)，解決了密鑰分發(fā)的問題。最后，對(duì)本密鑰管理系統(tǒng)的安全性做出評(píng)估。

本系統(tǒng)精簡(jiǎn)了原有系統(tǒng)的構(gòu)造，摒棄視頻上傳部分的拆分模塊，以直接上傳至HDFS文件系統(tǒng)代替之，因?yàn)镠DFS文件系統(tǒng)對(duì)數(shù)據(jù)本身就是分為塊（默認(rèn)64MB大小的Block）存儲(chǔ)的；使用自己的視頻分片算法使每個(gè)視頻文件的Block都被本節(jié)點(diǎn)上的Map函數(shù)處理，從而避免數(shù)據(jù)在節(jié)點(diǎn)之間的拷貝，達(dá)到高效的目的；之后利用Cassandra數(shù)據(jù)庫(kù)建立加密后視頻數(shù)據(jù)的索引，方便視頻存儲(chǔ)和管理。最后對(duì)本系統(tǒng)設(shè)計(jì)從各方面與現(xiàn)有其他系統(tǒng)進(jìn)行對(duì)比評(píng)估。本系統(tǒng)的搭建的難點(diǎn)主要在于分布式編程調(diào)試比較困難，會(huì)遇到各種網(wǎng)絡(luò)、硬件相關(guān)的問題；此外要使分布式系統(tǒng)能運(yùn)行在最佳狀態(tài)也必須依實(shí)際集群的硬件配置和所運(yùn)行程序來(lái)做各種復(fù)雜的參數(shù)調(diào)試。

選擇Hadoop基礎(chǔ)架構(gòu)和Cassandra數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)本系統(tǒng)，無(wú)疑是非常適合的！首先兩者本身都經(jīng)歷了實(shí)際商業(yè)應(yīng)用的長(zhǎng)時(shí)間考驗(yàn)，其可靠性毋庸置疑。其次視頻加密本身又是個(gè)極易拆分的邏輯過程，非常適合改造成分布式的處理模式。

2 系統(tǒng)安全研究

視頻加密密鑰Keyv在被送到加擾模塊之前一直是以被AES加密的形式在節(jié)點(diǎn)之間傳送的，所使用的AES密鑰Keya的生成和分發(fā)過程如下：集群中某臺(tái)機(jī)器作為密鑰生成節(jié)點(diǎn)master使用，master上裝有其他所有節(jié)點(diǎn)的證書，當(dāng)需要把Keya分發(fā)出去時(shí)，X使用各自節(jié)點(diǎn)的對(duì)應(yīng)公鑰加密后發(fā)送給對(duì)方，接收方節(jié)點(diǎn)用自己的公鑰解密后便可使用其來(lái)解密視頻加擾密鑰Keyv。

密鑰生成和分發(fā)模塊只讀取所需批量加密的視頻數(shù)據(jù)的文件名目錄，然后該模塊會(huì)給目錄中每個(gè)視頻文件名生成一個(gè)密鑰，并把此信息與視頻數(shù)據(jù)的文件名對(duì)應(yīng)起來(lái)一并傳給視頻分片模塊，視頻分片模塊利用這些信息就可以在分片的時(shí)候確保同一個(gè)視頻的不同分片使用的是同一個(gè)密鑰，不同視頻的分片使用的是不同的密鑰。密鑰信息和文件名對(duì)應(yīng)的信息數(shù)據(jù)量很少，集群中分發(fā)的負(fù)荷可以忽略不計(jì)。

視頻分片模塊生成的作為Map函數(shù)輸入的Key-Value對(duì)中，Value是該分片的數(shù)據(jù)本身，Key是文件名、分片編號(hào)、該文件加密所用密鑰（已被AES加密）的串聯(lián)字符串。因此Map函數(shù)從key就能得到進(jìn)行后續(xù)步驟的所有必要信息。加擾模塊根據(jù)Key值確定加擾密鑰，同時(shí)將key值中的文件名和分片編號(hào)作為加擾后視頻的文件名寫入HDFS文件系統(tǒng)。HDFS會(huì)自動(dòng)備份多個(gè)加擾后視頻數(shù)據(jù)的拷貝以存放在各個(gè)節(jié)點(diǎn)確保數(shù)據(jù)安全。當(dāng)Map函數(shù)中的這些步驟都順利完成之后，數(shù)據(jù)庫(kù)模塊會(huì)生成一條數(shù)據(jù)庫(kù)條目，記錄所成功加密的視頻的文件名、文件分片編號(hào)、所用密鑰、文件位置信息等；到此整個(gè)流程結(jié)束。

此外還有一種類似Kerberos的采用對(duì)稱密鑰體系的認(rèn)證協(xié)議。雖然這種認(rèn)證協(xié)議需要可信第三方TTP（Third Trusted Party），但是由于其采用的是對(duì)稱加密，不用數(shù)字證書，減少了證書的維護(hù)工作，而且加密速度比非對(duì)稱加密速度要快。下面描述這種協(xié)議，可信第三方用TTP表示，擁有HDFS文件命名空間的節(jié)點(diǎn)稱為SKG（Scrambling Key Generator），實(shí)際執(zhí)行加擾任務(wù)的工作節(jié)點(diǎn)表示為WN（Working Node）。TTP和WN事先共享長(zhǎng)期對(duì)稱密鑰KeyTTP，WN，TTP和SKG事先共享長(zhǎng)期對(duì)稱密鑰KeyTTP，SKG。協(xié)議如下：

（1）WN產(chǎn)生隨機(jī)數(shù)字Na然后發(fā)送給TTP：WN，SKG，NWN；

（2）TTP 隨機(jī)生成對(duì)稱密鑰K然后發(fā)送給WN：{NWN，K，SKG，Timestamp，{K，WN，Timestamp}KeyTTP，SKG}KeyTTP，WN；

（3）WN解密收到的消息，檢查他的隨機(jī)數(shù)NWN是否正確，檢查第三個(gè)位置的值是否是SKG，檢查時(shí)間戳Timestamp.如果Timestamp超過了容許的時(shí)間范圍，那么收到秘鑰K被認(rèn)為是無(wú)效的.否則，WN發(fā)送給SKG：TTP，{K，WN，Timestamp} KeyTTP， SKG；

（4）The SKG解密收到的消息，檢查WN域和Timestamp，然后產(chǎn)生隨機(jī)數(shù)NSKG發(fā)送給WN：{This is SKG，NSKG}K；

（5）WN發(fā)送給SKG：{This is WN，NB-1}K；

（6）SKG把WN所請(qǐng)求的加擾秘鑰用會(huì)話秘鑰K加擾后以密文形式是發(fā)送給WN。

時(shí)間戳Timestamp是用來(lái)阻止重放攻擊的。TTP可以以一個(gè)進(jìn)程的形式運(yùn)行在集群中某個(gè)特定的節(jié)點(diǎn)上，盡管與這個(gè)節(jié)點(diǎn)相連的網(wǎng)路不要求是安全的，但這個(gè)節(jié)點(diǎn)機(jī)器本身必須保證是安全的。否則TTP上存儲(chǔ)的長(zhǎng)期密鑰泄露后，整個(gè)系統(tǒng)分發(fā)的加擾秘鑰也會(huì)隨之被破解。實(shí)際執(zhí)行加擾任務(wù)的節(jié)點(diǎn)首先會(huì)根據(jù)上述協(xié)議安全的獲取加擾秘鑰，然后再運(yùn)行由Map-Reduce指派的視頻加擾工作。

3 實(shí)驗(yàn)結(jié)果

參考文獻(xiàn)：

[1]干宗良，朱秀昌.分布式視頻編碼技術(shù)的研究現(xiàn)狀及其展望[J].信號(hào)處理，2007.

[2]王磊.基于Hadoop的分步式視頻加擾系統(tǒng)[D].中國(guó)傳媒大學(xué).

作者單位：中國(guó)傳媒大學(xué)信息工程學(xué)院，北京 100020