基于分級存儲融合的電視劇發(fā)行許可樣片庫系統(tǒng)設(shè)計

王羿

（國家廣播電視總局監(jiān)測數(shù)據(jù)處理中心，北京100866）

為規(guī)范電視劇內(nèi)容管理，相關(guān)管理部門先后頒布了《電視劇審查管理規(guī)定》和《電視劇內(nèi)容管理規(guī)定》等規(guī)章，并建立了電視劇許可制度。電視劇的拍攝、制作須執(zhí)行備案公示，不能發(fā)行和播出沒有備案且未取得發(fā)行許可證的電視劇, 以更好地促進我國的電視劇產(chǎn)業(yè)健康、有序發(fā)展。為了精細(xì)化地管理備案電視劇樣片，強化電視劇重播重審能力，需要建設(shè)電視劇樣片庫系統(tǒng)。針對持續(xù)增加的備案電視劇樣片，建設(shè)具備長期存儲能力和數(shù)據(jù)安全防護能力的電視劇樣片庫系統(tǒng)，面臨以下幾個問題：(1)備案的電視劇樣片數(shù)據(jù)以DVD 光盤介質(zhì)的形式報送，大量的DVD 光盤數(shù)據(jù)讀取工作費時耗力，工作效率低；(2)不斷累積的電視劇樣片數(shù)據(jù)，完整保存在集中存儲內(nèi)，大量歸檔樣片的長期存儲將占用昂貴的硬盤資源；(3)備案電視劇樣片要求長期存檔，離線存檔后的樣片數(shù)據(jù)需人工轉(zhuǎn)存至集中存儲內(nèi)，將降低電視劇調(diào)閱和重播重審的時效性。

1 系統(tǒng)業(yè)務(wù)流程設(shè)計

為進一步加強電視劇內(nèi)容管理的科學(xué)性、規(guī)范性，搭建電視劇發(fā)行許可樣片庫系統(tǒng)，實現(xiàn)對備案的電視劇發(fā)行許可樣片導(dǎo)入、收錄、存儲、統(tǒng)計、調(diào)閱等功能，其系統(tǒng)業(yè)務(wù)數(shù)據(jù)流程如下：

(1)收到需備案的電視劇發(fā)行許可樣片DVD 光盤后，將光盤按所對應(yīng)的電視劇集數(shù)順序疊放并登記造冊；

(2)將光盤批量放入光盤庫的盤匣內(nèi)，光盤庫將自動讀取盤匣內(nèi)光盤數(shù)據(jù)，并自動對所讀取DVD 光盤內(nèi)的電視劇信息和視頻文件進行校驗；盤面損壞或校驗失敗的光盤自動放置到退盤匣內(nèi)；

(3)手動從退盤匣取出盤面損壞或校驗失敗的光盤，工作人員統(tǒng)計無法處理的電視劇集數(shù)并通知重新報送相關(guān)光盤；

(4)DVD 光盤數(shù)據(jù)導(dǎo)入完畢后，系統(tǒng)自動提交至管理員審核導(dǎo)入的電視劇信息、視頻文件的完整情況；

(5)審核通過后系統(tǒng)自動對視頻文件添加數(shù)字水印，完成該部備案電視劇樣片導(dǎo)入工作；

(6)系統(tǒng)自動對備案電視劇樣片的地區(qū)、劇名、題材、體裁、機構(gòu)、集數(shù)、編導(dǎo)、演員、簡介等信息統(tǒng)計；

(7)通過樣片庫系統(tǒng)調(diào)閱電視劇信息以及視頻內(nèi)容，按集精確定位回放電視??；截取電視劇視頻片段或選擇所需劇集，以刻錄到光盤的方式進行電視劇樣片導(dǎo)出。

2 樣片庫系統(tǒng)數(shù)據(jù)存取

2.1 數(shù)據(jù)導(dǎo)入

目前，對于已經(jīng)獲得發(fā)行許可的電視劇樣片采用以DVD 光盤介質(zhì)的格式報送備案并在電視劇樣片系統(tǒng)內(nèi)長期存儲。通常一張DVD 光盤可以存儲兩集高清電視劇，若一部電視劇在20集左右，則需刻錄10 張DVD 光盤用于電視劇樣片報送。這就造成電視劇發(fā)行許可樣片系統(tǒng)錄入樣片信息的時候需要處理大量的DVD 樣片光盤。怎樣能高效、自動化地整理并讀取光盤數(shù)據(jù)，將樣片數(shù)據(jù)導(dǎo)入到電視劇樣片存儲是備案電視劇樣片數(shù)據(jù)導(dǎo)入模塊的設(shè)計目標(biāo)。

傳統(tǒng)光盤讀取方式常采用手動將盤放入終端的集成光驅(qū)，這種方式存在以下問題：(1)終端配置的DVD 光驅(qū)多為16 倍速，理論上數(shù)據(jù)讀取數(shù)率為2400KB/s，單個光驅(qū)讀取遠(yuǎn)慢于可達數(shù)十MB/s 的硬盤速度；(2)終端集成的光驅(qū)需要人工手動放盤、取盤，數(shù)百張光盤批量導(dǎo)入時需要耗費大量的人力操作光盤。(3)放盤、取盤操作需要頻繁直接接觸備案的電視劇發(fā)行許可樣片DVD 光盤，大量的人工操作不利于樣片光盤管理，同時也增加了樣片光盤丟失和數(shù)據(jù)泄露的風(fēng)險。

為提高樣片導(dǎo)入效率，數(shù)據(jù)導(dǎo)入模塊設(shè)計了備案電視劇樣片DVD 自動導(dǎo)入的兩種工作模式：(1)批量處理：批量地對多部電視劇的上百張DVD 光盤導(dǎo)入；(2) 單件處理：因零星光盤損壞、單集電視劇缺失等情況對單張DVD 光盤導(dǎo)入。針對批量處理和單件處理的兩種不同場景，基于光盤庫設(shè)備訪問控制服務(wù)和光盤塔設(shè)備訪問控制服務(wù)實現(xiàn)了DVD 光盤自動讀取功能。光盤庫設(shè)備劃分為在線緩存區(qū)、光盤批量導(dǎo)入?yún)^(qū)、光盤提取區(qū)。批量處理的時候，將需導(dǎo)入的DVD 光盤疊放在光盤批量導(dǎo)入?yún)^(qū)的光盤匣內(nèi)，機械手每次從光盤匣內(nèi)批量抓取12 張DVD 光盤并放置到12 個光驅(qū)內(nèi)并行讀取樣片數(shù)據(jù)。光盤庫配置藍(lán)光光驅(qū)，單個光驅(qū)的DVD 讀取速率可達24 倍速，即3600KB/s，12個光驅(qū)并行導(dǎo)入速度可到43200KB/s。光盤塔配置智能機械手，可以從光盤輸入倉內(nèi)自動抓取一張DVD 光盤，并放置到DVD只讀光驅(qū)內(nèi)讀取光盤樣片數(shù)據(jù)，當(dāng)數(shù)據(jù)讀取完成，光驅(qū)自動彈出光盤，機械手從光驅(qū)托架上抓取光盤放置光盤輸出倉內(nèi)。

2.2 分級存儲

樣片庫系統(tǒng)需長期存儲樣片數(shù)據(jù)，但大部分電視劇，特別是已上映多年的電視劇調(diào)閱頻率較低。如果將海量的樣片全部保存在集中存儲中，會降低集中存儲的使用效率，不利于系統(tǒng)的PUE 和TCO 指標(biāo)優(yōu)化。

表1 所示，不同的設(shè)備具有不同的數(shù)據(jù)讀寫性能、單位存儲容量成本、數(shù)據(jù)保存持久性、設(shè)備運行維護成本等特性。在保障樣片系統(tǒng)的數(shù)據(jù)訪問性能接近集中存儲的條件下，進一步降低系統(tǒng)的PUE 和TCO 指標(biāo)，存儲模塊設(shè)計了一個基于在線、近線和離線的分級存儲結(jié)構(gòu)并構(gòu)建統(tǒng)一數(shù)據(jù)視圖。在線存儲中的電視劇發(fā)行許可樣片可隨時調(diào)閱，數(shù)據(jù)保存在集中存儲的硬盤內(nèi)，具備實時的數(shù)據(jù)讀取能力。近線存儲結(jié)合了在線存儲與離線存儲的特點，將訪問頻率低的樣片“冷數(shù)據(jù)”用藍(lán)光光盤介質(zhì)保存，需調(diào)閱時可在短時間內(nèi)讀取數(shù)據(jù)。離線存儲用于長期保存樣片數(shù)據(jù)，用于樣片庫系統(tǒng)的數(shù)據(jù)災(zāi)備和恢復(fù)，避免系統(tǒng)數(shù)據(jù)丟失。分級存儲融合的數(shù)據(jù)遷移策略將頻繁讀寫的“熱數(shù)據(jù)”存放于在線存儲中，而不頻繁訪問的“冷數(shù)據(jù)”存放在近線存儲和離線存儲中。

表1 集中存儲、光盤庫、磁帶庫性能對比

電視劇發(fā)行許可樣片庫管理的視頻文件實際播出狀態(tài)涉及未上映、熱播中、播放完結(jié)等，報送備案的電視劇版本也涉及多個版本，電視劇的制片者享有電視劇作品的著作權(quán)，備案的電視劇樣片一但泄露將侵犯了著作權(quán)人的多項權(quán)利并帶來嚴(yán)重的經(jīng)濟損失。因此，加強系統(tǒng)所存儲的樣片數(shù)據(jù)安全，降低備案樣片泄露的風(fēng)險尤為重要。

3 分級存儲融合技術(shù)

電視劇發(fā)行許可樣片庫的分級存儲融合實現(xiàn)了樣片數(shù)據(jù)在集中存儲、光盤庫和磁帶庫中的動態(tài)遷移。不同的電視劇樣片視頻文件在不同時間的訪問頻率是不一樣的，電視劇剛導(dǎo)入系統(tǒng)內(nèi)時數(shù)據(jù)校驗、水印添加等操作需要頻繁讀、寫樣片數(shù)據(jù)，但是歸檔后的樣片數(shù)據(jù)訪問頻率會持續(xù)降低。針對樣片數(shù)據(jù)特點，設(shè)計了樣片數(shù)據(jù)的訪問熱度計算和數(shù)據(jù)遷移策略。

3.1 訪問熱度計算

訪問熱度計算可在數(shù)據(jù)塊和文件兩種級別上計算[1]，其中數(shù)據(jù)塊是樣片的基本存儲單元，而樣片數(shù)據(jù)主要為視頻文件，存儲的數(shù)據(jù)塊存在鏈?zhǔn)郊s束關(guān)系。因此，在文件級別上計算訪問熱度能更好地保留數(shù)據(jù)塊間的約束信息。

定義3：設(shè)備案的樣片文件為i（i=1，…，M），其中M 為文件總數(shù)。結(jié)合定義1 和定義2 得到樣片文件i 的訪問熱度為：f（i）=F÷（S×Ti），其中S 為文件i 的大小，單位為GB。

3.2 數(shù)據(jù)遷移過程

集中存儲采用SAN+NAS 架構(gòu)，具備約500TB 的在線存儲空間。光盤庫為標(biāo)準(zhǔn)19 英寸42U 機柜的高密度設(shè)備，作為藍(lán)光近線存儲區(qū)盤匣總共有12240 個光盤槽位，每個槽位配備可用容量為100GB 的檔案藍(lán)光光盤，總的可用存儲容量為1224TB。光盤庫機頭配置了8 塊8TB 緩存硬盤能夠提供約45TB 的在線存儲緩存區(qū)用于近線存儲區(qū)和在線存儲區(qū)之間數(shù)據(jù)遷移。

分級存儲融合模塊部署了聯(lián)合文件服務(wù)同時掛載了集中存儲和光盤庫，具備目錄統(tǒng)一性和一致性[2]，當(dāng)系統(tǒng)訪問樣片文件，如果文件存儲在集中存儲內(nèi)則直接訪問，如果存儲在光盤庫內(nèi)則需要轉(zhuǎn)存至集中存儲再訪問。同時，模塊定時更新系統(tǒng)存儲的電視劇發(fā)行許可樣片文件的訪問熱度（見定義3），熱度高的文件I/O 操作頻繁存儲于集中存儲內(nèi)，而熱度低的文件光盤庫會自動將文件遷移至藍(lán)光光盤內(nèi)。分級存儲融合模塊的文件遷移過程如圖1 所示。

圖1 分級存儲電視劇樣片文件遷移序列圖

4 結(jié)論

本文深入探討針對備案電視劇的發(fā)行許可樣片庫系統(tǒng)，結(jié)合在線存儲、近線存儲、離線存儲設(shè)計了基于訪問熱度計算的分級存儲融合的樣片數(shù)據(jù)存儲方式，以適應(yīng)新時期的全國電視劇發(fā)行備案管理工作的需求。