基于分級(jí)存儲(chǔ)技術(shù)的媒資珍藏庫(kù)建設(shè)與應(yīng)用

胡瀛斌

（浙江廣播電視集團(tuán)，浙江 杭州 310005）

0 引 言

珍貴的歷史影像讓人懷念。改革開放40 年來(lái)，浙江廣播電視集團(tuán)作為浙江重要的新聞傳播媒體，一代代浙江新聞工作者用話筒和攝像機(jī)記錄了浙江時(shí)代發(fā)展的滄桑巨變，留下了約30 萬(wàn)小時(shí)的歷史珍貴影像素材和非公開特殊資源[1]。浙江廣播電視集團(tuán)正在積極推進(jìn)歷史素材數(shù)字化建設(shè)工作。為了實(shí)現(xiàn)這批珍貴素材的長(zhǎng)期保存和靈活調(diào)取，同時(shí)保證素材的高安全性和完整性，浙江廣播電視集團(tuán)在通用數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)的基礎(chǔ)上，額外單獨(dú)設(shè)立了媒資珍藏庫(kù)應(yīng)用（以下簡(jiǎn)稱珍藏庫(kù)），具備素材上載、歸檔、回遷、素材編目及后臺(tái)管理等媒資應(yīng)用功能。本文以媒資珍藏庫(kù)的建設(shè)為例，詳細(xì)介紹系統(tǒng)架構(gòu)和功能實(shí)現(xiàn)，從實(shí)際應(yīng)用方面探討珍藏庫(kù)的必要性和實(shí)用性。

1 整體架構(gòu)

1.1 通用數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)

通用數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)的總架構(gòu)如圖1 所示，主要包括分級(jí)存儲(chǔ)服務(wù)器集群、藍(lán)光歸檔服務(wù)器集群、數(shù)據(jù)流磁帶庫(kù)、FC 在線存儲(chǔ)設(shè)備、ODA 藍(lán)光盤庫(kù)以及以太網(wǎng)和光纖交換設(shè)備。系統(tǒng)通過(guò)分級(jí)存儲(chǔ)服務(wù)器或集群，對(duì)外提供標(biāo)準(zhǔn)文件系統(tǒng)協(xié)議（如NFS、CIFS、S3 等）與各應(yīng)用系統(tǒng)對(duì)接，后端由數(shù)據(jù)流磁帶庫(kù)、在線存儲(chǔ)、ODA 藍(lán)光盤庫(kù)和光纖交換機(jī)組成一個(gè)高速傳輸?shù)拇鎯?chǔ)區(qū)域網(wǎng)絡(luò)（Storage Area Network，SAN），將介質(zhì)存儲(chǔ)組成一個(gè)巨大、可擴(kuò)展的存儲(chǔ)資源池，為用戶提供多副本的數(shù)據(jù)存儲(chǔ)能力[2]。

圖1 通用數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)圖

通常情況下，在分級(jí)存儲(chǔ)模式中，在線存儲(chǔ)用來(lái)存儲(chǔ)訪問(wèn)頻率較高的數(shù)據(jù)，多采用成本較高、速度快的RAID 磁盤陣列作為存儲(chǔ)介質(zhì)。而數(shù)據(jù)流磁帶庫(kù)和ODA 藍(lán)光盤庫(kù)等成本較低的存儲(chǔ)設(shè)備則用來(lái)存儲(chǔ)訪問(wèn)頻率低并且需要長(zhǎng)期或永久保存的數(shù)據(jù)[3]。

1.2 媒資珍藏庫(kù)系統(tǒng)架構(gòu)

媒資珍藏庫(kù)主要用于存放浙江廣播電視集團(tuán)歷年來(lái)的珍貴歷史影像資料等重要資產(chǎn)。作為完全獨(dú)立的數(shù)據(jù)存儲(chǔ)空間，為保證數(shù)據(jù)安全性，珍藏庫(kù)與所有媒資管理系統(tǒng)保持各自獨(dú)立。

如圖2 所示，珍藏庫(kù)系統(tǒng)由上載站點(diǎn)，數(shù)據(jù)庫(kù)及管理服務(wù)器，遷移歸檔服務(wù)器以及與數(shù)據(jù)流磁帶庫(kù)、ODA 藍(lán)光盤庫(kù)互通所需要的驅(qū)動(dòng)管理服務(wù)器組成。2 臺(tái)上載工作站均部署在浙江廣電集團(tuán)大院，配置較大容量的SSD 硬盤，用于上載素材的本地存儲(chǔ)，同時(shí)通過(guò)以太網(wǎng)交換機(jī)與云端進(jìn)行網(wǎng)絡(luò)打通。數(shù)據(jù)流磁帶庫(kù)和ODA 藍(lán)光盤庫(kù)則部署在國(guó)際影視中心，兩個(gè)庫(kù)體被通用數(shù)據(jù)歸檔平臺(tái)和珍藏庫(kù)共用，通過(guò)邏輯分區(qū)來(lái)實(shí)現(xiàn)。云端存儲(chǔ)及相關(guān)服務(wù)器資源則利用“中國(guó)藍(lán)云”平臺(tái)調(diào)度器進(jìn)行動(dòng)態(tài)分配。

圖2 珍藏庫(kù)系統(tǒng)架構(gòu)圖

如圖3 所示，珍藏庫(kù)上載或入庫(kù)的資源會(huì)生成低碼預(yù)覽文件。預(yù)覽文件的生命周期默認(rèn)設(shè)置為24 h，到期后會(huì)自動(dòng)刪除。入庫(kù)完成后，可進(jìn)行一層編目，編目字段根據(jù)資源中心需求配置。經(jīng)編目審核通過(guò)后，系統(tǒng)自動(dòng)按策略進(jìn)行帶庫(kù)歸檔和藍(lán)光歸檔。歸檔完成后，檢索門戶頁(yè)面有歸檔狀態(tài)顯示，并提供自動(dòng)或手動(dòng)方式刪除原上載文件。

圖3 業(yè)務(wù)流程圖

需要下載資源時(shí)，用戶需登錄檢索門戶找到相關(guān)資源，如需要預(yù)覽素材，可手動(dòng)生成低碼預(yù)覽文件，然后提交下載審批。待下載審核通過(guò)后，資源會(huì)回遷到上載工作站本地硬盤的指定文件夾里，最后通過(guò)介質(zhì)輸出，用戶手動(dòng)刪除下載文件。

2 具體功能

2.1 獨(dú)立上載

專用上載客戶端支持本地硬盤、P2、藍(lán)光、SDI 信號(hào)等介質(zhì)上載功能，支持非編剪輯功能，可提供素材的剪輯、掐頭去尾、拼接等整理功能，還可以根據(jù)不同格式進(jìn)行轉(zhuǎn)碼上載。

2.2 外系統(tǒng)對(duì)接

珍藏庫(kù)通過(guò)統(tǒng)一數(shù)據(jù)交互接口與浙江衛(wèi)視新聞制作網(wǎng)對(duì)接，即可將素材從浙江衛(wèi)視新聞制作網(wǎng)直接歸檔入庫(kù)珍藏庫(kù)并繼承元數(shù)據(jù)。該接口服務(wù)由珍藏庫(kù)側(cè)控制開通或關(guān)閉功能。

2.3 媒資管理

珍藏庫(kù)同時(shí)也是一個(gè)小型媒資管理系統(tǒng)，具有媒資生產(chǎn)功能，支持簡(jiǎn)單編目、編目審核、媒資檢索、媒資下載及資源統(tǒng)計(jì)等功能。

2.4 策略管理

珍藏庫(kù)可對(duì)素材歸檔、素材回遷、文件刪除、優(yōu)先級(jí)及生命周期等進(jìn)行策略配置管理[4]。

歸檔策略默認(rèn)配置為“2 份藍(lán)光”“1 份磁帶+1份藍(lán)光”和“1 份磁帶+2 份藍(lán)光”三種模式，也可根據(jù)用戶需求靈活配置。歸檔策略還可以配置將不同用戶的文件存放在不同的盤匣?；剡w策略默認(rèn)配置為從磁帶庫(kù)回遷，但在手動(dòng)情況下，也可以選擇從藍(lán)光盤庫(kù)回遷。刪除策略默認(rèn)配置為歸檔成功24 h后刪除預(yù)覽文件，72 h 后刪除上載文件。

2.5 用戶管理

由于珍藏庫(kù)的安全性和獨(dú)立性區(qū)別于集團(tuán)的統(tǒng)一認(rèn)證，因此，只能通過(guò)本地認(rèn)證新建用戶，可配置角色權(quán)限和存儲(chǔ)空間，也可以根據(jù)用戶分配指定藍(lán)光盤匣?，F(xiàn)階段，系統(tǒng)提供三種角色權(quán)限。

（1）運(yùn)維管理人員權(quán)限。運(yùn)維管理人員是珍藏庫(kù)及后臺(tái)物理設(shè)備的管理者，對(duì)珍藏庫(kù)的全局用戶賬號(hào)管理以及全局資源可見(jiàn)。

（2）資源管理人員權(quán)限。資源管理人員作為資源的最高管理者，具有對(duì)資源上載、編目、審核、下載、應(yīng)用的最高權(quán)限，對(duì)珍藏庫(kù)的全局資源可見(jiàn)。

（3）普通用戶人員權(quán)限。普通用戶人員是珍藏庫(kù)的使用者，可單獨(dú)配置上載權(quán)限、下載權(quán)限、瀏覽權(quán)限、審核權(quán)限等。系統(tǒng)提供基于頻道租戶的相關(guān)權(quán)限，管理自有所屬資源權(quán)限，對(duì)其他租戶資源不可見(jiàn)。

2.6 檢索門戶

珍藏庫(kù)檢索門戶利用“中國(guó)藍(lán)云”資源池，參照集團(tuán)現(xiàn)有智能媒資管理系統(tǒng)多模態(tài)檢索門戶搭建，支持多模態(tài)檢索，可通過(guò)圖片、視頻、語(yǔ)音等方式輸入檢索，支持全文檢索和高級(jí)條件檢索，對(duì)多個(gè)編目字段進(jìn)行匹配，支持關(guān)鍵詞聯(lián)想。

3 實(shí)際應(yīng)用

3.1 珍貴錄像帶數(shù)字化

浙江廣播電視集團(tuán)資源中心的磁帶庫(kù)房里，存放著各式各樣的珍貴錄像帶。不同制式的錄像帶需要不同的錄像機(jī)來(lái)讀取，而錄像機(jī)數(shù)量有限且有使用壽命。一旦錄像機(jī)損壞，對(duì)應(yīng)制式的錄像帶也就再也無(wú)法觀看[5]。資源中心可通過(guò)上載客戶端，將這些不同制式的珍貴錄像帶統(tǒng)一轉(zhuǎn)成符合收錄要求的數(shù)字化資源，經(jīng)過(guò)簡(jiǎn)單編目后長(zhǎng)期存儲(chǔ)在ODA藍(lán)光盤庫(kù)中，方便日常管理和二次開發(fā)及利用。

3.2 浙江衛(wèi)視珍貴資料歸檔

浙江衛(wèi)視歷年制作的紀(jì)錄片、專題片、綜藝節(jié)目以及包含歷任黨和國(guó)家主要領(lǐng)導(dǎo)人、省市自治區(qū)主要領(lǐng)導(dǎo)人的新聞節(jié)目及部分非公開素材，主要存儲(chǔ)于集團(tuán)中心媒資系統(tǒng)和智能媒資系統(tǒng)，但仍有小部分素材因不符合資源中心媒資收存要求或是不宜歸檔在集團(tuán)媒資系統(tǒng)的保密素材。對(duì)于浙江衛(wèi)視來(lái)說(shuō)，這些素材都是頻道的寶貴財(cái)富。這批素材由浙江衛(wèi)視自行通過(guò)珍藏庫(kù)系統(tǒng)上載、編目、入庫(kù)后保存在ODA 藍(lán)光盤庫(kù)中。此外，珍藏庫(kù)與衛(wèi)視新聞制作網(wǎng)相互對(duì)接，衛(wèi)視管理人員只要在珍藏庫(kù)側(cè)打開接口服務(wù)，即可直接從衛(wèi)視新聞制作網(wǎng)發(fā)起歸檔珍藏庫(kù)請(qǐng)求，也可以從珍藏庫(kù)發(fā)起回遷到新聞制作網(wǎng)請(qǐng)求。

4 結(jié) 語(yǔ)

珍貴歷史影像資料的長(zhǎng)期保存和有效管理是浙江廣播電視集團(tuán)媒資管理的重要部分。珍藏庫(kù)于2023 年2 月投入使用以來(lái)，累計(jì)已保存珍貴歷史素材約1 300 余條。珍藏庫(kù)的應(yīng)用推進(jìn)了集團(tuán)歷史珍貴影像數(shù)字化管理工作，也釋放了大量存儲(chǔ)空間，節(jié)省了高額存儲(chǔ)成本，將為浙江廣播電視集團(tuán)未來(lái)新媒體融合發(fā)展和欄目?jī)?nèi)容創(chuàng)新研發(fā)提供更好的平臺(tái)支撐。