大數(shù)據(jù)技術(shù)的媒資檔案管理方法

廖金材，張燕丹

（福建省龍巖市永定區(qū)融媒體中心 福建 龍巖 364100）

0 引言

媒資檔案是在廣播電視節(jié)目制作以及傳播過程中形成的電視、網(wǎng)絡(luò)等媒體的資源檔案，不僅包含文字資源，還包括語音、視頻等資源信息，具有數(shù)量大、種類多等特點(diǎn)，因其獨(dú)特的特性存在，導(dǎo)致媒資檔案管理具有難度高、易丟失、工作量大等特征。最初媒資檔案管理方法主要是通過人工收集、整理、建檔存儲(chǔ)，對(duì)于文字類的媒體資源信息整理成紙質(zhì)檔案，對(duì)于語音、視頻類的媒體資源信息存儲(chǔ)到獨(dú)立的硬盤上，并將標(biāo)簽貼在硬盤上，方便媒資檔案查找和使用。這種方式需要花費(fèi)大量的資金，并且消耗大量的人力資源，不僅效率低，如果不對(duì)其進(jìn)行定期整理和檢查，非常容易出現(xiàn)檔案丟失現(xiàn)象。隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)逐漸與檔案領(lǐng)域融合，為了提高檔案管理效率，相關(guān)學(xué)者提出了數(shù)字化管理方式，在一定程度上推動(dòng)了媒資檔案數(shù)字化、信息化建設(shè)。左晉佺等[1]利用大數(shù)據(jù)技術(shù)，構(gòu)建用戶、節(jié)點(diǎn)、組織、下屬機(jī)構(gòu)、檔案云儲(chǔ)存模式的檔案管理平臺(tái)。在數(shù)據(jù)庫中利用元數(shù)據(jù)特征屬性完成可視化檔案管理。但是，該方法無法對(duì)檔案管理系統(tǒng)中存在的數(shù)據(jù)進(jìn)行融合處理，導(dǎo)致檔案管理響應(yīng)時(shí)間較長(zhǎng)，存在系統(tǒng)響應(yīng)效率低的問題。相世強(qiáng)[2]以Java語言為基礎(chǔ)，利用JFinal技術(shù)構(gòu)建急速WEB開發(fā)框架，實(shí)現(xiàn)系統(tǒng)化、自動(dòng)化、多元化的檔案信息管理。但是，該方法在規(guī)定時(shí)間內(nèi)無法對(duì)多個(gè)媒資檔案數(shù)據(jù)包進(jìn)行有效處理，存在系統(tǒng)媒資處理能力和并發(fā)性較差的問題。

雖然目前媒資檔案管理已經(jīng)取得了相應(yīng)的成果，但是由于國(guó)內(nèi)媒資檔案信息化管理起步比較晚，仍然處于比較低的技術(shù)水平?，F(xiàn)有的管理方法存在不足，在實(shí)際應(yīng)用中當(dāng)對(duì)海量媒體資源信息管理時(shí)，經(jīng)常出現(xiàn)信息殘缺，建立的媒資數(shù)字檔案完整性較差，檔案信息丟失量較大、響應(yīng)時(shí)間較長(zhǎng)、并發(fā)性較差等問題?；诖耍疚奶岢龃髷?shù)據(jù)技術(shù)的媒資檔案管理方法，以期優(yōu)化媒資檔案管理效益，同時(shí)確保檔案信息安全性和完整性。

1 基于大數(shù)據(jù)技術(shù)的檔案序列加密分類

為了保證媒資信息的完整性和安全性，利用大數(shù)據(jù)技術(shù)對(duì)媒資檔案數(shù)據(jù)序列進(jìn)行加密分類，在加密分類前對(duì)待管理的媒資信息建立相應(yīng)的數(shù)字標(biāo)簽，以元數(shù)據(jù)作為檔案數(shù)字標(biāo)簽構(gòu)建的對(duì)象，以媒資信息內(nèi)容元數(shù)據(jù)為主，比如媒資主題、信息源、資源、時(shí)間，其中媒資主題的確定是根據(jù)媒資信息中出現(xiàn)頻率最高的關(guān)鍵詞確定，以關(guān)鍵詞作為媒資檔案主題，對(duì)媒資檔案本體劃分[3]。信息源是指媒資信息的來源，資源主要為媒資信息的主要形式，包括文本、圖片、音頻以及視頻。時(shí)間是指媒資信息的產(chǎn)生時(shí)間，根據(jù)以上四個(gè)媒資信息屬性，生成媒資檔案數(shù)字標(biāo)簽，用公式表示為：

式c中，V表示媒資檔案s數(shù)字標(biāo)簽；a表示媒資檔案主題；表示媒資信息源；表示媒資檔案資源類型，其中文本資源類型用“1”表示，圖片資源類型用“2”表示，音頻資源類型用“3”表示，視頻資源類型用“4”表示；e表示媒資檔案時(shí)間屬性[4]。

根據(jù)媒資檔案數(shù)字標(biāo)簽，對(duì)媒資數(shù)據(jù)序列進(jìn)行加密分類處理，下圖為基于大數(shù)據(jù)技術(shù)的媒資數(shù)據(jù)序列加密分類如圖1所示。

圖1 基于大數(shù)據(jù)技術(shù)的媒資數(shù)據(jù)序列加密分類示意圖

媒資數(shù)據(jù)序列加密包括3個(gè)功能層：數(shù)據(jù)分類層、數(shù)據(jù)塊內(nèi)部結(jié)構(gòu)層和加密分類格式層。數(shù)據(jù)分類層實(shí)現(xiàn)媒資數(shù)據(jù)包中的文本、圖片、音頻以及視頻等類型劃分。數(shù)據(jù)塊內(nèi)部結(jié)構(gòu)層主要包含數(shù)據(jù)頭、數(shù)據(jù)塊和數(shù)據(jù)位，通過數(shù)據(jù)頭存儲(chǔ)媒資數(shù)據(jù)基本信息，利用數(shù)據(jù)塊對(duì)空間進(jìn)行實(shí)時(shí)調(diào)整，根據(jù)數(shù)據(jù)位改變鏈接行或遷移行。加密分類格式層中通過數(shù)據(jù)塊數(shù)量計(jì)算索引數(shù)據(jù)，限制數(shù)據(jù)操作者數(shù)量擴(kuò)大空余空間，根據(jù)大數(shù)據(jù)長(zhǎng)度讀取媒資數(shù)據(jù)記錄，利用本組擁有密鑰管理和跟蹤數(shù)據(jù)塊。

隨機(jī)選取一個(gè)已經(jīng)生成數(shù)字標(biāo)簽的媒資信息，假設(shè)該媒資n信息數(shù)據(jù)序列長(zhǎng)度為h，該媒資信息數(shù)據(jù)操作者數(shù)量為，按照等價(jià)分類法將媒資信息數(shù)據(jù)序列分類成長(zhǎng)度相等的m和大數(shù)據(jù)塊，每個(gè)大數(shù)據(jù)塊的第一個(gè)數(shù)據(jù)作為該數(shù)據(jù)塊的密鑰，將其作為變量，計(jì)算出媒資信息數(shù)據(jù)密鑰組合值，其計(jì)算公式為：

式中，x表示媒資檔案數(shù)據(jù)密鑰；wm表示第m個(gè)大數(shù)據(jù)塊密鑰[5]。生成大數(shù)據(jù)塊密鑰后，設(shè)定length-sive為大數(shù)據(jù)塊列表，利用singther-length表示大數(shù)據(jù)塊位長(zhǎng)，根據(jù)大數(shù)據(jù)塊所在位置，生成大數(shù)據(jù)塊位置編號(hào)，并將其與數(shù)據(jù)塊密鑰添加在大數(shù)據(jù)塊塊頭位置，媒資信息密鑰組合值添加在大數(shù)據(jù)塊塊尾位置，從而實(shí)現(xiàn)為媒資信息數(shù)據(jù)序列的加密分類。

2 媒資檔案整合

按照分類的大數(shù)據(jù)塊信息特征，對(duì)媒資檔案進(jìn)行整合，首先構(gòu)建媒資檔案信息分析模型，該模型用公式表示為：

式中，u表示構(gòu)建的媒資檔案信息分析模型；Cm表示媒資信息數(shù)據(jù)塊特征量；F(X,t)表示時(shí)間t時(shí)媒資數(shù)據(jù)X的模糊度；p(t)表示媒資數(shù)據(jù)分類函數(shù)；K表示媒資信息總特征值[6]。利用該模型對(duì)媒資檔案信息特征進(jìn)行分析，根據(jù)分析結(jié)果對(duì)媒資檔案信息特征進(jìn)行重構(gòu)，得到的媒資檔案主成分特征為：

式中，z表示特征重組后的媒資檔案信息主成分特征；A表示媒資檔案信息的模糊特征分量；g表示媒資檔案信息的譜分解系數(shù)；α表示媒資檔案信息狀態(tài)點(diǎn)頻率；γ表示媒資檔案信息采樣率[7]。根據(jù)媒資檔案信息主成分特征，對(duì)具有相同特征的媒資檔案信息組合在一起，從而實(shí)現(xiàn)媒資檔案整合。

3 媒資檔案存儲(chǔ)管理

將整合后的媒資檔案存儲(chǔ)到數(shù)據(jù)庫中，進(jìn)行建檔存儲(chǔ)，為了保證數(shù)據(jù)存儲(chǔ)具有充足的空間，配備西部數(shù)據(jù)（Western Digital）硬盤，存儲(chǔ)容量為14 T，輔助數(shù)據(jù)庫完成媒資檔案存儲(chǔ)管理任務(wù)[8]。將整合好的數(shù)據(jù)信息進(jìn)行轉(zhuǎn)碼，其中音頻和視頻信息統(tǒng)一轉(zhuǎn)化為MP4格式，圖片轉(zhuǎn)換為JPG格式、文字信息統(tǒng)一轉(zhuǎn)化為PDF格式，在數(shù)據(jù)庫中建立數(shù)據(jù)表格，利用數(shù)據(jù)表格對(duì)媒資檔案進(jìn)行分類存儲(chǔ)，表1為媒資檔案存儲(chǔ)數(shù)據(jù)表。

表1 媒資檔案存儲(chǔ)數(shù)據(jù)表

將整合后的媒資信息存儲(chǔ)到數(shù)據(jù)表中，生成媒資數(shù)字檔案，將其存儲(chǔ)到數(shù)據(jù)庫中，當(dāng)用戶想要訪問媒資數(shù)字檔案時(shí)，數(shù)據(jù)庫會(huì)自動(dòng)審核用戶身份，如果身份驗(yàn)證通過，用戶在數(shù)據(jù)庫檢索欄中搜索關(guān)鍵詞，數(shù)據(jù)庫根據(jù)媒資檔案特征，將媒資數(shù)字檔案與關(guān)鍵詞進(jìn)行匹配[9]。用戶可以事先在數(shù)據(jù)庫中設(shè)定一個(gè)匹配閾值，如果關(guān)鍵詞與數(shù)字檔案匹配度大于該閾值，則數(shù)據(jù)庫會(huì)向用戶發(fā)送媒資數(shù)字檔案壓縮包，用戶利用密鑰對(duì)數(shù)字檔案進(jìn)行解密處理，即可實(shí)現(xiàn)對(duì)媒資數(shù)字檔案可視化展示，用戶在服務(wù)器上對(duì)媒資數(shù)字檔案進(jìn)行下載、轉(zhuǎn)發(fā)等操作，從而實(shí)現(xiàn)對(duì)媒資檔案管理。

4 實(shí)驗(yàn)論證分析

為了驗(yàn)證本次提出的基于大數(shù)據(jù)技術(shù)的媒資檔案管理思路的可行性與可靠性，選取某媒資檔案數(shù)據(jù)包作為實(shí)驗(yàn)對(duì)象，該媒資檔案數(shù)據(jù)包大小為10.62 GB，其中包含2.62 GB文字信息、3.46 GB音頻信息、1.06 GB視頻信息、1.61 GB圖片信息以及其他信息，利用本次設(shè)計(jì)方法與左晉佺[1]方法、相世強(qiáng)[2]方法對(duì)該媒資數(shù)據(jù)包進(jìn)行檔案管理。為了保證本次實(shí)驗(yàn)結(jié)果具有較高的可信度，兩種方法的實(shí)驗(yàn)環(huán)境相同，均采用Windows11操作系統(tǒng)，配備兩臺(tái)SFHF-554服務(wù)器，以及一臺(tái)西部數(shù)據(jù)（Western Digital）硬盤，按照上述流程對(duì)媒資檔案數(shù)據(jù)序列加密分類、整合以及存儲(chǔ)，實(shí)驗(yàn)共生成7個(gè)媒資檔案。

4.1 媒資檔案信息丟失量分析

存儲(chǔ)完成后，令用戶每隔1 s對(duì)媒資檔案進(jìn)行下載和轉(zhuǎn)發(fā)一次，30 min后檢驗(yàn)媒資檔案信息是否存在丟失，記錄每個(gè)媒資檔案信息丟失量，將其作為三種方法管理質(zhì)量評(píng)價(jià)指標(biāo)，信息丟失量越大，表示媒資檔案完整性越低，媒資檔案管理質(zhì)量越差，根據(jù)記錄的實(shí)驗(yàn)數(shù)據(jù)繪制成表格，具體數(shù)據(jù)如下表2所示。

表2 不同方法應(yīng)用下媒資檔案信息丟失量對(duì)比

通過對(duì)上表中數(shù)據(jù)分析，可以得出以下結(jié)論：應(yīng)用設(shè)計(jì)方法管理媒資檔案，檔案信息丟失量較小，最小可以達(dá)到0，最高數(shù)據(jù)丟失量?jī)H為0.09 GB，數(shù)值較小，基本可以忽略不計(jì)，說明設(shè)計(jì)方法能夠有效保證媒資檔案信息的完整性。而應(yīng)用左晉佺[1]方法管理媒資檔案，檔案信息丟失量最小為0.38 GB，最高數(shù)據(jù)丟失量已經(jīng)達(dá)到0.96 GB，相世強(qiáng)[2]方法管理媒資檔案，檔案信息丟失量最小為0.18 GB，最高數(shù)據(jù)丟失量為0.77 GB。左晉佺[1]方法和相世強(qiáng)[2]方法數(shù)值遠(yuǎn)遠(yuǎn)高于設(shè)計(jì)方法，設(shè)計(jì)因?yàn)楸敬卧O(shè)計(jì)方法采用大數(shù)據(jù)技術(shù)對(duì)媒資檔案信息進(jìn)行了加密分類處理，提高了檔案數(shù)據(jù)信息的安全性。因此實(shí)驗(yàn)結(jié)果證明了在保證檔案完整性方面，設(shè)計(jì)方法優(yōu)于左晉佺[1]方法和相世強(qiáng)[2]方法，相比較左晉佺[1]方法和相世強(qiáng)[2]方法更適用于媒資檔案管理，同時(shí)也驗(yàn)證了大數(shù)據(jù)技術(shù)在媒資檔案管理中具有良好的應(yīng)用效果。

4.2 檔案管理響應(yīng)時(shí)間分析

在媒資檔案數(shù)據(jù)包中隨機(jī)選取文字信息、音頻信息、視頻信息、圖片信息以及其他信息共計(jì)800個(gè)檔案信息數(shù)據(jù)作為測(cè)試對(duì)象，分別采用設(shè)計(jì)方法、左晉佺[1]方法和相世強(qiáng)[2]方法對(duì)檔案信息數(shù)據(jù)進(jìn)行管理，對(duì)比不同方法的檔案管理響應(yīng)時(shí)間，測(cè)試結(jié)果如圖2所示。

圖2 檔案管理響應(yīng)時(shí)間

分析圖2可知，隨著檔案信息數(shù)據(jù)數(shù)量的增加，設(shè)計(jì)方法、左晉佺[1]方法和相世強(qiáng)[2]方法的檔案管理響應(yīng)時(shí)間不斷增長(zhǎng)。對(duì)上述方法的測(cè)試結(jié)果進(jìn)行對(duì)比發(fā)現(xiàn)，設(shè)計(jì)方法的檔案管理響應(yīng)時(shí)間均低于左晉佺[1]方法和相世強(qiáng)[2]方法的檔案管理響應(yīng)時(shí)間，由此表明設(shè)計(jì)方法具有較高的檔案管理響應(yīng)效率。這是因?yàn)樵O(shè)計(jì)方法利用大數(shù)據(jù)技術(shù)在媒資檔案數(shù)據(jù)序列加密分類前對(duì)媒資信息建立了相應(yīng)的數(shù)字標(biāo)簽，以元數(shù)據(jù)作為檔案數(shù)字標(biāo)簽構(gòu)建對(duì)象，以此提高了檔案管理響應(yīng)效率，進(jìn)而縮短了檔案管理響應(yīng)時(shí)間。

4.3 檔案信息融合能力分析

每分鐘檔案信息融合個(gè)數(shù)表明檔案信息融合能力，即檔案管理能力。因此，將檔案信息融合能力作為測(cè)試指標(biāo)，在時(shí)間為30 min內(nèi)，測(cè)試設(shè)計(jì)方法與左晉佺[1]方法、相世強(qiáng)[2]方法的檔案信息融合能力，測(cè)試結(jié)果如圖3所示。

圖3 檔案信息融合能力

對(duì)圖3中的數(shù)據(jù)進(jìn)行分析可知，時(shí)間與管理媒資檔案信息數(shù)據(jù)集之間成正比關(guān)系，隨著時(shí)間的增加，設(shè)計(jì)方法、左晉佺[1]方法和相世強(qiáng)[2]方法檔案信息融合數(shù)量不斷增加，在相同時(shí)間內(nèi)，左晉佺[1]方法和相世強(qiáng)[2]方法的檔案信息融合數(shù)量均低于設(shè)計(jì)方法。這是因?yàn)樵O(shè)計(jì)方法構(gòu)建了媒資檔案信息分析模型，以數(shù)據(jù)塊特征量為依據(jù)完成媒資檔案整合，進(jìn)而提高了檔案信息融合能力。在相同時(shí)間內(nèi)檔案信息融合數(shù)量越多，表明媒資檔案數(shù)據(jù)管理能力越強(qiáng)，通過測(cè)試發(fā)現(xiàn)設(shè)計(jì)方法具有較強(qiáng)的檔案管理能力。

5 結(jié)語

綜上所述，此次將大數(shù)據(jù)技術(shù)應(yīng)用到媒資檔案管理中，提出了一條新的媒資檔案管理思路，并通過實(shí)驗(yàn)驗(yàn)證了該思路的可行性與可靠性，有效保證了媒資檔案信息的安全性和完整性，此次研究為了提高檔案管理質(zhì)量，推廣大數(shù)據(jù)技術(shù)在媒資檔案管理中的應(yīng)用，為基于大數(shù)據(jù)技術(shù)的媒資檔案管理提供理論參考，具有良好的現(xiàn)實(shí)意義。但是由于此次研究時(shí)間有限，并且提出的管理方法尚未在實(shí)際中進(jìn)行大量應(yīng)用與操作，在某些方面可能存在一些不足之處，今后會(huì)對(duì)基于大數(shù)據(jù)技術(shù)的媒資檔案管理方法優(yōu)化進(jìn)行研究，為媒資檔案管理提供有力的理論支撐。