批量視頻修復技術的研究與應用

陳思宇 苗 琨

（作者單位：南京廣播電視集團）

影視資料能夠真實、直觀地記錄社會發(fā)展、人文風貌、歷史事件、自然地理演變等各方面狀況，是無可替代的歷史檔案。從業(yè)者要對其進行精細化處理和保存，為研究人文社會、河山改造提供依據(jù)，為廣大人民群眾提供最真實直觀的教育素材，這是中華民族偉大復興的中國夢的重要組成部分。但是，一些老舊的素材，尤其是20世紀八九十年代珍貴的影視素材，受限于當時的拍攝設備、存儲介質(zhì)、存儲環(huán)境和處理播放設備的落后和簡陋[1]，片源的清晰度較差，由于時間和技術因素，經(jīng)過幾次格式的轉(zhuǎn)換后出現(xiàn)了畫面偏色、丟幀、大量拉毛畫面等現(xiàn)象，嚴重影響觀感。很多珍貴的資料已經(jīng)不能滿足當前人們的畫面使用要求。為解決這一問題，通常采用的方式是在制作過程中進行人工調(diào)色、銳化等處理。但這種方式不僅大大增加了制作時間，而且無法實現(xiàn)對素材的批量處理，畫面質(zhì)量也無法令人滿意。為了能夠保存好過去珍貴的資料，并且在再次調(diào)用時能夠比較貼近現(xiàn)代視頻畫面，需要有針對性地利用現(xiàn)代化的影視、網(wǎng)絡科技手段，開發(fā)一種效果好的，能批量針對老視頻畫質(zhì)缺陷問題的解決方案，讓老視頻再次調(diào)用時能夠更貼近現(xiàn)代的視頻畫面。

1 技術處理

批量視頻修復技術的處理措施主要分為通用處理和特定處理。通用處理分為視頻超分、畫面增強；特定處理主要分為拉毛修復、色彩校正、視頻插幀等。該措施理論上可處理所有視頻，即使是大量噪點、低清偏色素材也能得到滿意的結(jié)果。

1.1 通用處理

1.1.1 視頻超分

以往，通常使用自動編碼器（Autoencoder，AE）和生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）算法。AE是一種生成網(wǎng)絡，用于將輸入的圖像生成目標圖像。以犧牲圖像的精確再現(xiàn)為代價，減少像素誤差造成的模糊。GAN 由兩個獨立的網(wǎng)絡-生成網(wǎng)絡（Generator）和判別網(wǎng)絡（Discriminator） 組成[2]。其中，生成網(wǎng)絡負責生成圖片，判別網(wǎng)絡負責分辨圖片真?zhèn)?。在生成網(wǎng)絡中輸入隨機噪聲，用來訓練區(qū)分真值的樣本。GAN和AE都是非常流行的生成模型，然而它們的生成能力都被生成結(jié)構所約束。為了解決這些問題，往往采用新的生成結(jié)構——遺傳算法接口體系結(jié)構（Genetic Algorithm Interface Architecture，GAIA）進行畫面分辨率的提升。該算法能夠在利用前兩個算法的同時彌補每個獨立網(wǎng)絡的缺陷，允許發(fā)生器在鑒別器傳遞的像素誤差上進行訓練，明確地再現(xiàn)像AE一樣的圖像，產(chǎn)生具有GAN特征的銳利圖像。此方案適用于各種片源提升至高清或4K分辨率，可以設置好參數(shù)后在無人看管的情況下進行批量處理。圖1、圖2的左側(cè)皆為南京電視臺《老南京》系列短片中的視頻鏡頭，右側(cè)皆為修復后的視頻畫面。

圖1 車輛視頻超分效果展示

圖2 行人視頻超分效果展示

1.1.2 畫面增強

在基礎的修正工作中，直接使用MotionDSP與NVIDIA公司共同開發(fā)的vReveal軟件，通過反交錯、畫面穩(wěn)定、自動白平衡、對比度、亮度修正等操作，對畫面進行初步修復。此方案適用于高清以下片源，可以設置好參數(shù)后在無人看管下進行批量處理，且速度較快。需要強調(diào)的一個重要方面，就是對畫面銳度增強的問題。由于畫面處理更關注原畫面的質(zhì)量，引用老的影視資料時就可以通過畫面的銳度增強很好地彌補原畫面質(zhì)量欠佳的情況，同時適時采用高度自動化的批量視頻處理工具和基于人工智能的視頻修復技術等。圖3、圖4中的左側(cè)皆為南京電視臺《老南京》系列短片中的視頻鏡頭，右側(cè)皆為修復后的視頻畫面。

圖3 人物畫面增強效果展示

圖4 國旗畫面增強效果展示

1.2 特殊片源的處理

特殊情況的片源由于在處理時不具備通用性，需要人為選出對應的處理方法，且需專人單獨處理，速度較慢。

1.2.1 拉毛修復

拉毛即畫面上的白色長橫條。使用KEY鍵（摳像鍵）提取出具有白色長橫條特征的畫面，在周圍像素選取特征顏色經(jīng)過計算后填充至拉毛部位，進而完成拉毛修復。在極特殊情況下，如快速移動物體在畫面中經(jīng)過時過曝產(chǎn)生的畫面也容易被識別為拉毛，此時需要加入前后幀對比來消除誤差。

1.2.2 色彩校正

對于嚴重偏色的片源，要基于DeOldify開源深度學習模型進行開發(fā)調(diào)試，為灰度圖像添加高質(zhì)量的著色效果[3]。這種深度學習模型的目標是對舊圖像和膠片進行著色，還原色彩并賦予新生命。同時，為解決以前的DeOldify模型中的穩(wěn)定性問題，采用NoGAN 這樣一種新型的GAN 訓練，分析出著色區(qū)塊后使用大面積著色進行顏色填充，細節(jié)處理效果更好，渲染也更逼真。

1.2.3 視頻插幀

在幀數(shù)偏低的情況下，可以對基于深度感知視頻 幀 插 值（Depth-Aware Video Frame Interpolation，DAIN）開源算法進行插幀處理。使用一個深度感知光流投影層來合成中間流，對前后多幀的對象進行采樣[4]。此外，學習分層功能從相鄰像素收集上下文信息。然后，模型基于光流和局部插值內(nèi)核對輸入幀、深度圖和上下文特征進行扭曲，合成輸出幀。這種模型緊湊、高效且完全可微分。定量和定性的結(jié)果表明，DAIN在各種數(shù)據(jù)集上均優(yōu)于最新的幀插值方法。

2 技術創(chuàng)新和效果

2.1 技術創(chuàng)新

上述老舊影視修復技術與以前的修復技術相比，有以下明顯的特色。

一是過去針對視頻處理常用的是GAN算法，該算法訓練不穩(wěn)定，具體表現(xiàn)為生成出來的結(jié)果非常差，即使加長訓練時間后也無法得到很好的改善。GAN的訓練是具有挑戰(zhàn)性的，并且自從GAN的體系結(jié)構的概念提出以來，平衡和適當訓練GAN的細化技術一直是相關學者積極研究的領域。在傳統(tǒng)GAN中，需要找到生成器與判別器之間的平衡問題。而GAIA則彌補了GAN和AE每個獨立網(wǎng)絡的缺陷，在GAIA中，允許發(fā)生器在通過鑒別器傳遞的像素誤差上進行訓練，明確地再現(xiàn)像AE一樣的圖像，又產(chǎn)生具有GAN特征的銳利圖像。

二是創(chuàng)新地采用了多個算法和處理軟件對老片源進行批量處理，解決了過去常用算法可能在訓練后期提升十分緩慢的問題。使用GAIA算法和Tensorflow進行訓練，能夠充分發(fā)揮易用性、靈活性、高效性等優(yōu)勢。其工作流易于理解，應用程序編程接口（Application Program Interface，API）保持著高度的一致性，省去了專門的等待時間。分布式架構使得在大規(guī)模數(shù)據(jù)集上的模型訓練可在合理的時間內(nèi)完成。谷歌已為其投入巨大的資源，因為其希望TensorFlow成為機器學習研究者和開發(fā)者的通用語言[5]。

三是像素損失可以被沒有模糊重建的Autoencoder判別器消除。此外，利用GAN的對抗性損失，明確地訓練生成器AE生成對抗差值自動編碼。該方法更適用于使用神經(jīng)網(wǎng)絡隱空間在復雜信號之間進行插值，同時仍然尊重輸入數(shù)據(jù)的高維結(jié)構。

2.2 技術效果

針對分辨率過低問題，可以采用深度學習算法提高視頻的分辨率。通過矯正偏色問題（如白平衡矯正、對比度矯正、亮度矯正等），處理拉毛、掉幀等問題，對視頻進行針對性修復。同時，視頻中的原始細節(jié)在算法的幫助下得以保留，老舊片源普遍存在的問題得到了解決。原始細節(jié)在高清化的過程中變得更加清晰（如圖3、圖4所示，小女孩的膚色還原、面部五官輪廓清晰，國旗顏色得到還原等）。因此，在主觀的感受下，經(jīng)過處理后的老舊素材放在現(xiàn)在的拍攝素材中基本不會顯得突兀，放在高清的宣傳片中也沒有違和感。

3 社會效益和經(jīng)濟效益

毋庸置疑，采用上述技術對影視畫面進行修復和增強，可永久性高質(zhì)量保存最直觀、更清晰的歷史事件檔案，并且可以用于社會生活的方方面面，有助于人們更方便、準確地研究社會發(fā)展過程，所產(chǎn)生的社會效益無疑是巨大的。

至于本技術的經(jīng)濟效益則可看得見、摸得著、收得到。因為它只需性能強勁的服務器，渲染速度較快的硬件，使修復有缺失的舊影視畫面速度處于較快狀態(tài)。各個處理環(huán)節(jié)耗時更少，無特殊需求時不需要專門安排人員值守，可有效減少設備資源的占用，節(jié)約人力成本，其經(jīng)濟效益是過去老的修復方法無法比擬的。圖5為本方案與另一常見軟件渲染時間的對比，圖6為本方案與另一常見軟件片長渲染時間比較。從圖5中可以看出，本方案高清片源渲染時間平均可節(jié)省43%左右，標清片源渲染時間平均可節(jié)省26%左右。

圖5 本方案軟件與另一常見軟件的渲染時間比較

圖6 本方案與另一常見軟件的片長渲染時間比

4 結(jié)語

目前，電視臺普遍存在大量老視頻資料，有大量的老視頻修復需求。經(jīng)過批量視頻修復技術處理后可以達到播出的標準，讓這些資料再次出現(xiàn)在電視熒幕上。例如，《決勝時刻》中就采用了修復后的主席演講鏡頭。

現(xiàn)在利用該技術已經(jīng)進行了大量老舊素材的清晰化處理，也將處理后的素材使用在了很多重要項目上，如南京電視臺《老南京》系列短片在經(jīng)過處理后畫面效果得到了質(zhì)的提升，播出后得到了一致好評。一些缺陷嚴重的素材也在處理后重新得到了有效保存，以防珍貴資料的丟失。同時，一些工作人員也在積極建立新的媒資庫，留出接口，在導出素材時可以同時輸出一份處理后的素材，在硬件空閑時可以大批量地自動處理媒資庫的素材。