噪聲特點分析在老電影聲音數(shù)字修復(fù)中的應(yīng)用

張?zhí)硪唬罟?/p>

(1. 上海大學(xué) 上海電影學(xué)院，上海 200072；2. 上海理工大學(xué) 出版印刷與藝術(shù)設(shè)計學(xué)院，上海 200093)

1905年，北京豐泰照相館拍攝了中國第一部影片《定軍山》.自此，中國電影踏上了百余年的發(fā)展之路.在這百余年間，數(shù)以萬計的老電影經(jīng)歷了來自保存環(huán)境(溫度、濕度、灰塵、真菌等)、歷史文化變遷和人為破壞(拉伸、劃痕、手印等)等多方面的嚴峻考驗[1].時至今日，影片《定軍山》只能見于文字，被稱為中國電影保存的“國庫”——中國電影資料館，館藏年份最久的影片是1922年上海明星公司出品的3本故事短片《勞工之愛情》.縱觀現(xiàn)存影片，大多存在退色、霉點、齒孔收縮、劃痕及聲道受損等不同程度的損壞問題.因此，為老電影膠片，尤其是磁底(negative，即電影原始底片)提供適宜的存放環(huán)境，同時對這些素材進行修復(fù)、清潔及其他相關(guān)處理成為了保護歷史影像資料的必要措施.

隨著科技的發(fā)展，“數(shù)字化”自20世紀末走進了老電影修復(fù)領(lǐng)域.物理修補、清洗電影膠片，配合數(shù)字化轉(zhuǎn)換及保存，成為了當(dāng)前國內(nèi)外對老電影及各類歷史影像資料保護的主流方式[1].2005年，由我國投資2.8億，由中國電影資料館主持的持續(xù)性重點項目“電影檔案影片數(shù)字化修護工程”正式啟動[2].截至2014年，我國完成數(shù)字化轉(zhuǎn)換的影片有6000余部，精致修復(fù)經(jīng)典影片約200部[3].但以現(xiàn)在的修復(fù)速度，僅修復(fù)中國電影資料館的20000余部老電影就要1000多年.因此，在老電影膠片性狀不斷惡化的情況下，提高電影修復(fù)效率成為了電影修復(fù)工作需要克服的首要問題.

當(dāng)前電影修復(fù)速度無法大幅提升大致出于以下兩個原因： 一是從事電影修復(fù)的專業(yè)人員較少；二是在修復(fù)過程中需要人工干預(yù)的成分較多(如對噪聲的人工分揀).電影修復(fù)作為一個綜合性、跨學(xué)科的交叉工程，培養(yǎng)專業(yè)修復(fù)人員代價高、周期長，因此目前對能高效并準確地進行自動化修復(fù)的工具及相應(yīng)算法有著急切的需求.本文介紹了當(dāng)前老電影的聲音修復(fù)過程，為智能系統(tǒng)的設(shè)計提供參考依據(jù)；同時對其噪聲特點、分類及當(dāng)前數(shù)字化噪聲處理方式做了深入研究和總結(jié)，為智能算法的研究提供了必要的學(xué)習(xí)數(shù)據(jù)集和標(biāo)注方案.

1 老電影聲音數(shù)字修復(fù)的主要工作

1.1 老電影聲音數(shù)字修復(fù)的主要工作內(nèi)容和修復(fù)原則

老電影聲音修復(fù)的主要目的是將當(dāng)前的聲音恢復(fù)至盡可能接近電影拍攝時的聲音.因此，在選擇修復(fù)素材時，一般以磁底為最佳[4].選定修復(fù)素材后，電影的聲音修復(fù)將經(jīng)歷膠轉(zhuǎn)數(shù)(即老電影聲音數(shù)字化)、數(shù)字音頻文件確認和具體的數(shù)字化修復(fù)過程，流程見圖1.

圖1 老電影聲音數(shù)字修復(fù)流程圖Fig.1 Flowchart of digital soundtrack restoration for old films

在電影聲音數(shù)字化之后，聲音數(shù)字修復(fù)部門將拿到修復(fù)好的完整視頻素材，以及每卷膠片數(shù)字化后的未修復(fù)數(shù)字音頻文件.每部電影包含6到12段不等的單聲道音頻文件，每段時長約10min.需要注意的是，有少部分4聲道(左、中、右、環(huán)繞)老電影[5]，其音頻素材包里的音頻文件數(shù)量即為單聲道電影的4倍.拿到數(shù)字音頻文件后，聲音數(shù)字修復(fù)人員需要先檢查每個音頻文件是否包含明顯的由轉(zhuǎn)速過快或過慢帶來的變調(diào)等問題，若無明顯變調(diào)、失真現(xiàn)象，即可建立該影片的修復(fù)工程文件，將所有音視頻素材導(dǎo)入其中，開始數(shù)字修復(fù)工作.

聲音數(shù)字修復(fù)的第一步是將音視頻文件同步.無論對白還是音效，都要與視頻一一精確對應(yīng).在此環(huán)節(jié)中，較常見的問題是同一段音頻素材前面部分能夠與畫面對應(yīng)，而后面部分由于聲音素材越來越快，以至于無法與畫面準確對應(yīng).該問題的解決方案是對同一影片的全部音頻素材做參數(shù)相同的Time Stretching處理(以Pro Tools軟件為例，使用Time Shift插件時，需設(shè)置為只改變音頻文件長度，不改變音調(diào)).一般速率設(shè)定在99%到99.9%之間，需要視實際音視頻素材情況而定.據(jù)上海電影技術(shù)廠專業(yè)修復(fù)人員介紹，整個音視頻同步環(huán)節(jié)約占一般性聲音數(shù)字修復(fù)工作時間的30%.另外，在這個環(huán)節(jié)中，每個音頻文件前后由引導(dǎo)膠片(由于膠轉(zhuǎn)數(shù)設(shè)備轉(zhuǎn)輪間存在一定距離，為了能夠兼顧固定膠片和完整轉(zhuǎn)換素材，需要在每卷膠片的開頭和結(jié)尾接入廢舊膠片用于走帶)帶來的隨機噪聲和由膠片接頭帶來的小爆破噪聲都將被一并去除.

聲音數(shù)字修復(fù)的第二步是去噪.專業(yè)修復(fù)人員需要對老電影中可能會出現(xiàn)的高頻嘶聲、低頻哼聲、爆破聲、咔嗒聲等噪聲做適度去除.在對聲音不造成二次損傷的前提下，得到最接近原始狀態(tài)的聲音[6].所謂二次損傷，主要指由于操作不當(dāng)或不夠細致而導(dǎo)致的電影聲音失真，聲道數(shù)量錯誤等問題[3].音頻素材去噪后，修復(fù)人員一般會通覽全片，將在去噪過程中被誤認為噪聲去掉的有用聲音信息還原.而對于本來在原聲音素材中就缺失的聲音信息，修復(fù)人員需要將缺失位置和缺失內(nèi)容記錄下來，方便以后通過重新翻錄或擬音的方式將其補上.

聲音數(shù)字修復(fù)的最后一步是頻率補償.由于去噪處理一般會對原聲音素材帶來音質(zhì)損傷，因此專業(yè)聲音修復(fù)人員會在去噪處理后，對影片的全部音頻素材做相同參數(shù)設(shè)置的頻率補償處理，用于彌補在去噪過程中被過度降低的頻段.

目前，關(guān)于去除老電影普遍存在的各類噪聲問題，在國際上并沒有很好的先例，在我國也沒有相關(guān)方面的研究，普遍采用的降噪方法若遇到持續(xù)較大的電流聲或頻率與有用信息重疊的噪聲，過度降噪會引發(fā)聲音失真的問題.因此，在電影修復(fù)的過程中就產(chǎn)生了降噪與失真之間的權(quán)衡與取舍.中國電影資料館修復(fù)專家的處理原則是在保證對白清晰度的基礎(chǔ)上，酌情降噪，寧可保留，也不可造成二次損傷.上海電影技術(shù)廠的修復(fù)專家在去噪過程中也遵循著不以過度損傷音質(zhì)為代價達到完全去噪目的的處理原則，堅持著“修舊如舊”的美學(xué)追求[7].修復(fù)后的電影對白清晰度和可懂度均有明顯提高，同時又不失老電影的年代感和韻味，這與中國電影資料館的修復(fù)專家的做法不謀而合.

1.2 老電影聲音數(shù)字修復(fù)的主要修復(fù)工具

我國所使用的電影聲音修復(fù)工具與國外差別不大，設(shè)備方面也幾乎是同步的[8].以上海電影技術(shù)廠老電影聲音數(shù)字修復(fù)為例： 使用的聲音數(shù)字修復(fù)平臺為AVID公司的軟件Pro Tools，當(dāng)今國內(nèi)外的電影聲音制作基本都建立在該軟件的平臺上，利用該平臺及安裝到該平臺上的軟硬件效果器，音響師可以對音頻素材做剪輯和音質(zhì)處理，能夠?qū)崿F(xiàn)所有對一部電影在聲音上的想象和創(chuàng)意；使用的主要去噪軟件為iZotope的RX Audio Restoration & Repair Software系列插件，該插件中包含的De-noise、De-click、De-hum等工具在電影聲音修復(fù)中使用率極高，主要用來去除背景噪聲、爆破聲、噼啪聲和哼聲等噪聲.

2 老電影的噪聲分析及去噪處理

本文以上海電影技術(shù)廠的電影聲音修復(fù)資料為研究素材，分別從20世紀50，60，70，80年代的老電影中截取數(shù)十段噪聲樣本，結(jié)合上海電影技術(shù)廠對這些噪聲的降噪建議，根據(jù)噪聲的穩(wěn)定性，對其進行分類梳理和聲學(xué)特點分析.該研究為以后的自動化修復(fù)工具研發(fā)提供了一系列可靠、實用的噪聲樣本和人工標(biāo)注數(shù)據(jù)集.

2.1 背景噪聲

老電影中的背景噪聲(background noise)以普通寬帶噪聲(broadband noise)、高頻嘶聲(high-frequency hiss)、交流電聲(AC hum)及低頻哼聲(low-frequency hum)為最常見，此類噪聲多貫穿電影始末.普通寬帶噪聲聲壓級不穩(wěn)定，頻帶較寬，與有用聲音信息頻率重合，主要利用采樣降噪De-noise的方式去除(De-noise插件主要用于去除背景噪聲，如有一定音調(diào)的噪聲和寬帶噪聲).交流電聲的頻率較分散，20Hz到20kHz均可能出現(xiàn)，音量較小，聲壓級較穩(wěn)定，主要利用采樣降噪De-noise和EQ(Equalizer)結(jié)合的方式去除.高頻嘶聲在聲壓級的穩(wěn)定性上與交流電聲相似，都較穩(wěn)定.但與交流電聲不同的是，高頻嘶聲的音量更大，頻率一般集中在10kHz至14kHz.因此高頻嘶聲的主要去噪方法也是利用采樣降噪De-noise和EQ結(jié)合，但有時也會利用De-hum工具來輔助去除諧波成分.低頻哼聲的頻率多在100Hz到500Hz之間，音量較大，聲壓級較穩(wěn)定.其降噪方式有兩種： 一是利用采樣去噪De-noise；二是先做去哼聲處理De-hum，再去除與其同時出現(xiàn)的其他噪聲(如噼啪聲).以上4種噪聲一般并不單獨出現(xiàn)，而是組合出現(xiàn)，這就要求修復(fù)人員根據(jù)具體情況利用多種工具對背景噪聲進行有效去除.下面列舉4種背景噪聲樣本，并對其進行基礎(chǔ)聲學(xué)分析.

1) 高頻嘶聲 以上海電影制片廠攝制于1976年的《難忘的戰(zhàn)斗》為例，詳見表1中2016010201號噪聲樣本及圖2.高頻嘶聲主要指圖2(b)中放大的噪聲部分，該噪聲頻率范圍在11kHz至13kHz之間，由圖2(b)，(c)可見，12.4kHz處音量最大.該頻帶落在人耳可聞閾之內(nèi)，即便是年紀較大或有輕微聽力損傷的人仍能聽到該頻率范圍內(nèi)的聲音.對此類噪聲的一般處理辦法是利用采樣去噪和EQ去噪相結(jié)合的方式，在不嚴重損傷原聲音素材的前提下適度去噪.

圖2 《難忘的戰(zhàn)斗》高頻嘶聲分析圖組Fig.2 High-frequency hiss in Unforgettable Fight

2) 普通寬帶噪聲 以上海電影制片廠攝制于1981年的《阿Q正傳》為例截取兩段分別位于片頭和影片中部，長度均為1s的噪聲進行對比分析，見表1中2016010101、2016010102號噪聲樣本及圖3(見第186頁)，圖4(見第186頁).在同一部影片內(nèi)，背景噪聲持續(xù)存在，雖不同位置的噪聲頻響曲線相似，但噪聲能量稍有不同.從聽感上對比，同一部影片內(nèi)背景噪聲的特點相同，但片頭位置的噪聲略大于影片中部的噪聲.正是由于在影片不同位置的背景噪聲音量不同，因此在降噪過程中需要對不同位置設(shè)置不同的降噪量，或?qū)υ肼曒^大的部分進行2次局部降噪.

圖3 《阿Q正傳》片頭部分背景噪聲分析圖組Fig.3 Background noise at film title in The Real Story of Ah Q

圖4 《阿Q正傳》影片中部背景噪聲分析圖組Fig.4 Background noise in middle place of The Real Story of Ah Q

3) 交流電聲 以上海電影制片廠攝制于1965年的《女司機》及1981年的《阿Q正傳》為例，本文分別從兩部電影中截取一段純噪聲樣本(不含有用聲音信息)，見表1中2016010301、2016010302號噪聲樣本及圖5，圖6.這類噪聲與之前介紹的兩類噪聲相比，音量較小但頻帶較寬，低頻及中頻部分在影片中將會和有用聲音信息的頻譜重合疊加.因此在修復(fù)此類噪音的過程中適合使用采樣降噪，不適合用EQ對某頻率點的所有聲音元素做統(tǒng)一處理.另外，由圖5和圖6可見，在兩部電影中都伴隨著微弱的超高頻噪聲，頻率點分別在12.5kHz和19kHz附近.因此，除采樣降噪外，修復(fù)人員還常輔以EQ降噪，從而將高頻噪聲去除干凈.由于這兩段噪聲均來自影片中的無聲片段，且兩部影片的年代不同、受損程度不同，卻擁有相似的交流電噪聲，在圖譜的相近位置出現(xiàn)了相近的波形，因此可以推斷此類噪聲來自膠片數(shù)字化過程，而非影片本身.

圖5 《女司機》交流電聲分析圖組Fig.5 AC hum in Driver Girl

圖6 《阿Q正傳》交流電聲分析圖組Fig.6 AC hum in The Real Story of Ah Q

4) 低頻哼聲 以上海電影制片廠攝制于1965年的《女司機》為例，截取一段低頻哼聲樣本(含噼啪聲，不含有用聲音信息)，見表1中2016010401號噪聲樣本及圖7.這段噪聲在100Hz和200Hz處低頻哼聲音量較大，并伴有噼啪聲和交流電聲.針對這類噪聲處理辦法有兩種： 一是利用采樣降噪De-noise；二是利用去哼聲插件De-hum，根據(jù)噪聲特點選擇合適的諧波數(shù)量(number of harmonics)、Q值和去噪量等參數(shù)，將低頻哼聲去掉(2016010401號噪聲De-hum去噪后的音頻見2016110401號聲音樣本)，然后利用De-click和EQ一一去除噼啪聲和交流電聲.相比于第1種去噪方法，第2種能夠更有針對性的去除噪聲，能夠人為地減小對原聲的損傷.

圖7 《女司機》低頻哼聲分析圖組Fig.7 Low frequency hum in Driver Girl

2.2 脈沖型噪聲

爆破聲(pop sound)、咔嗒聲(click sound)和噼啪聲(crack sound)作為老電影中常見的脈沖型噪聲(impulsive noise)可能會出現(xiàn)在影片的任何位置.由膠片接頭產(chǎn)生的音量較大的爆破聲[9]，多出現(xiàn)在每段數(shù)字音頻文件的片頭和結(jié)尾位置，據(jù)統(tǒng)計，一般在00∶00∶11到00∶00∶15的位置.除此之外，由于影片條件不同，較大的爆破聲有時也會出現(xiàn)在影片中部.在去噪過程中，若爆破聲頻帶寬時間長，可以考慮直接將其剪掉，用相似的背景噪聲補全.若使用去噪插件，則要注意此類噪聲的(時間)寬度和去噪靈敏度參數(shù)的調(diào)節(jié).若噪聲寬度過窄，會導(dǎo)致遺漏某些噪聲使之無法得到去除；若去噪靈敏度過高，會引發(fā)音量或音調(diào)的抖動問題.因此在實際去噪過程中，需要修復(fù)人員反復(fù)嘗試對比，找到既能有效去噪又不對音質(zhì)造成損傷的最佳值.而在有些影片開頭結(jié)尾位置也會出現(xiàn)與爆破聲相比音量更小，寬度更窄的咔嗒聲.修復(fù)人員一般會利用De-click插件，使用中仍要注意對噪聲寬度和靈敏度的參數(shù)設(shè)置.除以上兩種噪聲，還有以音量小，連續(xù)出現(xiàn)頻率高為特點的噼啪聲.對噼啪聲的修復(fù)一般采用De-click插件，并將噪聲寬度值調(diào)小，靈敏度值調(diào)大.與背景噪聲類似，以上介紹的3種噪聲很少單獨出現(xiàn)，在同一片段內(nèi)常常同時出現(xiàn)，并混有各類背景噪聲.

下面分別舉例3種脈沖型噪聲樣本，并對其進行基礎(chǔ)聲學(xué)分析.

圖8 《林沖》爆破聲樣本圖譜Fig.8 Pop sound in Lin Chong

1) 爆破聲 以上海電影制片廠攝制于1958年的《林沖》為例，詳見表1中2016020101號噪聲樣本及圖8.此類噪聲常出現(xiàn)在每卷膠片數(shù)字化音頻文件的開頭和結(jié)尾處，圖8呈現(xiàn)的噪聲出現(xiàn)在00∶00∶13.250處，讀者亦可在表1中找到其他10個爆破聲出現(xiàn)的位置.在老電影中，爆破聲的呈現(xiàn)方式千差萬別，無論是聲壓級，還是噪聲時長都不盡相同.因此需要修復(fù)人員根據(jù)實際情況調(diào)整去噪插件中的參數(shù).如圖8中的噪聲，可以選擇直接將其剪掉，也可選擇De-click插件單獨對其去噪.

2) 咔嗒聲 以上海電影制片廠攝制于1981年的《阿Q正傳》為例，詳見表1中2016020201號噪聲樣本及圖9.去除咔嗒聲一般也使用De-click插件，由于此種噪聲可能出現(xiàn)在影片的任何位置，因此插件中的靈敏度值不宜過高，噪聲寬度值也應(yīng)比去除爆破聲的參數(shù)小，以期避免對原文件的二次損傷.圖9為《阿Q正傳》第2卷膠片數(shù)字文件位于00∶08∶21.7至00∶08∶22.7的一段噪聲及其去噪?yún)?shù)和去噪后的聲音圖譜.由圖可見，咔嗒聲已被去除，去除后的音頻文件見2016120201號聲音樣本.另外，在去除咔嗒聲的過程中，有時會出現(xiàn)軟件誤操作的現(xiàn)象[10]，如關(guān)門聲、腳步聲等有用聲音信息，以2016220201號聲音樣本(圖10所示)為例，軟件會將其誤認為咔嗒聲而去除.因此在對整個影片做De-click之后，修復(fù)人員一般會再認真地檢查全片是否有誤操作的地方，并將誤操作處還原.

圖9 《阿Q正傳》咔嗒聲分析圖組Fig.9 Click sound in The Real Story of Ah Q

圖10 《難忘的戰(zhàn)斗》中的腳步聲Fig.10 Footstep sound in Unforgettable Fight

3) 噼啪聲 以上海電影制片廠攝制于1965年的《女司機》為例，詳見表1中2016020301號噪聲樣本、2016120301號聲音樣本及圖11.噼啪聲在一段影片中出現(xiàn)頻率較快，且每個噼啪聲時間較短.因此在使用De-click對其進行去噪的過程中推薦在對原聲不產(chǎn)生明顯損傷的前提下，將靈敏度調(diào)大，噪聲(時間)寬度調(diào)小來提高去噪效果.

圖11 《女司機》中噼啪聲去噪前后圖譜組Fig.11 Crack sound in Driver Girl

3 結(jié) 語

修復(fù)老電影是一項長期且意義重大的文化保護工作，修復(fù)過程中面臨的問題和挑戰(zhàn)相當(dāng)嚴峻.這不僅需要培養(yǎng)出更多專業(yè)人員投入到老電影的修復(fù)工作中，更是對科研人員從實用角度提出新的挑戰(zhàn)，盡可能地研發(fā)出效率更高、準確率更高的去噪工具、頻率補償工具以及缺失聲音片段的自動修補工具.本文不僅對當(dāng)前老電影音頻的人工修復(fù)過程做了簡要的描述，為智能系統(tǒng)的設(shè)計提供了參考依據(jù)，而且從多部老電影中截取數(shù)十段噪聲，對其進行分類梳理，并對這些噪聲做了基礎(chǔ)聲學(xué)分析，為智能算法的研究提供了學(xué)習(xí)數(shù)據(jù)集和標(biāo)注方案.

從本文的噪聲樣本中不難發(fā)現(xiàn)，不同噪聲的去噪程度并不相同.在去噪過程中，理想去噪和不損傷原始音頻素材很難兼得，需要修復(fù)人員認真反復(fù)權(quán)衡.這也導(dǎo)致了即便對同一段噪聲做降噪處理，不同修復(fù)人員根據(jù)個人喜好，修復(fù)的結(jié)果也會有所差異，甚至差異較大，其主要原因在于老電影的聲音修復(fù)并沒有公認的可量化的評價標(biāo)準.因此，針對中國老電影聲音的一般修復(fù)和精致修復(fù)制定一套評價標(biāo)準無疑是自動化修復(fù)工具研發(fā)工作亟待解決的問題之一.這一工作需要相關(guān)領(lǐng)域的學(xué)術(shù)圈與行業(yè)協(xié)會等部門共同協(xié)作完成，從權(quán)威角度對老電影聲音的修復(fù)效果和修復(fù)工具的研發(fā)做出指導(dǎo).

致謝： 本文為2016年度上海大學(xué)電影學(xué)高峰學(xué)科《淺析老電影的聲音特點及其在電影聲音數(shù)字修復(fù)中的作用》項目的成果之一.

[1] READ P, MEYER M P. Restoration of motion picture film [M]. Oxford： Butterworth-Heinemann, 2000： 83-84.

[2] 白曉飛.新技術(shù)形勢下的影片數(shù)字化修護工程發(fā)展趨勢研究 [J]. 現(xiàn)代電影技術(shù)，2012(4)： 14-18.

[3] 賈艷婷.淺談數(shù)字化修護影片的鑒定標(biāo)準 [J]. 現(xiàn)代電影技術(shù)，2015(9)： 44-47.

[4] CROCI S, AYDIN T O, STEFANOSKI N,etal. Advanced tools and framework for digital film restoration [J].JournalofElectronicImaging，2017，26(1)： 011021.

[5] 李志永.檔案影片聲音素材的數(shù)字化修復(fù) [J].現(xiàn)代電影技術(shù)，2011(7)： 24-26.

[6] 左 英.論影片精致修復(fù)的工作流程 [J].現(xiàn)代電影技術(shù)，2009(1)： 13-17，37.

[7] 吳 兵,董清爽.老電影數(shù)字化修復(fù)策略研究 [J].科技展望,2016,26(24)： 320.

[8] 賈硯婷,閆 彥.影片數(shù)字化修復(fù)的工藝流程及未來發(fā)展方向 [J].現(xiàn)代電影技術(shù),2014(7)： 32-35.

[9] 白曉飛.淺談電影聲音修復(fù)技術(shù) [J].現(xiàn)代電影技術(shù)，2008(2)：49-52.

[10] BRUN E, HASSAINE A, BESSERER B,etal. Restoration of variable area soundtracks [J].IEEEInternationalConferenceonImageProcessing，2007,4(6)： IV-13-IV-16.